在管道部署时,建议在AWS EMR群集上自动化Flink Job的推荐方法

发布于 2025-01-23 04:35:55 字数 168 浏览 4 评论 0原文

我是Flink和EMR群集部署的新手。目前,我们有一个flink的作业,我们正在通过Flink CLI Stop/Start-Job命令在AWS EMR群集上手动部署它。

我想自动化此过程(自动化通过带有保存点的管道进行的每个部署进行更新的flink job jar),并且需要一些有关可能探索的方法的建议。

I am new to Flink and EMR cluster deployment. Currently we have a Flink job and we are manually deploying it on AWS EMR cluster via Flink CLI stop/start-job commands.

I wanted to automate this process (Automate updating flink job jar on every deployment happening via pipelines with savepoints) and need some recommendations on possible approaches that could be explored.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

來不及說愛妳 2025-01-30 04:35:55

我们可以选择通过Flink REST API支持所有Flink作业操作

https://nightlies.apache.org/flink/flink/flink/flink-docs-master/docs/ops/rest_api/

示例项目使用相同的方法: https://github.com/ing-bank/flink-deployer

We got an option to automate this process via Flink Rest API support for all flink job operation

https://nightlies.apache.org/flink/flink-docs-master/docs/ops/rest_api/

Sample project which used the same approach : https://github.com/ing-bank/flink-deployer

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文