一个区域中的 Airflow 作业提交另一区域中的 emr 作业
我们计划在美国西部地区建立一个通用的 AWS MWAA 集群，以触发不同地区的 emr 作业。
有没有办法通过在另一个区域运行的气流作业来触发一个区域的 emr 作业？有可能吗？
We plan to have one common AWS MWAA cluster in us west region which triggers emr jobs in different regions.
Is there a way to trigger a emr job in one region by an airflow job running in another region? Is it ever possible?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
气流不在乎部署的位置。想想您是否将在Google，Azure或任何其他服务中部署气流 - 不会阻止您触发您想要的任何AWS地区的EMR作业。
可以在您想要的任何区域触发EMR作业。
它与MWAA的区域无关。
您需要定义 AWS连接对于每个相关区域，并利用与操作员的相关连接。
Airflow doesn't care where it's being deployed. Think if you would have deployed Airflow in Google, Azure or any other service - that wouldn't have block you from triggering EMR jobs in any AWS region you wish.
Triggering EMR jobs can be done in any region you wish.
It has nothing to do with the region MWAA is set on.
You'll need to define Aws connection for each relevant region and utilize the relevant connection with the operator.