如何使用MWAA气流DAG克隆EMR群集

发布于 2025-02-06 07:28:05 字数 303 浏览 0 评论 0原文

我想从EMR侧克隆预先存在的群集 /先前的终止群集。

但是,我想使用MWAA ENV的气流DAG实现这一目标,而不是手动进行。

当前,我能够使用emraddstepsoperator连接到Spark,但是我们是否有其他方法可以从emrcreatejobflowoperator使用job_flow_overrides参数来克隆群集?我发现的所有示例只是创建一个新的群集,而不是克隆一个群集。

提出此问题的原因是因为安全团队不希望我要创建IAM角色,而只是克隆。

I wanted to clone the pre-existing cluster / previous terminated cluster from the EMR side.

However, I would like to achieve this using airflow dag from MWAA env instead of doing it manually.

Currently, I am able to connect to Spark using EmrAddStepsOperator but is there any other ways we can clone a cluster from EmrCreateJobFlowOperator using JOB_FLOW_OVERRIDES parameters? All the examples I have found are simply creating a new cluster but not cloning one.

The reason for asking this is because the security team does not want me to have the IAM Role to create but only to clone.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文