检索XCOMM值并将其传递给EMR操作员，气流
我正在尝试从Python运营商中检索价值，并将其传递给“ EMR创建作业”和“添加步骤操作员”。我如何在spark_steps中传递此值， 我已经使用task_instanc…
如何从Python函数中检索数据并将其用于EMR操作员
气流版本：2.0.2 试图通过从AWS Secrets Manager中重试数据来创建EMR群集。 我正在尝试编写气流DAG，我的任务是从此get_secret函数中获取数据，并在sp…
如何使用MWAA气流DAG克隆EMR群集
我想从EMR侧克隆预先存在的群集 /先前的终止群集。 但是，我想使用MWAA ENV的气流DAG实现这一目标，而不是手动进行。 当前，我能够使用 emraddstepsop…
使用气流SQSSENSOR轮询多个SQS消息
我正在使用此SQSSENSOE设置进行民意调查消息， fetch_sqs_message = SQSSensor( task_id="...", sqs_queue="...", aws_conn_id="aws_default", max_me…
气流没有为我的情况触发sla_miss_callback
我遵循了文档和以前的stackoverflow链接，例如： airflow sla_miss_callback函数a> 对于我的情况，我仍然无法触发 sla_miss_callback 。 我有一个顶级…
亚马逊托管Apache气流：MWAA可以从AWS ECR中提取Docker Image吗？
我们正在考虑使用MWAA，并且已经存储在ECR中的Docker图像。 是否可以从MWAA运行的DAG中将ECR中的Docker图像绘制？…
在MWAA环境中使用S3FiletransFormerator
我正在尝试在MWAA环境中使用S3FiletransFormerator，但是我在脚本文件中缺乏许可： PermissionError: [Errno 13] Permission denied 我试图在任务前将…
如何隐藏AWS_KEY_ID和AWS_SECRET_KEY在AWS MWAA中的渲染模板下
我使用的是AWS托管气流（MWAA），并使用2.0.2版的气流。要在Snowflake中设置外部表格，我正在使用IAM用户，我需要在创建阶段语句中通过AWS_KEY_ID和AW…
如何使用Emailoperator在AWS MWAA（Apache Airffore）中发送电子邮件
我正在与AWS MWAA（Apache Airffore）合作。我想在管道完成后在MWAA发送电子邮件。我设置了以下配置 现在，当我使用电子邮件操作员运行DAG时，它会给…
气流 - 当我需要用DAG处理的工作数量可变时，该怎么办？
我有一个传感器任务，该任务会听到在S3中创建的文件。 戳后，我可能有3个文件，在另一个戳后，我可能还有5个文件。 我想创建一个聆听工作请求的DAG（…
为python列表中存在的气流任务创建动态工作流程
我有以下方式的列表 - [['x_api'，'y_api'，....]，['z_api'，'p_api'，...]，[....]，[。 ..] ....] 在这里，每个API名称对应于Pythonoperator。 在…
亚马逊MWAA本地跑步者：在docker-compose-local.yml中添加气流变量和连接的位置
我正在使用Amazon MWAA本地跑步库来开发和测试我在本地的DAG，然后再向Main/Dev分支提交PR。 我已经从在这里 启动容器后，我想立即导出气流变量和气流…
- 共 1 页
- 1
