谷歌云作曲家库安装失败
在尝试更新我的 Composer env 上已安装的 pypi 软件包时，我收到以下错误 - UPDATE operation on this environment failed 7 minutes ago with the fo…
气流2.2.3-任务之间的延迟变化，任务在队列中停留太长[云作曲家]
我们在 GCP（Kubernetes 集群上的托管 Airflow）中使用 Cloud Composer 来调度我们的 ETL 管道。 我们的 DAG (200-300) 是动态的，这意味着它们全部由…
确保对GKE的效果，该效果从升级到GKE的v1.23的云代表器
我有一些云作曲家。 升级到 GKE v1.23 对 Cloud Composer 有影响吗？ https://cloud.google.com/kubernetes-engine/docs/deprecations/ webhookcompat…
kubernetespederator无法访问Google Secrets Manager中存储的气流连接
我使用的是 Composer 版本 2.0.0 Airflow 2.1.4，并且创建了一个 KubernetesPodOperator，它尝试访问存储在 Google Secrets Manager 中的 Airflow 连…
如何将 Google Cloud Composer (Airflow) 与 Google Sheets 连接并将信息提取到 Google Storage（存储桶）
我正在尝试阅读 Google 表格，例如： STORE_NUM |商店名称 | OPENING_AT | CLOSING_AT 01 |名称_a | 9:00 | 20:00 02 |名称_b | 9:00 | 20:00 03 |名…
使用 terraform 创建 Cloud Composer 2 时，显示错误，即无法配置工作负载身份：身份池不存在
错误：等待创建环境时出错：等待创建环境时出错：错误代码 3，消息：CREATE 操作失败。无法配置工作负载身份：身份池不存在 (PROJECT_ID.svc.id.goog)…
Pod 因 Container Airflow-worker 超出其本地临时存储限制“10137Mi”而被驱逐在谷歌作曲家中
我使用的是 google Composer 版本 1.18.0，它具有 Airflow 版本 2.2.3，工作节点数设置为 4，并带有磁盘大小为 100 GB，机器类型为 n1-standard-2， W…
来自 Gsheets 的ExternalTable(Ghseets) 运算符的 Airflow 2.x 存储桶和范围参数
我在 Google-Composer 中使用新的 Airflow 运算符 BigQueryCreateExternalTableOperator 时遇到问题： 问题 1 创建 Airflow 任务后会发生这种情况： A…
GCP 从 Composer 错误触发数据流作业
我正在尝试使用下面的代码从 Composer Airflow DAG 运行数据流作业。 根据代码，我收到两种类型的错误消息。 请建议如何修复它。 a) 错误 1：当服务帐…
是否可以循环遍历 PySpark 作业提交并对每个提交进行参数化？
我有一个 DAG（部分代码片段），它将向 Google Cloud 上的 Dataproc 提交多个作业 for collection in collection_list: op = dataproc.DataprocSubmit…
使用terragrunt更新谷歌云作曲家
我正在尝试使用 terragrunt 将 Cloud Composer 从composer-1.17.3-airflow-1.10.14 更新到 composer-1.17.10-airflow-1.10.15。 ; 一小时后，它失败并…
使用 Paramiko 的 GCP 上的 SSH 连接超时
我正在尝试使用 Cloud Composer 中的 paramiko 通过 SFTP 将文件从 GCP 推送到外部服务器。下面是代码示例： import paramiko host, port = "hostname…
GCStoGCSOperator 跨项目 Composer/Airflow 移动选项
因此，我利用 GCStoGCSOperator 从报告 API 获取报告，然后对项目中的报告进行一些更新，但当我尝试将该文件移动到项目 2 时，它会抛出错误说明该存储…
