Google Cloud Composer气流SQLalchemy operationalitationalror导致DAG永远悬挂
我在云作曲家气流DAG中有很多任务，其中一个是 kubernetespedeperator 。这个任务似乎永远陷入计划的状态>状态，因此DAG连续运行15小时而无需完成（通…
GCP作曲家气流 - 无法使用PYPI安装包装
我创建了一个具有图像版本的作曲家环境 - ＆gt; COMPOSER-2.0.13-AIRFLOW-2.2.5 尝试使用PYPI安装软件时，它会失败。 下面的详细信息： Command : gcl…
如何安排DAG并并行运行一些任务，然后完成一个任务？
我有一些可以同时运行的任务。完成后，我需要执行最终任务。我尝试使用这样的任务分组来执行此操作： import airflow from airflow.utils.task_group …
有没有办法在一次运行中为多个环境运行单个DAG？
我有一个运行多个KuberneteSoperator的DAG。 这些操作员在群集上执行任务（环境）。是否有一种方法可以一次触发所有群集的这些任务？ 气流中是否有环…
在气流GkestartPodoperator操作员中配置卷
我有一个Google Cloud Composer环境。在我的DAG中，我想在GKE中创建一个吊舱。当我根据不需要任何卷配置或秘密的Docker容器部署一个简单的应用程序时…
根据表更新何时启动DAG
我有一个10-15步骤的DAG流程，当天更新了一个BigQuery表之后，我需要启动。可以使用简单的选择SQL语句检查表： select * from sample_table where upd…
如何在GCP上的云作曲家气流环境中安装的本地安装相同的PIP依赖关系？
我正在尝试在VS代码中设置本地开发环境，在其中我可以完成cond Cloud Composer/Apache Airffore使用的代码完成。到目前为止，我已经成功使用了虚拟环…
REST API请求在气流中失败（＆＃x27;连接中止。
我使用请求库通过REST API请求数据。一切都在本地工作，但是当我部署到GCP Composer实例时，我会遇到错误。 def get_ids(): s = requests.Session() r…
Cloud Composer，“丢失连接到MySQL Server AT at”
我正在使用Cloud Composer环境运行Composer版本1.18.7和AirFlow版本1.10.15。基于Google Cloud平台文档错误消息”（_ mysql_exceptions.operationaler…
通过Web Server访问通过Cloud Nat限制IP地址后，无法访问Composer REST API
我正在尝试通过GCF触发作曲家DAG。当Web服务器访问网络访问控制允许所有IP连接时，我能够触发它，但是在限制IP之后，云函数将抛出403-禁止错误。 以下…
最佳实践气流从桌子上创建大Query桌子
我是BigQuery的新手，来自AWS背景。 我有一个没有结构的水桶，只有名称文件 yyyy-mm-dd-＆lt; some_id＆gt; .csv.gzip 。 目标是将其导入BigQuery，然…
气流 - 无法将Bashoperator中的模板Env变量推到XCOM
我正在尝试对XCOM和Jinja模板上的云作曲家的气流2.2基础知识感到满意。我的Bashoperator的代码如下（它以文件的名称使用执行日期）。该文件名作为 env…
权限需要扩大环境作曲家2的规模？
我已经有一个环境正在运行，但是想扩展机器尺寸。但是，请继续与以下错误相似： UPDATE operation on this environment failed 3 minutes ago with th…
