Cloud Composer 2无法发送SMTP电子邮件
我正在努力通过smtp.gmail.com发送来自Cloud-Composer 2环境（Composer-2.0.11-Airflow-2.2.3）的电子邮件。 请在下面找到我的配置： 注意我尝试使用S…
Cloud Composer-修复了弃用的beta api and kubernetes上
我们目前正在GKE v1.21.x.上运行“ Composer-2.0.7-AirFlow-2.2.3”。 希望升级到GKE v1.22.x，在使用v1.22中不再可用的API警告。 您能否建议Cloud Co…
气流：使用BigQueryCheckeCoperator的模板参数
我想在气流中使用 bigQueryCheckeCoperator ，查询需要将执行日期作为参数。我写了以下操作员检查当前日期，但我不明白如何使用DAG的 execution_date …
云作曲家（气流）运行依赖的python脚本
Python Project正在运行多个PY脚本。是否可以从DAG中调用其他Python脚本，而是从单个Python脚本中调用DAG中的一个Python脚本，即通过Pythonoperator或…
气流DataProc无服务器创建者不使用Python参数
我正在尝试使用 dataproccreatebatchoperator 运算符从Google Cloud Composer设置DataProc Server批处理作业运算符，该操作员采用了一些会影响基础Pyt…
更新gcloud容器群集时Invalid_argument错误
我的目标是使用GCloud命令更新作曲家DAG变量。我首先使用单个命令通过问题在此使用Google Cloud Composer中的JSON文件导入变量。 我有以下错误 - 错误…
在气流版本2.2.5中解析DAG时面对任务超时错误
我正在使用 AirFlow版本2.2.5/Composer 2.0.15 击中任务超时错误。相同的代码在 airflow版本2.2.3 /Composer版本1.18.0 错误消息中绝对可以运行，错误…
无法在Google Cloud Composer上安装气流雪花提供商软件包
我正在尝试在Google Cloud Composer环境上安装Apache-Airflow-Snowflake。 Apache-airFlow-Providers-snowflake具有SQLalchemy＆gt; = 1.4.0的要求 ，…
云功能可以使用任何作曲家环境变量吗？
我们有160个云功能（CF）设置，在CF代码中，我们必须参考CF运行的作曲家的网络ID和客户端ID。目前是硬编码。 是否有任何方式可以访问Cloud Composer的…
需要备份数据，但它不在气流中工作
我正在尝试在气流中备份数据，但没有给出任何错误，也无法备份数据，因为它被跳过了。我编写的代码是： - import os from airflow import DAG from ai…
在Google的Cloud Composer环境中安装和管理不同版本的自定义WHL文件
我从Google Cloud Composer环境开始。我想组织我的项目如下： dags/ ├── project-1 | ├── dist | | ├── my_custom-0.0.1-py3-none-any.whl |…
无法从GCP（Composer）上的气流数据库中删除气流表
我最近在GCP上将作曲家/气流从1.17/2.0升级到1.18/2.2。升级后，我会看到以下在气流UI上的警告： 气流在元数据库的DAG_RUN表中发现了不兼容的数据，并…
GCP Composer 2（气流2）数据Proc Operator-将软件包传递给PYSPARK_JOB
我正在使用GCP Composer2安排Pyspark（结构化流）作业， Pyspark代码读/写入Kafka。 DAG使用运算符 - dataproccreateclusteroperator （创建一个GKE群…
Cloud Composer / Airffor
我在气流（Cloud Composer）中执行以下任务，该任务触发了云数据输送管道。 问题是： 当（在DataFusion）中（在DataFusion中）已提供数据群集群并且实…
