Airflow 任务卡在排队状态

Question

Airflow 正在运行，但任务因状态排队而卡住。

我运行了气流调度程序。

这是我的代码和气流用户界面的快照。

任何人都可以向我解释一下问题是什么？

import datetime as dt
from datetime import timedelta

from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.operators.python_operator import PythonOperator
import pandas as pd

def CSVToJson():
    df = pd.read_csv('/Users/daeyong/Desktop/Projects/Python/airflow2/file.csv')
    for i,r in df.interrows() :
        print(r['name'])
    df.to_json('fromAirflow.json', orient='record')

default_args = {
    'owner': 'paulcrickard',
    'start_date': dt.datetime(2022, 3, 10),
    'retries': 1,
    'retry_delay': dt.timedelta(minutes=5)
}

with DAG('MyCSVDAG',
    default_args=default_args,
    schedule_interval=timedelta(minutes=5),
    # '0 * * * *',
) as dag:
    print_starting = BashOperator(task_id='starting',
    bash_command='echo "I am reading the CSV now....."')
    CSVJson = PythonOperator(task_id='convertCSVtoJson', python_callable=CSVToJson)


print_starting >>  CSVJson

airflow_screenshot_1

airflow_screenshot_2

Answer 1

两个可能的原因，没有更多背景。

1. 您的默认池没有分配或可用的任何槽位
2. 您的任务声明需要通过选项卡切换到“with DAG”语句中

调度程序日志和您的池页面的图像将提供更多帮助。