气流没有为我的情况触发sla_miss_callback

发布于 2025-02-03 14:59:36 字数 1804 浏览 1 评论 0原文

我遵循了文档和以前的stackoverflow链接,例如: airflow sla_miss_callback函数a> 对于我的情况,我仍然无法触发sla_miss_callback

我有一个顶级DAG(DAG X1),其计划间隔为:0 18 * * * * * - >每天下午6点跑。 这是使用triggerDagrunoperator调用Sub Dag(DAG Y1)。 子dag y1没有附带的时间间隔,因此我无法将SLA应用于此代码,因为该代码 - 气流代码

所以我将SLA附加到我的顶级DAG任务上,与此 - https://airflow.apache.org/docs/apache-apache-airflow/2.3.1/concepts/concepts/concepts/tasks.htasks.html #slas

@dag(
    schedule_interval="0 18 * * *",
    start_date=pendulum.datetime(2021, 1, 1, tz="UTC"),
    sla_miss_callback=sla_callback,
    default_args={'sla': timedelta(seconds=60)
}

def sla_callback(dag, task_list, blocking_task_list, slas, blocking_tis):
    print(
        "The callback arguments are: ",
        {
            "dag": dag,
            "task_list": task_list,
            "blocking_task_list": blocking_task_list,
            "slas": slas,
            "blocking_tis": blocking_tis,
        },
    )

在我的DAG处理器日志中,我确实看到了此日志 {{{processor.py:377}} ife -info-运行SLA检查DAG x1,来自气流代码 但是之后,我看不到与SLA和SLA回调功能有关的任何日志并没有被启动。我的DAG运行时间超过一个小时。

I have followed the documentation and previous stackoverflow links eg : Airflow sla_miss_callback function not triggering
Still I am not able to trigger sla_miss_callback for my case.

I have a top level DAG(DAG X1) that has scheduler interval of : 0 18 * * * -> run everyday at 6 pm.
This calls sub DAG(DAG Y1) using TriggerDagRunOperator.
Sub DAG Y1 do not have schedule interval attached so I cannot apply SLA to it because of this piece of code - Airflow Code

So I have attached SLA to my top level DAG task exactly the same way as this - https://airflow.apache.org/docs/apache-airflow/2.3.1/concepts/tasks.html#slas

@dag(
    schedule_interval="0 18 * * *",
    start_date=pendulum.datetime(2021, 1, 1, tz="UTC"),
    sla_miss_callback=sla_callback,
    default_args={'sla': timedelta(seconds=60)
}

def sla_callback(dag, task_list, blocking_task_list, slas, blocking_tis):
    print(
        "The callback arguments are: ",
        {
            "dag": dag,
            "task_list": task_list,
            "blocking_task_list": blocking_task_list,
            "slas": slas,
            "blocking_tis": blocking_tis,
        },
    )

In my DAG Processor log I do see this log
{{processor.py:377}} INFO - Running SLA Checks for DAG X1, Coming from this part of the Airflow Code
but after that I dont see any log related to SLA and SLA Callback function is not getting kicked off. My DAG run time is more than hour long.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文