有没有办法控制气流中的并行任务组?我们可以使用池做到这一点吗?

发布于 2025-01-20 16:46:21 字数 129 浏览 2 评论 0原文

我正在尝试并行执行不同集的多个类似任务,但只想运行其中一些任务,同时让其他任务组等待完成。例如,如果我有 5 个任务组,我想并行运行其中 3 个任务组,并且仅在其中一个任务组完成时才触发其他任务组。基本上一次只有3个并行运行。最好的方法是什么?

I am trying to execute multiple similar tasks for different sets in parallel, but only want to run some of them while making other tasks group wait for completion. For example if I have 5 task groups, I want to run 3 of these groups in parallel and only trigger the others if one of them complete. Basically only have 3 running parallel at a time. What's the best way to do that?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

昔梦 2025-01-27 16:46:21

为什么不使用ExternalTask​​Operator,它的作用是绑定一个任务,使其在其父任务完成之前不运行,您可以在气流文档中搜索。

Why don't you use ExternalTaskOperator, what it does is bound a task to not run until its parent task is finished you can search on airflow documentation.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文