有没有办法控制气流中的并行任务组?我们可以使用池做到这一点吗?
我正在尝试并行执行不同集的多个类似任务,但只想运行其中一些任务,同时让其他任务组等待完成。例如,如果我有 5 个任务组,我想并行运行其中 3 个任务组,并且仅在其中一个任务组完成时才触发其他任务组。基本上一次只有3个并行运行。最好的方法是什么?
I am trying to execute multiple similar tasks for different sets in parallel, but only want to run some of them while making other tasks group wait for completion. For example if I have 5 task groups, I want to run 3 of these groups in parallel and only trigger the others if one of them complete. Basically only have 3 running parallel at a time. What's the best way to do that?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
为什么不使用ExternalTaskOperator,它的作用是绑定一个任务,使其在其父任务完成之前不运行,您可以在气流文档中搜索。
Why don't you use ExternalTaskOperator, what it does is bound a task to not run until its parent task is finished you can search on airflow documentation.