我们可以在出口条件下创建气流DAG周期吗？

Question

我们有一个巨大的CSV文件，气流DAG看起来好像

>> read_csv 
>> apply filter
>> store in database

我们必须将数据从CSV读取器操作员传递给过滤器操作员。我们可以使用以下工作流程，而不是阅读完整的CSV并将其提供给过滤器？

>> read_chunk_from_csv
>> apply filter
>> store in database
>> [read_chunk_from_csv, exit]

我们可以从CSV迭代阅读一块，并在周期中处理每个块直到完成。

Answer 1

不，你不能。 DAG代表直接循环图，这意味着没有循环。

如果您尝试尝试，IT气流将提高

您正在寻找的是MapReduce，例如行为。为此，您可以使用动态任务映射此功能在AirFlow 2.3.0中发布，您可以使用它来创建映射的任务，其中每个任务都可以处理数据的一部分。