dask map_blocks较早运行，重叠和嵌套过程的结果不好

Question

我正在使用dask创建一个简单的数据操作管道。我基本上使用了3个功能。前两个使用简单的map_blocks，第三个也使用map_blocks，但用于重叠的数据。

由于某种原因，第三个map_blocks比我想要的要早执行。请参阅代码和IPYTHON输出（不执行Run（）：

data = np.arange(2000)

data_da = da.from_array(data, chunks=(500,))

def func1(block, block_info=None):
    return block + 1

def func2(block, block_info=None):
    return block * 2

def func3(block, block_info=None):
    print("func3", block_info)
    return block

data_da_1 = data_da.map_blocks(func1)

data_da_2 = data_da_1.map_blocks(func2)

data_da_over = da.overlap.overlap(data_da_2, depth=(1), boundary='periodic')

data_da_map = data_da_over.map_blocks(func3)

data_da_3 = da.overlap.trim_internal(data_da_map, {0: 1})

输出是：

func3 None
func3 None

它仍然不尊重这里的4个块数。

我真的不知道这是什么问题 。

代码 （）在rechunk之前，我也已经对此进行了测试。

Answer 1

像许多DASK操作一样，DA.OverLap操作可以通过一个指定输出类型和维度的meta参数，或者Dask将使用数据的小（或长度为零）子集执行该功能。

来自 dask.aray.map_overlap文档：

请注意，此功能将尝试在计算之前自动确定输出数组类型，如果您希望在0-D数组操作时该函数不会成功，请参考META关键字参数。

。