Dask计算商店结果吗？

Question

考虑下面的代码

import dask
import dask.dataframe as dd
import pandas as pd

data_dict = {'data1':[1,2,3,4,5,6,7,8,9,10]}
df_pd     = pd.DataFrame(data_dict) 
df_dask   = dd.from_pandas(df_pd,npartitions=2)

df_dask['data1x2'] = df_dask['data1'].apply(lambda x:2*x,meta=('data1x2','int64')).compute()

print('-'*80)
print(df_dask['data1x2'])
print('-'*80)
print(df_dask['data1x2'].compute())
print('-'*80)

我不明白的是：为什么第一次和第二次打印的输出之间存在差异？毕竟，我在应用该函数时调用了compute，并将结果存储在df_dask['data1x2']中。

Answer 1

第一个打印将仅显示 dask 系列的惰性版本，df_dask["data1x2"]：

Dask Series Structure:
npartitions=2
0    int64
5      ...
9      ...
Name: data1x2, dtype: int64
Dask Name: getitem, 15 tasks

这显示分区数量、索引值（如果已知）、需要完成的任务数量获得最终结果以及一些其他信息。在此阶段，dask 并未计算实际序列，因此该 dask 数组内的值未知。调用 .compute 会启动获取实际值所需的 15 个任务的计算，这就是第二次打印的内容。

Answer 2

Dask确实将存储在工人或调度程序上的内存中。但这不是推动显示结果的差异的原因。两者的显示方式不同，因为它们是不同类型的对象。

df_dask ['data1x2']是dask.dataframe.series，它只会显示数据结构的预览以及有关计算涉及任务数量的信息值。显示任何数据至少需要将数据移动到主线程，如果不是计算，则可能是I/O，因此，除非明确要求使用df.head（），否则Dask永远不会执行此操作。

df_dask ['data1x2']。compute（）是pandas.series。它不再与Dask有关，并且根据定义中的内存。由于所有PANDAS数据结构都在存储器中，因此数据由Defualt显示。

当您在Dask对象上调用计算时，它将停止为DASK对象。在这种情况下，第一个计算返回熊猫系列。当您将熊猫系列分配给DASK数据框架时，Dask分区并将数据发送给工人，然后再也无法显示整个系列。因此，如果您想查看显示的系列，则必须再次致电Compute。

想象一下，如果您的整个数据框太大而无法适应内存，这将有多有用，例如，如果您有1000列和10m行。这就是Dask的设计目的。