处理巨大的熊猫数据框

Question

我有一个巨大的数据库（约500GB左右），可以将其放入熊猫中。数据集包含39705210的观测值。您可以想象，Python甚至打开它也很难。现在，我试图使用Dask将其导出到CDV中的20个分区中：

import dask.dataframe as dd
dask_merge_bodytextknown5 = dd.from_pandas(merge_bodytextknown5, npartitions=20)  # Dask DataFrame has 20 partitions

dask_merge_bodytextknown5.to_csv('df_complete_emakg_*.csv')
#merge_bodytextknown5.to_csv('df_complete.zip', compression={'method': 'zip', 'archive_name': 'df_complete_emakg.csv'})

但是，当我试图通过这样做掉落一些行时：

merge_bodytextknown5.drop(merge_bodytextknown5.index[merge_bodytextknown5['confscore'] == 3], inplace = True)

内核突然停止。因此，我的问题是：

1. 有没有办法使用dask（还是阻止内核粉碎的另一种方式）掉落所需的行？
2. 您知道一种减轻数据集或在Python中处理数据集的方法（例如，在同时进行一些基本的描述性统计数据）除了删除观测值之外吗？
3. 您是否知道一种在不单独保存n个分区的情况下并行出口大熊猫DB作为CSV的方法（如Dask完成）吗？

谢谢

Answer 1

Dask DataFrames不支持Inploph Kwarg，因为每个分区和后续操作都延迟/懒惰。但是，就像在大熊猫中一样，可以将结果分配给相同的数据框架：

df = merge_bodytextknown5  # this line is for easier readability
mask = df['confscore'] != 3  # note the inversion of the requirement

df = df[mask]

如果有多种条件，bask可以重新定义，例如测试两个值：

mask = ~df['confscore'].isin([3,4])

dask将跟踪操作的操作，但是，至关重要的是，在要求/需要之前不会启动计算。例如，保存CSV文件的语法非常pandas类似：

df.to_csv('test.csv', index=False, single_file=True) # this save to one file

df.to_csv('test_*.csv', index=False) # this saves one file per dask dataframe partition