Dask 内存不足 (16GB) 使用 apply 时

Question

我正在尝试对大约 3.5GB+（组合 csv 大小）的数据（由 6 个 csv 组合而成）进行一些字符串操作。

**

**Total csv size : 3.5GB+,
Total Ram Size : 16GB,
Library Used   : Dask**
Shape of Combined Df : 6 Million rows and 57 columns

**

我有一种方法可以从基本列中消除不需要的字符，例如：

def stripper(x):
    try:
        if type(x) != float or type(x) != pd._libs.missing.NAType:
            x = re.sub(r"[^\w]+", "", x).upper()
    except Exception as ex:
        pass
    return x

我将上述方法应用于某些列，如 ::

df[["MatchCounty", "MatchZip", "SourceOwnerId", "SourceKey"]] = df[["County", "Zip", "SourceOwnerId", "SourceKey"]].apply(stripper, axis=1, meta=df)

并且我还用另一列中的值填充列的空值，如下所示：

df["MatchSourceOwnerId"] = df["SourceOwnerId"].fillna(df["SourceKey"])

这些是我需要执行这两个操作，之后我只是执行 .head() 来获取值（作为 dask 的惰性求值方法）。

temp_df = df.head(10000)

但是当我这样做时，它会继续吃内存，我的 16 GB 内存总量会变为零，并且内核会死掉。

我该如何解决这个问题？任何帮助将不胜感激。

Answer 1

我不熟悉 Dask，但在我看来，您可以对每个列使用.str.replace，而不是对每个行使用自定义函数< /em>，并寻求更加矢量化的解决方案：

df[["MatchCounty", "MatchZip", "SourceOwnerId", "SourceKey"]] = df[["County", "Zip", "SourceOwnerId", "SourceKey"]].dropna().apply(lambda col: col.astype(str).str.replace(r"[^\w]+", ""), meta=df)

Answer 2

要扩展@richardec的解决方案，在Dask中您可以直接使用 DataFrame.replace 和 Series.str.upper，它应该比使用 apply 更快。例如：

import dask.dataframe as dd
import pandas as pd

ddf = dd.from_pandas(
    pd.DataFrame(
        {'a': [1, 'kdj821', '* dk0 '],
         'b': ['!23d', 'kdj821', '* dk0 '],
         'c': ['!23d', 'kdj821', None]}),
    npartitions=2)

ddf[['a', 'b']] = ddf[['a', 'b']].replace(r"[^\w]+", r"", regex=True)
ddf['c'] = ddf['c'].fillna(ddf['a']).str.upper()
ddf.compute()

最好知道您将 Dask DataFrame 分成了多少个分区 - 每个分区都应该适合内存（即 < 1GB），但您也不希望有太多（请参阅DataFrame 中的最佳实践Dask 文档）。