joblib.Memory 和 pandas.DataFrame 输入

Question

我发现，当使用数据帧作为装饰函数的输入时， joblib.Memory.cache 会导致不可靠的缓存。经过一番尝试，我发现 joblib.hash 会导致哈希值不一致，至少在某些情况下是这样。如果我理解正确的话，joblib.hash被joblib.Memory使用，所以这可能是问题的根源。

当新列添加到数据帧并随后复制时，或者当数据帧保存并从磁盘加载时，似乎会出现问题。以下示例比较了应用于数据帧时不一致的哈希输出，或应用于等效 numpy 数据时的一致结果。

import pandas as pd
import joblib


df = pd.DataFrame({'A':[1,2,3],'B':[4.,5.,6.], })
df.index.name='MyInd'
df['B2'] = df['B']**2
df_copy = df.copy()
df_copy.to_csv("df.csv")
df_fromfile = pd.read_csv('df.csv').set_index('MyInd')

print("DataFrame Hashes:")
print(joblib.hash(df))
print(joblib.hash(df_copy))
print(joblib.hash(df_fromfile))

def _to_tuple(df):
    return (df.values, df.columns.values, df.index.values, df.index.name)

print("Equivalent Numpy Hashes:")
print(joblib.hash(_to_tuple(df)))
print(joblib.hash(_to_tuple(df_copy)))
print(joblib.hash(_to_tuple(df_fromfile)))

输出结果：

DataFrame Hashes:
4e9352c1ffc14fb4bb5b1a5ad29a3def
2d149affd4da6f31bfbdf6bd721e06ef
6843f7020cda9d4d3cbf05dfc47542d4
Equivalent Numpy Hashes:
6ad89873c7ccbd3b76ae818b332c1042
6ad89873c7ccbd3b76ae818b332c1042
6ad89873c7ccbd3b76ae818b332c1042

“等效 Numpy 哈希”是我想要的行为。我猜这个问题是由于 DataFrame 使用某种复杂的内部元数据造成的。是否有任何规范的方法可以在 pandas DataFrames 上使用 joblib.Memory.cache ，以便它仅根据数据值进行缓存？

一个“足够好”的解决方法是，如果用户可以通过某种方式告诉 joblib.Memory.cache 使用类似于我上面的 _to_tuple 函数的特定参数。

Answer 1

使用 df.sample 后我遇到了非常类似的问题：

import joblib
import pandas as pd

df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': [4., 5., 6.],
})


df = df.sample(n=2, random_state=42)
df_copy = df.copy(deep=True)

pd.testing.assert_frame_equal(df_copy, df)

print("df hash:     ", joblib.hash(df)[:8])
print("df_copy hash:", joblib.hash(df_copy)[:8])

输出

df hash:       4fcae8aa
df_copy hash:  bdf63e40

在没有 df.sample 的情况下运行相同的脚本会为 df 呈现相同的哈希值，并且它是复制。

作业库：1.2.0
熊猫：1.4.4