读回Pyarrow保存的Pandas DataFrame给出错误的值

Question

我试图使用Pyarrow V2将Pandas DataFrame保存到镶木格式，并遇到了一个奇怪的问题。 （简化的）数据框有一个字符串列和一个嵌套列（DICS列表）。这是一个示例：

labels = ["aa", 'bb', 'cc', 'dd']
vals = [random.choice(labels) for _ in range(2000)]
df = pd.DataFrame({'names': vals})
df["name_nested"] = df.names.apply(lambda x: [{"label": x}])
df.to_parquet("x.par") 

如您所见，“名称”和“ name_nested”应该具有相同的值：

df.head（），

    names   name_nested
0   bb  [{'label': 'bb'}]
1   aa  [{'label': 'aa'}]
2   cc  [{'label': 'cc'}]
3   cc  [{'label': 'cc'}]
4   cc  [{'label': 'cc'}]

但是，一旦我从磁盘中重新加载了保存的parquet文件，事情就很奇怪，我不会变得相同结果：

df2 = pd.read_parquet("x.par")
df2["name_nested2"] = df2.name_nested.apply(lambda x: x[0]["label"])

len(df2[df2.name_nested2 != df2.names])

# 726

在2000个条目中，有726个条目不匹配。这是一个示例：

df2[df2.name_nested2 != df2.names] 

    names   name_nested name_nested2
1025    dd  [{'label': 'cc'}]   cc
1027    bb  [{'label': 'aa'}]   aa
1029    aa  [{'label': 'cc'}]   cc
1031    dd  [{'label': 'aa'}]   aa
1035    bb  [{'label': 'dd'}]   dd

如您所见，列 name_nested 与 name 不一样！这是非常错误的行为。我还注意到，只有在数据范围的行超过1024行时才发生，并且不匹配仅在第1024行之后才发生。

我认为这将是一个已知的问题，但找不到有关此的任何信息。

一旦我升级到Pyarrow 6，这不再是一个问题，而是想了解这一点的根本原因，如果有人以前看过。

Answer 1

Pyarrow版本2.0.0很旧，从那以后的镶木木支持上发生了许多改进。考虑PYARROW目前为8.0.0版。我建议您升级到最新版本，以从最近的所有工作中受益。

您的特定问题可能与在版本4.0.0中解决