我可以通过数据类型错误将DF转换为parquet

Question

我正在尝试将PANDAS DataFrame转换为Parquet，但是我遇到了一个错误“删除字节，获得了'int'对象”，'conversion'conversion thing xxxxxxxx带有类型对象'） Excel中的该表具有数字和字符串，它就像dtype的“对象”，即使如此出现错误。我已经尝试过df ['xxxxxxxx']。astype（str），df ['xxxxxxxx']。astype（'data_type'），但它们都没有起作用。 我尝试用AWS Wrangler和Pyarrow转换为Parquet

Answer 1

您尝试过：

df['xxxxxxxx'] = df['xxxxxxxx'].astype(bytes)

Answer 2

我在使用AWS Wrangler将Pandas DataFrame保存到Paraquet的同时，我遇到了这个错误。
在我的情况下，这发生在列的前几行是 dateTime 类型的时，而下面的剩余行则是刺痛类型。我用它检查了其中包含不同数据类型的列。

for c in range(df.shape[1]):
    for i in range(df.shape[0]):
        if(type(df.iloc[0,c])!=type(df.iloc[i,c])): 
            print("difference found in cell ", i,c)
            print("column name =", df.columns[c])
            break
            
# if you get difference for nan types (float) ignore that

然后将确定的列的所有行转换为一个单个数据类型。

Answer 3

我今天面对同一问题，并使用地图解决：

df = df.map(str)
df.to_parquet("data.parquet", engine="fastparquet",compression="gzip")

链接：

Answer 4

如其他

问题。因此，请尝试：

df['xxxxxxxx'] = df['xxxxxxxx'].astype(str)
df.to_parquet(path)

但是，这不是一个好习惯，因为这将隐藏类型错误，您应该考虑通过分开数据或意识到此columnhas不同类型来修复列的类型。熊猫在此类型的错误中包含警告：

   Columns (# of column) have mixed types. Specify dtype option on import or set low_memory=False.

Answer 5

我遇到了同样的问题。设置引擎='fastparquet' to_parquet 方法的参数对我有帮助。