如何从parquet文件中删除__null_dask_index？

Question

我正在使用 dask 为 parquet 文件编写DF：

df.to_parquet(file, compression='snappy', write_metadata_file=False,\
              engine='pyarrow', index=None)

我需要在在线Parquet查看器中介绍该文件的内容，

并且显示的列显示为：

Column1  Column2  Column3  __null_dask_index__

如何：我删除__ null_dask_index __列？

Answer 1

相关的Kwarg这里是write_index：

from dask.datasets import timeseries
from pyarrow.parquet import ParquetFile

df = timeseries(end='2000-01-03').reset_index()

for write_index in [True, False]:
    df.to_parquet('test.pqt', write_index=write_index)
    f = ParquetFile('test.pqt/part.0.parquet')
    print(f.schema.names)
# ['__null_dask_index__', 'timestamp', 'id', 'name', 'x', 'y']
# ['timestamp', 'id', 'name', 'x', 'y']