将数据从多个镶木件文件检索到一个数据框中（Python）

Question

首先，我要说这是我第一次使用镶木木文件。我有一个从S3存储桶中下载的2615个镶木文件的列表，我想将其读为一个数据框架。他们遵循相同的文件夹结构，我在下面列出一个示例：

/as_of_date=2022-02-02-01/type=full/export_country = spain = spain = spain/import_country=france/000.parquet.parquet'

文件名称000.Parquet总是相同的，无论文件夹如何。

我使用以下功能保存了所有文件位置：

import os
def list_files(dir):
    r = []
    for root, dirs, files in os.walk(dir):
        for name in files:
            r.append(os.path.join(root, name))
    return r 

这将生成所有文件位置的列表，就像上面的文件夹示例一样。

我尝试使用的下一件事是使用dask将所有镶木件文件读取到dask dataframe中，但似乎不起作用。

import dask.dataframe as dd
dask_df = dd.read_parquet(data_files)

我不断遇到此错误，尽管我了解问题在哪里，但我不确定如何解决。这是因为文件包含列export_country和import_country，这也是分区：

ValueError: No partition-columns should be written in the 
file unless they are ALL written in the file.

我尝试使用的另一种解决方案是使用PANDAS通过每个Parquet文件迭代并将所有内容组合到一个数据范围中。

df = pd.DataFrame()
for f in data_files:
    data = pd.read_parquet(f,engine = 'pyarrow')
    df = df.append(data)

由于没有更多的RAM，这似乎花费了很长时间，而我的内核死亡。

Answer 1

与多次附加相比，进行单个cont的速度更快：

df = pd.concat((pd.read_parquet(f, engine = 'pyarrow') for f in data_files))

但是我怀疑它有助于记忆限制。

Answer 2

@Learning的变体是混乱的答案，但使用dd.concat：

from dask.dataframe import read_parquet, concat
dask_df = concat([read_parquet(f) for f in data_files])

Answer 3

在Pandas 1.3 +中，

您可以直接读取文件夹，而Pandas会为您限制它们：

df = pd.read_parquet("path/to/folder/")
df.head()