arrowinvalid：getfileinfo（）产生的路径在基本dir parquet之外

Question

我在我的S3存储桶中存储了一个带有多个分区文件的镶木quet数据集。我想将其阅读到我的熊猫数据框架中，但是当我以前没有时会遇到此Arrowinvalid错误。

有时，此数据已被一些先前的pandas数据拍摄，如下所示：

import pandas as pd  # version 1.3.4
# pyarrow version 5.0

df.to_parquet(
    f's3a://{bucket_and_prefix}',
    storage_options={
        "key"          : os.getenv("AWS_ACCESS_KEY_ID"),
        "secret"       : os.getenv("AWS_SECRET_ACCESS_KEY"),
        "client_kwargs": {
            'verify'      : os.getenv('AWS_CA_BUNDLE'),
            'endpoint_url': 'https://prd-data.company.com/'
        }
    },
    index=False
)

但是当阅读它时：

df = pd.read_parquet(
    f"s3a://{bucket_and_prefix}",
    storage_options={
        "key"          : os.getenv("AWS_ACCESS_KEY_ID"),
        "secret"       : os.getenv("AWS_SECRET_ACCESS_KEY"),
        "client_kwargs": {
            'verify'      : os.getenv('AWS_CA_BUNDLE'),
            'endpoint_url': 'https://prd-data.company.com/'
        }
    }
)

它失败而错误：

arrowinvalid：getfileinfo（）产生'bucket/folder/data.parquet/year = 2021/noter = 2/abcde.parquet'，它是基础dir dir's3：//bucket/folder/data.parquet'

arrowinvalid：getfileinfo（）产生路径'bucket/folder / 这个箭头错误发生了，我如何将木木木数据读取到熊猫中？