使用 lambda 和 boto3 从 S3 存储桶读取 csv 文件的子集

Question

在我的 s3 存储桶中，我有大约 30 个 csv 文件，分为 3 类。对于我的 lambda，我有兴趣只选择其中属于类别 1 的 8 个。 我使用了下一个问题的响应： 读取多个 csv 文件来自带有 boto3 的 S3 存储桶，

所以我制定了下一个代码：

def read_prefix_to_df(prefix,s3_resource,bucket_name):
    bucket = s3_resource.Bucket(bucket_name)
    prefix_objs = bucket.objects.filter(Prefix=prefix)
    prefix_df = []
    for obj in prefix_objs:
        key = obj.key
        body = obj.get()['Body'].read()
        df = pd.DataFrame(body)
        prefix_df.append(df)
    return prefix_df

其中：

bucket_name='my_bucket'
prefix='folder/data_overview_*.csv'

所有 8 个文件几乎具有相同的名称，除了末尾的日期，这就是为什么我使用 * 来选择与数据_概述_ 不幸的是，返回的数据框是空的，我应该更改前缀吗？

Answer 1

前缀不能包含通配符。

您应该使用：

prefix = 'folder/data_overview_`

如果您需要进一步限制为仅 CSV 文件，那么您将需要在 Python 代码中使用 if 语句来完成此操作。