AWS雅典娜：带有非标准文件结构的S3存储桶的分区表

Question

我是雅典娜的新手，我很难了解分区的工作原理以及它是否可以对我有用。

我以以下格式有S3中的文件： path/to/files/yyyymmddthhmmsssz_＆lt; id＆gt; .json

例如：

path/to/files/20191208T130435Z_265901.json
path/to/files/20191212T132019Z_266406.json
path/to/files/20191216T102909Z_266975.json
path/to/files/20191226T095326Z_268789.json
path/to/files/20191226T103749Z_268798.json
path/to/files/20191226T110113Z_268802.json
path/to/files/20191229T182902Z_269391.json
path/to/files/20191230T041315Z_269481.json
path/to/files/20200101T200007Z_269935.json
...

我知道这不遵循正确的蜂巢风格分区的准则，但我不是数据所有者，但是我不是数据的所有者，所以这不会改变。

我的问题是：是否有任何方法可以指定每月的分区？

我正在阅读本指南但是我不确定是否以及如何适用于我的案件。

非常感谢。

Answer 1

您可以预处理数据并将其重命名，以具有正确的目录结构。

对于Ex：

1. 对象上传
2. 发送S3 PUT事件到Lambda（仔细设置以不干扰步骤3）
3. 复制+删除此对象以纠正目录结构。

Answer 2

因此，在更仔细地阅读文档后，我认为答案是“否”。如果我在“ yyyymmdd”之后有一个定界符（“/”），则可以通过分区投影，但是由于没有，也不会发生这种情况。

似乎没有其他方法可以解决解决方案@Alex所建议的。