使用AWS胶创建雅典娜S3中存储的镶木质数据表

Question

我想在S3存储桶中预览Athena数据。数据在镶木中。此doc 在这里描述如何描述如何描述使用AWS胶水创建预览。这里的一个强制性步骤是输入列详细信息。这包括输入列名及其数据类型。我在此步骤中有两个问题：

1-如果我对镶木quet文件中存在哪些列有什么想法（即，我以前从未看过镶木木的内容）？

2-如果其中有数百个（如果不是数千列），该怎么办。

有没有办法在不输入此列详细信息的情况下进行此工作？

Answer 1

我认为，您提供的链接回答了您的第一个问题：

如果我对镶木quet文件中存在哪些列有任何想法，该怎么办

，那么您应该使用胶水搜索文件并为您创建胶水表，该怎么办。该表将在AWSDataCatalog目录中显示为可查询的关系。

如果其中有数百个（如果不是数千列），该怎么办。

如果您担心某些列配额限制，我花了一些时间来查看文档，以查看是否有每个表最大列的服务配额。我找不到任何。这并不意味着没有一个，但是我会惊讶地看到某人生成了一个比胶水支撑的列的木板文件。