AWS Glue Crawler 使用 tsv 文件创建一个空表，但不使用分号分隔的文件创建空表

Question

我有一个 AWS Glue Crawler，在 S3 上有 3 个数据存储，每个数据存储都是表的 S3 路径。当文件以分号分隔时，爬网程序运行良好，而当文件以制表符分隔时，爬网程序就会崩溃。 但是，根据 AWS 官方文档，CSV 内置分类器

检查以下分隔符：逗号 (,)、竖线 (|)、制表符 (\t)、分号 (;) 和 Ctrl-A (\u0001)。 Ctrl-A 是标题开始的 Unicode 控制字符。

让我提供更多细节。

S3 结构如下（全部在同一个存储桶内）：

|--table_1
|---------|partion_a=1
|------------------|partion_b=2
|---------------------------|partion_c=3
|------------------------------------|partion_d=4
|-----------------------------------------------|file_1.csv
|--table_2
|---------|partion_a=1
|------------------|partion_b=2
|---------------------------|partion_c=3
|------------------------------------|partion_d=4
|-----------------------------------------------|file_2.csv
|--table_3
|---------|partion_a=1
|------------------|partion_b=2
|---------------------------|partion_c=3
|--------------------------------------|file_3a.csv
|---------------------------|partion_c=4
|--------------------------------------|file_3b.csv
|---------------------------|partion_c=5
|--------------------------------------|file_3c.csv

爬虫按预期使用 table_1 和 table_2 工作，即创建 2 个表，将分类标识为 csv，创建 3 个分区，检测标头。

虽然它对于 table_3 不能正常工作：

• 它确实在数据目录中创建了一个表；
• 它确实添加了分区（所有分区，即partition_c = 3、4 和5）；
• 但是它没有检测到架构，即根本没有列

CloudWathc 日志中不会报告任何错误，而如果我在 Athena 上查询 table_3 (SELECT * FROM Table_3 LIMIT 10)，则会收到以下错误：

"HIVE_UNKNOWN_ERROR: serDe should not be accessed from a null StorageFormat"

这些是表文件之间的主要区别：

1. Table_1 文件很小，即大约 20 KB，并且以分号分隔；
2. Table_2 文件比 Table_1 大但仍然很小，即大约 20 MB，并且以分号分隔；
3. Table_3 文件要大得多，即大约 200 MB，并且以制表符分隔。

我尝试将 table_3 文件重命名为 .tsv 并重新运行爬网程序，但没有任何变化。 我还尝试对 table_3 使用单个较小的文件，即仅partition_c=3 且大小约为2MB，但没有任何变化。

您知道为什么会发生这种情况以及如何解决吗？ 我应该只为 .tsv 文件创建自定义分类器吗？

Answer 1

为了创建 TSV 表而不是（逗号 (,)、竖线 (|)、制表符 (\t)、分号 (;) 和 Ctrl-A (\u0001)），您需要创建表和架构定义通过 AWS Athena 编辑器查询。

Athena 中负责读取和解析数据的组件称为 serde，是序列化器/反序列化器的缩写。如果您在创建 Athena 表时未指定任何其他内容，您将获得一个名为 LazySimpleSerDe 的 Serde，它是为分隔文本（例如 CSV）而设计的。它可以配置为不同的分隔符、转义字符和行结束符等。

定义创建表命令并提供表架构后，您需要添加以下内容：

...
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
ESCAPED BY '\\'
LINES TERMINATED BY '\n'
...

在幕后，当您看到实际的表 DML 时，您将看到它如何使用以下正则表达式解析数据：

ROW FORMAT SERDE 
  'org.apache.hadoop.hive.serde2.RegexSerDe' 
WITH SERDEPROPERTIES ( 
  'input.regex'='^(?!#)([^ ]+)\\s+([^ ]+)\\s+([^ ]+)\\s+([^ ]+)\\s+([^ ]+)\\s+([^ ]+)\\s+([^ ]+)\\s+([^ ]+)\\s+([^ ]+)\\s+([^ ]+)\\s+[^(]+[(]([^\;]+).*\\%20([^/]+)[/](.*)

了解更多：
 LazySimpleSerDe 适用于 CSV、TSV 和自定义 -分隔文件


 使用 CSV


) 

了解更多：

LazySimpleSerDe 适用于 CSV、TSV 和自定义 -分隔文件

使用 CSV