如何在 Pig 中解析 JSON？

Question

我在 s3 中有很多经过 gzip 压缩的日志文件，其中有 3 种类型的日志行：b、c、i。 i 和 c 都是单层 json：

{"this":"that","test":"4"}

类型 b 是深度嵌套的 json。我遇到了这个 gist 谈论编译一个 jar 来完成这项工作。由于我的 java 技能不太好，所以我真的不知道接下来该怎么做。

{"this":{"foo":"bar","baz":{"test":"me"},"total":"5"}}

由于类型 i 和 c 的顺序并不总是相同，这使得在生成正则表达式中指定所有内容变得困难。 Pig 可以处理 JSON（在 gzip 文件中）吗？我正在使用基于 Amazon Elastic Map Reduce 实例构建的 Pig 版本。

这归结为两个问题： 1）我可以用 Pig 解析 JSON（如果可以，如何解析）？ 2) 如果我可以解析 JSON（来自 gzip 日志文件），我可以解析嵌套的 JSON 对象吗？

Answer 1

Pig 0.10 带有内置的 JsonStorage 和 JsonLoader()。

用于 json 加载/存储的 Pig 文档

Answer 2

经过大量的解决方法和解决问题后，我能够回答以完成此任务。我在我的博客上写了一篇关于如何做到这一点的文章。它可以在这里找到： http://eric.lubow.org/2011/hadoop/pig-queries-parsing-json-on-amazons-elastic-map-reduce-using-s3-data/

Answer 3

Pig 带有一个 JSON 加载器。
要加载您使用：

A = 加载'data.json'
使用 PigJsonLoader();

要存储您可以使用：

STORE INTO ‘output.json’ 
    USING PigJsonLoader();

但是，我不确定它支持 GZIPed 数据....

Answer 4

请尝试以下操作：https://github.com/ab/elephant-bird

Answer 5

我们可以通过使用 JsonLoader 来做到这一点...但是我们必须提及 json 数据的架构，否则可能会出现错误..只需按照以下链接操作

         http://joshualande.com/read-write-json-apache-pig/

我们也可以通过创建 UDF 来解析它来做到这一点...

Answer 6

您可以尝试使用 twitterelephantbird json 加载器，它动态处理 json 数据。但是您必须对架构非常精确。

api_data = LOAD '文件名' 使用 com.twitter.elephantbird.pig.load.JsonLoader('-nestedLoad');

Answer 7

我看到 twitterelephantbird 的使用量增加了很多，并且它很快成为 PIG 中 json 解析的 goto 库。

例子 ：

DEFINE TwitterJsonLoader com.twitter.elephantbird.pig.load.JsonLoader('-nestedLoad=true ');

JsonInput = LOAD 'input_path' USING TwitterJsonLoader() AS (entity: map[]);

InputObjects = FOREACH JsonInput GENERATE (map[]) entity#'Object' AS   JsonObject;

InputIds = FOREACH InputObjects GENERATE JsonObject#'id' AS id;