apache pig 中的子查询

Question

寻找有关在 apache pig 中编写子查询的一些帮助。例如，我有以下两个关系 -

A
sam 12 grad maths
sony 13 postgrad english

B
maths {(4.5,sam),(4,david)}
english {(4.2,peter),(3.9,rob)}

按主题连接这两个关系，即 A 按 A.$3 和 B 按 B.$0 连接，并且必须编写查询，输出将为 -

sam 12 grad maths 4.5
sony 13 postgrad english 

基本上它应该检查 B 中的匹配主题和然后在里面寻找名字。

Answer 1

我解决这个问题的方法是 展平 B 关系，然后对 A 进行左外连接。

首先，将关系展平：

C = FOREACH B GENERATE $0, FLATTEN($1);

这会将您的日期转换为：

maths, 4.5, sam
maths, 4, david
english, 4.2, peter
english, 3.9, rob

现在，您可以执行 JOIN 将数据放在一起（我正在重命名这个东西为了保持头脑清醒）：

J = JOIN A BY (Aname, Asubject), C BY (Bname, Bsubject);
J2 = FOREACH J GENERATE Astudent, Agrade, Alevel, Asubject, Bscore;

dump J2 将仅输出 sam, 12, grad, maths, 4.5。

但是，有一个问题。如果列表 A 中的项目没有出现在列表 B 中，您似乎希望拥有 NULL 值。这是 LEFT OUTER join，幸运的是，Pig 可以进行外连接。将上面的代码修改如下：

J = JOIN A BY (Aname, Asubject) LEFT OUTER, C BY (Bname, Bsubject);
J2 = FOREACH J GENERATE Astudent, Agrade, Alevel, Asubject, Bscore;

dump J2 这里会输出，我想这就是你想要的：

sam, 12, grad, maths, 4.5
sony, 13, postgrad, english,