投影 Pig 中嵌套关系的所有列

Question

我有一个关系 MY_REL，它是 X 和 Y 连接的结果：

MY_REL = {X::x1,X::x2,Y::y1,Y::y2}

我尝试做

Bla =       foreach MY_REL generate X;

Pig 呕吐：

ERROR 1000: Error during parsing. Scalars can be only used with projections

我尝试了 X::* 并抛出：无效的别名 X。

丑陋的解决方法：我切换到显式写入所有列名称：

Bla =       foreach MY_REL generate X::x1, X::x2;

有没有一种好方法来生成所有 X 的列？

Answer 1

不要使用 JOIN，而是使用 COGROUP。 COGROUP 将创建一个类似于 {X : {x1, x2}, Y : {y1, y2}} 的关系。因此，你可以这样做：

foreach MY_REL GENERATE FLATTEN(X);

注意，里面有一个袋子，所以你想压平它。

Answer 2

如果 JOIN 之前的列都具有不同的名称，则可以按如下方式使用它们：

Bla =       foreach MY_REL generate x1 + y1, x2 + y2;

如果只有一个冲突，则需要使用原始前缀关系

Bla =       foreach MY_REL generate x1, x2, y1, Y:y1 AS y2;

An 和新的 Pig 范围 PIG-1693

Bla =       foreach MY_REL generate ..$2, $3 AS y2;

PIG-2511