如何“重新分组”？猪的关系？

Question

假设我有一个输入文件 input.dat ，如下所示：

apples 10
oranges 30
apples 6
pears 5

现在，当我加载、分组和投影数据时：

sources = LOAD 'input.dat' as { a:chararray, b:int };
grouped = GROUP sources BY a;
projection = foreach sources generate flatten(group), SUM(sources.b);
dump projection;

我得到以下信息：

apples 16
oranges 30
pears 5

现在，我想“重新分组”将 SUM(sources.b) 低于某个阈值的数据合并到一行中。举个例子，如果阈值是 20，我会得到：

other 21
oranges 30

因为“苹果”和“梨”的总和都低于阈值 20。

在我看来，我可以遵循几种不同的方法：

1. 使用 < grouped 上的 code>SPLIT 运算符创建两个关系：above_threshold 和 below_threshold。然后投影 below_threshold 将 a 的值替换为“other”并重新组合。最后UNION将结果与above_threshold结合在一起，然后再次运行最终投影。
2. 或者，完全遵循原始脚本，但在创建投影时，有条件地生成a（基于SUM(sources.b)），然后重新生成-group projection （将所有“其他”行分组在一起），然后再次投影（以展平重新分组的数据）。

上述方法中的一种明显优于另一种吗？或者是否有另一种更有效或更易于维护的方法？

Answer 1

选项 1 更好。这是因为选项 1 只需将 below_threshold 数据传递到 M/R 记录计数中；而在选项2中，你似乎正在重新组合一切。

此外，方法 1 有一些好处，最值得注意的是：

• below_threshold 计数将会非常快，因为您只需要 1 个减速器，并且组合器只需一个键即可创造奇迹。
• 根据您的应用程序，您不需要UNION。您可以只输出到两个位置，然后通过将它们视为猪外部的相同输出来“联合”。例如，您仍然可以执行 hadoop fs -getmerge my_out/*/part-r-* output 来获取两个输出。

所以，我看到你的 Pig 脚本看起来像：

sources = LOAD 'input.dat' as { a:chararray, b:int };
grouped = GROUP sources BY a;
projection = foreach sources generate flatten(group) as n, SUM(sources.b) as s;
SPLIT projection into above_threshold if s >= 20, below_threshold if s < 20;
dump above_threshold;

below_grouped = GROUP below_threshold BY 'other' PARALLEL 1;
below_projection = FOREACH below_grouped GENERATE group, SUM(below_threshold.s);
dump below_projection;