如何使用 Pig 将分组记录存储到多个文件中？

Question

加载和分组记录后，如何将这些分组记录存储到多个文件中，每组一个（=用户ID）？

records = LOAD 'input' AS (userid:int, ...);
grouped_records = GROUP records BY userid;

我正在使用 Apache Pig 版本 0.8.1-cdh3u3（重新导出）

Answer 1

事实上，有一个 MultiStorage 类位于 Piggybank 完全符合我的要求 - 它按指定属性分割记录（在我的示例中位于索引“0”处）：

STORE records INTO 'output' USING org.apache.pig.piggybank.storage.MultiStorage('output', '0', 'none', ',');

Answer 2

 A = LOAD 'mydata' USING PigStorage() as (a, b, c);  
 STORE A INTO '/my/home/output' USING MultiStorage('/my/home/output','0', 'bz2', '\\t');

参数：

1. parentPathStr - 父输出目录路径
2. splitFieldIndex - 关键字段索引
3. 压缩 - 'bz2'、'bz'、'gz' 或 'none '
4. fieldDel - 输出记录字段分隔符。

参考：GrepCode