使用loadfunc pig UDF将protobuf格式文件加载到pig脚本中
我对猪的了解很少。我有 protobuf 格式的数据文件。我需要将此文件加载到 Pig 脚本中。我需要编写一个 LoadFunc UDF 来加载它。说函数是Protobufloade…
“创建数据存储失败”将 Pig 与 Hadoop 结合使用时出现错误
我一直在尝试使用 Apache Hadoop 0.20.203.0 运行 Pig 0.9.0。我在谷歌和邮件列表上到处寻找，甚至这个问题： 无法使用单节点hadoop服务器运行pig，但…
使用 Apache Pig Latin 对数据进行条件求和
我正在尝试使用 Apache Pig Latin 进行一些日志处理，我想知道是否有更简单的方法来执行此操作：（ filtered_logs = FOREACH logs GENERATE numDay, r…
迭代连接集后出现 PIG 错误 1066。
尝试将月份中的天数与年月键上的数据集连接起来。在我加入并尝试对集合执行 FOREACH 后，我收到错误：1066 ...后端错误：标量在输出中有多于一行。 这…
Pig Hadoop 流帮助
我在运行 Pig Streaming 时遇到问题。当我启动一个交互式猪实例时（仅供参考，我通过 SSH/Putty 在交互式猪 AWS EMR 实例的主节点上执行此操作），仅…
顺序运行多个 Pig 脚本的方法有哪些？
我需要在 Hadoop 中顺序运行一些 Pig 脚本。它们必须单独运行。有什么建议吗？ 更新 只是一个快速更新，我们正在努力从一个 Java 类运行 Pig 脚本。 O…
无法使用单节点hadoop服务器运行pig
我已经用 ubuntu 设置了虚拟机。它作为单个节点运行 hadoop。后来我在上面安装了apache pig。 apache pig 在本地模式下运行得很好，但它总是出现错误 …
Pig：更改输出文件NAME的格式
我正在运行一个弹性 MapReduce 管道，该管道使用多个 Pig 脚本的输出。本质上，pig 脚本的输出存储在 S3 上的某个位置，由于数据量巨大，因此创建的输…
如何使用 Hive 对大数据进行高效排序（order by）？
我想有效地对大数据集进行排序（即使用自定义分区器，如下所述：MapReduce排序算法是如何工作的？），但我想用hive来实现。 然而，Hive手册指出“orde…
在hadoop上运行pig找不到结果
我在hadoop集群上运行了一个pig脚本，它成功通过了，但我找不到结果文件，它是这样说的： Output(s): Successfully stored 2 records (122 bytes) in:…
Apache PIG 问题
我对运行 Pig 脚本/ Map-Reduce 作业有几个问题。 我知道pig在真正开始执行map/reduce作业之前会创建逻辑计划、物理计划以及执行计划；我可以使用命令…
将 Hadoop Pig 输出作为 JSON 数据发布到 URL？
我有一个 Pig 作业，它分析日志文件并将摘要输出写入 S3。我不想将输出写入 S3，而是希望将其转换为 JSON 负载并将其 POST 到 URL。 一些注意事项： …
