在 udf 中加载外部属性文件
当编写 UDF 时，比如说 EvalFunc， properties = new Properties(); properties.load(new FileInputStream("conf/config.properties")); 在 Hadoop 模…
了解 WHERE 子句中的 SQL 连接
我有一个 SQL 查询，我正在尝试将其转换为 Pig Latin（用于 Hadoop 集群）。大多数时候，我将查询转移到 Pig 没有问题，但我遇到了一些我似乎无法弄清…
相当于 linux 'diff'在阿帕奇猪中
我希望能够对两个大文件进行标准差异。我有一些可以工作的东西，但它并不像命令行上的 diff 那么快。 A = load 'A' as (line); B = load 'B' as (line…
为什么elephantbird Pig JsonLoader只处理我的文件的一部分？
我在 Amazon 的 Elastic Map-Reduce 上使用 Pig 来进行批量分析。我的输入文件位于 S3 上，包含每行一个 JSON 字典表示的事件。我使用elephantbird Js…
如何处理 Apache Pig 中的空或丢失的输入文件？
我们的工作流程使用 AWS 弹性 MapReduce 集群来运行一系列 Pig 作业，以将大量数据处理为聚合报告。不幸的是，输入数据可能不一致，并可能导致没有输…
对 Hive 中存储的数据运行 Pig 查询
我想知道如何运行以 Hive 格式存储的 Pig 查询。我已将 Hive 配置为存储压缩数据（使用本教程 http://wiki.apache.org/ hadoop/Hive/压缩存储）。 在…
Pig 如何在“负载”中使用 Hadoop Glob？陈述？
正如我之前指出的，Pig 不能很好地处理空（0 字节）文件。不幸的是，有很多方法可以创建这些文件（甚至在 Hadoop 实用程序中）。 我认为我可以通过显…
Pig 加载文件名复杂的问题
我需要在 Pig 中加载文件，该文件的名称又长又复杂： dealnews-2011-04-01T12:00:00:00.211-02:00.csv Pig 抱怨： ERROR org.apache.pig.tools.grunt.…
strsplit 问题 - Pig
我有以下元组 H1，我想将其 $0 拆分为元组。但是我总是收到错误消息： DUMP H1: (item32;item31;,1) m = FOREACH H1 GENERATE STRSPLIT($0, ";", 50);…
Pig：如何拆分数组
我有一个像这样的元组： ((item114,),1) ((item32,item31,),1) ((item81,item27,),2) 最后一个数字是该项目的频率，所以 item114 有 freq。共 1 个，…
如何从 Pig 中的关系生成自定义模式？
我有一个描述各种文章中单词的 tf-idf 值的模式。 它的描述如下： tfidf_relation: {word: chararray,id: bytearray,tfidf: double} 这是此类数据的示…
Hadoop Pig Latin 无法通过 Python 脚本进行流式传输
我有一个简单的 python 脚本（moo.py），我正在尝试流式传输 import sys, os for line in sys.stdin: print 1; ，当我在本地运行此猪脚本（pig -x loc…
使用 cassandra 的命令行
我如何在 Cassandra PIG 脚本中将值作为命令行参数传递。 下面是执行 PIG 脚本 {apache-cassandra-0.4.0-src path}/contrib/pig/bin/pig_cassandra –…
Hadoop PIG 输出未使用 PARALLEL 运算符拆分为多个文件
看来我错过了一些东西。我的数据上的减速器数量在 HDFS 中创建了那么多数量的文件，但我的数据没有分割成多个文件。我注意到，如果我对按顺序排列的键…
