apache-pig

apache-pig

文章 4 浏览 66

Pig:在 GROUP 之后将各个字段拉出

在 PigLatin 中,我想从由于聚合(例如 MAX)而选择的记录中提取其他字段。 我无法解释这个问题,所以这是一个例子。假设我想获取一个家庭中最年长的…

强辩 2024-12-09 20:54:10 1 0

如何“重新分组”?猪的关系?

假设我有一个输入文件 input.dat ,如下所示: apples 10 oranges 30 apples 6 pears 5 现在,当我加载、分组和投影数据时: sources = LOAD 'input.d…

不即不离 2024-12-07 06:50:14 0 0

加入 PIG 对阵 COGROUP

当我在 pig 中使用 COGROUP 而不是 JOIN 时,有什么优势(性能/没有地图减少)吗? http://developer.yahoo.com/hadoop/tutorial/module6.html谈论它…

此刻的回忆 2024-12-05 13:08:42 0 0

如何在 PIG 中运行独占 SPLIT?

我想知道:由于 PIG 中 SPLIT 关系运算符的默认行为是非排他性地分割关系(即,如果一行符合 2 个或更多关系的条件,它将被放入所有关系中),有没有…

风吹雨成花 2024-12-05 12:18:46 0 0

将参数传递给 Pig jython 脚本

我希望在 python 中嵌入一个 pig 脚本,但我需要将一些参数传递给 python 脚本,但它们似乎没有填充下来。 如果我直接调用我的猪脚本,我可以使用: $…

£冰雨忧蓝° 2024-12-05 06:41:53 0 0

正则表达式匹配 1 2 3 4,5,6

我有一个文件,其行格式如下: 1 2 3 4,5,6 前三行由空格分隔,后三行由逗号分隔。作为示例,我给出了 1-6,但这些值可以是字母数字值。有人可以帮我…

脸赞 2024-12-05 03:11:37 0 0

具有多个分隔符的 Pig 加载问题

我有一些数据日志行,例如 Sep 10 12:00:01 10.100.2.28 t: |US,en,5,7350,100,0.076241,0.105342,-1,0,1,5,2,14,,,0,5134,7f378ecef7,fec81ebe-468a-…

黑凤梨 2024-12-04 14:01:50 0 0

是否可以将关系中的一行与 Pig 中该行中的元组交叉连接?

我有一组数据,显示用户、他们喜欢的水果集合以及家乡城市: Alice\tApple:Orange\tSacramento Bob\tApple\tSan Diego Charlie\tApple:Pineapple\tSac…

黯淡〆 2024-12-04 04:32:20 1 0

如何使用 PIG 加载文件夹中的每个文件?

我有一个每天创建的文件文件夹,所有文件都存储相同类型的信息。我想制作一个脚本来加载最新的 10 个,将它们联合起来,然后在它们上运行一些其他代码…

箜明 2024-12-03 14:05:49 1 0

如何让 Pig 使用 lzo 文件?

因此,我在网上看到了一些教程,但每个教程似乎都说要做不同的事情。另外,它们中的每一个似乎都没有指定您是否正在尝试让事情在远程集群上工作,或者…

本宫微胖 2024-12-02 11:03:48 1 0

Apache Pig 权限问题

我正在尝试在我的 Hadoop 集群上启动并运行 Apache Pig,但遇到了权限问题。 Pig 本身可以正常启动并连接到集群 - 在 Pig shell 中,我可以通过我的 H…

橘味果▽酱 2024-12-01 13:28:27 2 0

在 Apache Pig Latin 中转置数据

我需要“转置”如下所示的数据: id City 111 Chicago 111 New York 111 LA 222 Paris 222 London 222 Tokyo to: 111 Chicago New York LA 222 Paris…

夏雨凉 2024-11-30 10:05:13 2 0

如何使用 Pig 连接到受密码保护的 cassandra

我有一个 cassandra 集群,在 password.properties 文件中设置了用户名和密码,我无法弄清楚如何使用 Pig 的 CassandraStorage 向该集群加载和写入数…

行至春深 2024-11-29 19:19:58 1 0

使用loadfunc pig UDF将protobuf格式文件加载到pig脚本中

我对猪的了解很少。我有 protobuf 格式的数据文件。我需要将此文件加载到 Pig 脚本中。我需要编写一个 LoadFunc UDF 来加载它。说函数是Protobufloade…

情场扛把子 2024-11-29 07:06:18 2 0

“创建数据存储失败”将 Pig 与 Hadoop 结合使用时出现错误

我一直在尝试使用 Apache Hadoop 0.20.203.0 运行 Pig 0.9.0。我在谷歌和邮件列表上到处寻找,甚至这个问题: 无法使用单节点hadoop服务器运行pig,但…

花开柳相依 2024-11-27 16:13:52 3 0
更多

推荐作者

胡图图

文章 0 评论 0

zt006

文章 0 评论 0

z祗昰~

文章 0 评论 0

冰葑

文章 0 评论 0

野の

文章 0 评论 0

天空

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文