将 Hive 与 Pig 一起使用
我的配置单元查询有多个外部联接,并且需要很长时间才能执行。我想知道将其分解为多个较小的查询并使用 Pig 来进行转换是否有意义。
有没有办法可以在 Pig 脚本中查询配置单元表或读取配置单元表数据?
谢谢
My hive query has multiple outer joins and takes very long to execute. I was wondering if it would make sense to break it into multiple smaller queries and use pig to work the transformations.
Is there a way I could query hive tables or read hive table data within a pig script?
Thanks
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
Howl 项目的目标是允许 Pig 和 Hive 共享单个元数据存储库。一旦 Howl 成熟,您将能够通过以下方式运行 PigLatin 和 HiveQL 查询:
相同的表。现在,您可以尝试使用存储在 HDFS 中的数据。
请注意,Howl 已重命名为 HCatalog。
The goal of the Howl project is to allow Pig and Hive to share a single metadata repository. Once Howl is mature, you'll be able to run PigLatin and HiveQL queries over the
same tables. For now, you can try to work with the data as it is stored in HDFS.
Note that Howl has been renamed to HCatalog.