Amazon MapReduce Hive 调用简单队列服务

发布于 2024-12-26 12:08:05 字数 112 浏览 2 评论 0原文

我是亚马逊 MapReduce 的新手。谁能告诉我如何轻松地从 Hive 作业向 Amazon 的 SQS(简单队列服务)提交消息?我想将指向我作业的 S3 结果的指针放入 SQS 中,以实现更简单的自动检索。

I am new to Amazon's MapReduce. Can anyone tell me how to easily submit a message to Amazon's SQS (simple queue service) from a Hive job? I want to put a pointer to my job's S3 results into SQS for simpler automated retrieval.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

聊慰 2025-01-02 12:08:05

我不认为您可以从 HIVE 本身调用 SQS,但是,您可以创建一个脚本(正如 Steve 建议的那样)来调用 SQS 和 Hive。您可以在 Hive 脚本启动之前以及 Hive 作业结束之后调用 SQS,并使用指向存储(或将存储)结果的位置的指针。

I don't think you can call SQS from HIVE itself, however, you can create a script (as Steve suggested) that will call SQS and Hive. You can call SQS before the Hive script start as well as after the Hive job has ended with a pointer to where the result is stored (or will be stored).

霞映澄塘 2025-01-02 12:08:05

另一种可能的方法:

  1. 创建一个新的 DynamoDB 表;设置一个 lambda,使用 SQS 流在每个新项目上推送 SQS

  2. ,每次要推送 SQS 时都在该表中插入一条记录

Another possible approach:

  1. create a new DynamoDB table; setup a lambda that would push an SQS on each new item using SQS streams

  2. in Hive, insert a record into that table each time you want to push an SQS

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文