Amazon MapReduce Hive 调用简单队列服务
我是亚马逊 MapReduce 的新手。谁能告诉我如何轻松地从 Hive 作业向 Amazon 的 SQS(简单队列服务)提交消息?我想将指向我作业的 S3 结果的指针放入 SQS 中,以实现更简单的自动检索。
I am new to Amazon's MapReduce. Can anyone tell me how to easily submit a message to Amazon's SQS (simple queue service) from a Hive job? I want to put a pointer to my job's S3 results into SQS for simpler automated retrieval.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
我不认为您可以从 HIVE 本身调用 SQS,但是,您可以创建一个脚本(正如 Steve 建议的那样)来调用 SQS 和 Hive。您可以在 Hive 脚本启动之前以及 Hive 作业结束之后调用 SQS,并使用指向存储(或将存储)结果的位置的指针。
I don't think you can call SQS from HIVE itself, however, you can create a script (as Steve suggested) that will call SQS and Hive. You can call SQS before the Hive script start as well as after the Hive job has ended with a pointer to where the result is stored (or will be stored).
另一种可能的方法:
创建一个新的 DynamoDB 表;设置一个 lambda,使用 SQS 流在每个新项目上推送 SQS
Another possible approach:
create a new DynamoDB table; setup a lambda that would push an SQS on each new item using SQS streams
in Hive, insert a record into that table each time you want to push an SQS