Amazon MapReduce 没有减速器作业
我正在尝试通过 AWS 创建一个仅映射器作业（流作业）。 reducer 字段是必需的，因此我提供了一个虚拟可执行文件，并将 -jobconf mapred.map.tasks=0 添加到 Extra Args 框中。在我安装的 hadoop 环境（版本 0.20）中，不会启动任何减速器作业，但在 AWS 中，虚拟可执行文件启动并失败。
如何在 AWS 中运行仅无减速器/映射器的作业？
I am trying to create a mapper only job via AWS (a streaming job).
The reducer field is required, so I am giving a dummy executable, and adding -jobconf mapred.map.tasks=0 to the Extra Args box. In the hadoop environment (version 0.20) I've installed, no reducer jobs will launch, but in AWS the dummy executable launches and fails.
How can run a no reducer/ mapper only jobs in AWS?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
您还可以使用 cat 或 NONE 作为减速器参数。
you can also use cat or NONE as reducer argument.
无法在亚马逊 M/R 中创建仅映射器作业。
我正在使用身份减速器（org.apache.hadoop.mapred.lib.IdentityReducer）。
There is no way to create a mapper only job in amazon M/R.
I am using the Identity reducer (org.apache.hadoop.mapred.lib.IdentityReducer) instead.