如何在hadoop的新api中设置setMaxMapTaskFailuresPercent?
以前,您可以使用以下命令设置最大失败百分比:
JobConf.setMaxMapTaskFailuresPercent(int)
但现在,这已经过时了。
job.getConfiguration().set("mapred.max.map.failures.percent", "100");
似乎不太好用。在新的 hadoop api 中执行此操作的正确方法是什么?
Before, you could set max failures percent by using:
JobConf.setMaxMapTaskFailuresPercent(int)
but now, that's obsolete.
job.getConfiguration().set("mapred.max.map.failures.percent", "100");
doesn't seem to work as well. What is the proper way of doing this in new hadoop api?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
在 1.0.2 上,支持的选项列表在 http:// /hadoop.apache.org/common/docs/r1.0.2/mapred-default.html,在运行 MapReduce 作业时,您可以通过 java -DoptionName=value 作为 Java 系统属性传递。
另外,要通过命令行设置它们,请参阅
http:// /hadoop.apache.org/common/docs/r1.0.2/mapred_tutorial.html#Job+Configuration
On 1.0.2, list of supported options are given in http://hadoop.apache.org/common/docs/r1.0.2/mapred-default.html, this you can pass through as a java system property through java -DoptionName=value when running the map reduce job.
Also to set them via the command line, see
http://hadoop.apache.org/common/docs/r1.0.2/mapred_tutorial.html#Job+Configuration
如果您想快速找到 hadoop 新 api 选项的正确名称,请使用以下链接:http://pydoop.sourceforge.net/docs/examples/intro.html#hadoop-0-21-0-notes 。
If you want to quickly find the correct names for the options for hadoop's new api, use this link: http://pydoop.sourceforge.net/docs/examples/intro.html#hadoop-0-21-0-notes .