如何在hadoop的新api中设置setMaxMapTaskFailuresPercent?

发布于 2024-12-06 15:05:10 字数 260 浏览 1 评论 0原文

以前,您可以使用以下命令设置最大失败百分比:

JobConf.setMaxMapTaskFailuresPercent(int)

但现在,这已经过时了。

 job.getConfiguration().set("mapred.max.map.failures.percent", "100");

似乎不太好用。在新的 hadoop api 中执行此操作的正确方法是什么?

Before, you could set max failures percent by using:

JobConf.setMaxMapTaskFailuresPercent(int)

but now, that's obsolete.

 job.getConfiguration().set("mapred.max.map.failures.percent", "100");

doesn't seem to work as well. What is the proper way of doing this in new hadoop api?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

倚栏听风 2024-12-13 15:05:10

在 1.0.2 上,支持的选项列表在 http:// /hadoop.apache.org/common/docs/r1.0.2/mapred-default.html,在运行 MapReduce 作业时,您可以通过 java -DoptionName=value 作为 Java 系统属性传递。

另外,要通过命令行设置它们,请参阅

http:// /hadoop.apache.org/common/docs/r1.0.2/mapred_tutorial.html#Job+Configuration

On 1.0.2, list of supported options are given in http://hadoop.apache.org/common/docs/r1.0.2/mapred-default.html, this you can pass through as a java system property through java -DoptionName=value when running the map reduce job.

Also to set them via the command line, see

http://hadoop.apache.org/common/docs/r1.0.2/mapred_tutorial.html#Job+Configuration

无人问我粥可暖 2024-12-13 15:05:10

如果您想快速找到 hadoop 新 api 选项的正确名称,请使用以下链接:http://pydoop.sourceforge.net/docs/examples/intro.html#hadoop-0-21-0-notes

If you want to quickly find the correct names for the options for hadoop's new api, use this link: http://pydoop.sourceforge.net/docs/examples/intro.html#hadoop-0-21-0-notes .

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文