如何在控制台上抑制 Hadoop 日志记录消息

Question

这些是我试图压制的 Hadoop 日志消息

11/10/17 19:42:23 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)
11/10/17 19:42:23 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100
11/10/17 19:42:23 INFO mapred.MapTask: soft limit at 83886080
11/10/17 19:42:23 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600
11/10/17 19:42:23 INFO mapred.MapTask: kvstart = 26214396; length = 6553600

，我想它们是由 conf 目录下的 logg 4j.properties 配置的 在hadoop安装目录下。不管我如何删除记录器，评论 删除记录器，甚至重命名 log4j.properties。它们仍在印刷中。 请指教。

另外，我怀疑如果消息量很大，这些大量消息会影响整体性能。 谢谢，

Answer 1

您必须将日志级别提高到 WARN，我假设它当前处于 INFO 状态。也许您必须重新编译，因为这些属性也包含在 jar 中。

Answer 2

我已经找到了解决方案。它所需要的只是更改mapreduce的配置文件。

1. mapreduce.map.log.level 的值可以为 OFF、FATAL、ERROR、WARN、
   信息、调试、跟踪等等。该设置可以被覆盖，如果
   “mapreduce.job.log4j-properties-file”已设置。

2. mapreduce.reduce.log.level也可以取值OFF、FATAL、
   错误、警告、信息、调试、跟踪和所有。设置可以是
   如果设置了“mapreduce.job.log4j-properties-file”，则覆盖。所以它
   更好地确保“mapreduce.job.log4j-properties-file”是
   未设置。

我们必须在 mapred-site.xml 中设置以下属性。

<property>
<name>mapreduce.map.log.level</name>
<value>OFF</value>
</property>


<property>
<name>mapreduce.reduce.log.level</name>
<value>OFF</value>
</property>

现在我在控制台上看不到任何日志消息。但它也有缺点，因为如果在执行 MapReduce 代码时发生错误，我们无法找出任何错误，因为没有可见的日志消息。