覆盖hadoop中的log4j.properties

Question

如何覆盖hadoop中的默认log4j.properties？如果我设置 hadoop.root.logger=WARN,console，它不会在控制台上打印日志，而我想要的是它不应该在日志文件中打印 INFO。我在 jar 中添加了一个 log4j.properties 文件，但无法覆盖默认文件。简而言之，我希望日志文件仅打印错误和警告。

# Define some default values that can be overridden by system properties
hadoop.root.logger=INFO,console
hadoop.log.dir=.
hadoop.log.file=hadoop.log

#
# Job Summary Appender 
#
# Use following logger to send summary to separate file defined by 
# hadoop.mapreduce.jobsummary.log.file rolled daily:
# hadoop.mapreduce.jobsummary.logger=INFO,JSA
# 
hadoop.mapreduce.jobsummary.logger=${hadoop.root.logger}
hadoop.mapreduce.jobsummary.log.file=hadoop-mapreduce.jobsummary.log

# Define the root logger to the system property "hadoop.root.logger".
log4j.rootLogger=${hadoop.root.logger}, EventCounter

# Logging Threshold
log4j.threshold=ALL

#
# Daily Rolling File Appender
#

log4j.appender.DRFA=org.apache.log4j.DailyRollingFileAppender
log4j.appender.DRFA.File=${hadoop.log.dir}/${hadoop.log.file}

# Rollver at midnight
log4j.appender.DRFA.DatePattern=.yyyy-MM-dd

# 30-day backup
#log4j.appender.DRFA.MaxBackupIndex=30
log4j.appender.DRFA.layout=org.apache.log4j.PatternLayout

# Pattern format: Date LogLevel LoggerName LogMessage
log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n
# Debugging Pattern format
#log4j.appender.DRFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} (%F:%M(%L)) - %m%n


#
# console
# Add "console" to rootlogger above if you want to use this 
#

log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n

#
# TaskLog Appender
#

#Default values
hadoop.tasklog.taskid=null
hadoop.tasklog.iscleanup=false
hadoop.tasklog.noKeepSplits=4
hadoop.tasklog.totalLogFileSize=100
hadoop.tasklog.purgeLogSplits=true
hadoop.tasklog.logsRetainHours=12

log4j.appender.TLA=org.apache.hadoop.mapred.TaskLogAppender
log4j.appender.TLA.taskId=${hadoop.tasklog.taskid}
log4j.appender.TLA.isCleanup=${hadoop.tasklog.iscleanup}
log4j.appender.TLA.totalLogFileSize=${hadoop.tasklog.totalLogFileSize}

log4j.appender.TLA.layout=org.apache.log4j.PatternLayout
log4j.appender.TLA.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n

#
#Security appender
#
hadoop.security.log.file=SecurityAuth.audit
log4j.appender.DRFAS=org.apache.log4j.DailyRollingFileAppender 
log4j.appender.DRFAS.File=${hadoop.log.dir}/${hadoop.security.log.file}

log4j.appender.DRFAS.layout=org.apache.log4j.PatternLayout
log4j.appender.DRFAS.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n
#new logger
# Define some default values that can be overridden by system properties
hadoop.security.logger=INFO,console
log4j.category.SecurityLogger=${hadoop.security.logger}

#
# Rolling File Appender
#

#log4j.appender.RFA=org.apache.log4j.RollingFileAppender
#log4j.appender.RFA.File=${hadoop.log.dir}/${hadoop.log.file}

# Logfile size and and 30-day backups
#log4j.appender.RFA.MaxFileSize=1MB
#log4j.appender.RFA.MaxBackupIndex=30

#log4j.appender.RFA.layout=org.apache.log4j.PatternLayout
#log4j.appender.RFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} - %m%n
#log4j.appender.RFA.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} (%F:%M(%L)) - %m%n

#
# FSNamesystem Audit logging
# All audit events are logged at INFO level
#
log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=WARN

# Custom Logging levels

#log4j.logger.org.apache.hadoop.mapred.JobTracker=DEBUG
#log4j.logger.org.apache.hadoop.mapred.TaskTracker=DEBUG
#log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=DEBUG

# Jets3t library
log4j.logger.org.jets3t.service.impl.rest.httpclient.RestS3Service=ERROR

#
# Event Counter Appender
# Sends counts of logging messages at different severity levels to Hadoop Metrics.
#
log4j.appender.EventCounter=org.apache.hadoop.metrics.jvm.EventCounter

#
# Job Summary Appender
#
log4j.appender.JSA=org.apache.log4j.DailyRollingFileAppender
log4j.appender.JSA.File=${hadoop.log.dir}/${hadoop.mapreduce.jobsummary.log.file}
log4j.appender.JSA.layout=org.apache.log4j.PatternLayout
log4j.appender.JSA.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n
log4j.appender.JSA.DatePattern=.yyyy-MM-dd
log4j.logger.org.apache.hadoop.mapred.JobInProgress$JobSummary=${hadoop.mapreduce.jobsummary.logger}
log4j.additivity.org.apache.hadoop.mapred.JobInProgress$JobSummary=false

#
# MapReduce Audit Log Appender
#

# Set the MapReduce audit log filename
#hadoop.mapreduce.audit.log.file=hadoop-mapreduce.audit.log

# Appender for AuditLogger.
# Requires the following system properties to be set
#    - hadoop.log.dir (Hadoop Log directory)
#    - hadoop.mapreduce.audit.log.file (MapReduce audit log filename)

#log4j.logger.org.apache.hadoop.mapred.AuditLogger=INFO,MRAUDIT
#log4j.additivity.org.apache.hadoop.mapred.AuditLogger=false
#log4j.appender.MRAUDIT=org.apache.log4j.DailyRollingFileAppender
#log4j.appender.MRAUDIT.File=${hadoop.log.dir}/${hadoop.mapreduce.audit.log.file}
#log4j.appender.MRAUDIT.DatePattern=.yyyy-MM-dd
#log4j.appender.MRAUDIT.layout=org.apache.log4j.PatternLayout
#log4j.appender.MRAUDIT.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n

Answer 1

修改HADOOP_CONF_DIR内的log4j文件。请注意，hadoop 作业不会考虑应用程序的 log4j 文件。它将考虑 HADOOP_CONF_DIR 内的那个。

如果您想强制 hadoop 使用其他 log4j 文件，请尝试以下之一：

1. 您可以尝试@Patrice 所说的。 IE。

   -Dlog4j.configuration=file:/path/to/user_specific/log4j.xml

2. 自定义 HADOOP_CONF_DIR/log4j.xml 并根据您的意愿设置“您的”类的记录器级别。其他用户不会因此受到影响，除非两者都具有相同包结构的类。这不适用于核心 hadoop 类，因为所有用户都会受到影响。

3. 创建您的自定义 log4j 文件。复制目录 HADOOP_CONF_DIR 并将 log4j 文件放入其中。将 HADOOP_CONF_DIR 导出到您的 conf 目录。其他用户将指向默认用户。

Answer 2

如果您使用默认的 Log4j.properties 文件，则日志记录设置将被启动脚本中的环境变量覆盖。如果您想使用默认的 log4j 并且只是想更改日志记录级别，请使用 $HADOOP_CONF_DIR/hadoop-env.sh

例如，要将记录器更改为 DEBUG 日志级别和 DRFA 记录器，请使用

export HADOOP_ROOT_LOGGER="DEBUG,DRFA"

Answer 3

1. 您可以从 hadoop jar 中删除 log4j.properties
2. 或确保您的 jar/log4j.properties 是类路径中的第一个（log4j 从找到的类路径中选择第一个 log4j.properties）
3. 或指定系统变量：-Dlog4j.configuration=PATH_TO_FILE

请参阅文档了解 log4j 如何查找配置。

Answer 4

我遇到了同样的问题（CDH3U3，Hadoop 0.20.2）。我终于找到了一个解决方案（注意路径中的 file: 前缀）：

-Dlog4j.configuration=file:/path/to/user_specific/log4j.xml

Answer 5

Maven 打包：

一旦我意识到需要将自定义 debug-log.properties 文件添加到 src/main/java/resources，Maven 将其添加到 application.jar 根目录目录，然后只需从命令行在 -Dlog4j.configuration=debug-log.properties 中引用它即可。

Oozie 操作：

对于 Oozie，使用 -Dlog4j.configuration=${log4jConfig} 在工作流.xml 操作中，并在 job.properties 文件中定义以下内容。

#one of the following log4j.config parameters must be defined 
#log4jConfig=log4j.properties
log4jConfig=debug-log.properties

Oozie 操作：

 <property>
      <name>mapred.child.java.opts</name>
      <value>-Dlog4j.configuration=${log4jConfig}</value>
 </property> 

Answer 6

正如 Sulpha 所提到的，
对于 hadoop 1.2.1，覆盖 hadoop-core.jar 中存在的 task-log4j.properties 非常重要

对于我的伪分布式模式，

我无法打印猪 UDF 的调试消息，不得不删除该任务-log4j.properties 来自 hadoop-core.jar 并将其替换为 $HADOOP_INSTALL/conf/log4j.properties 的副本。

使用了

zip -d hadoop-core-1.2.1.jar task-log4j.properties #to delete

和

zip -g hadoop-core-1.2.1.jar task-log4j.properties #to add back 

Answer 7

如果jar文件中已经配置了log4j属性文件。您可以通过简单地将 -Dlog4j.configuration= 放在 -classpath 之前来覆盖，

这里是示例：

java -Dlog4j.configuration=..\conf\log4j.properties -classpath %CLASSPATH%

Answer 8

将 log4j.configuration 选项放入子 java 选项中。

即，

hadoop jar ... -Dmapred.child.java.opts=-Dlog4j.configuration=file:/...../log4j_debug.properties

您必须将 log4j_debug.properties 文件放在所有从属服务器上的同一目录路径中，例如 /home/yourname/log4j_debug.properties 或 /tmp/log4j_debug.properties

此设置会覆盖 mapred.child.java.opts 设置。
如果您想使用其他选项，例如 -Xmx32m（这意味着 32MB 堆大小），请执行以下操作：

hadoop jar ... -Dmapred.child.java.opts='-Xmx32m -Dlog4j.configuration=file:/...../log4j_debug.properties'

Answer 9

在Hadoop 1.2.1中有2个配置文件：log4j.properties和task-log4j.properties
因此，要使上面的示例正常工作，必须在 task-log4j.properties 中完成更改，而不是在 log4j.properties 中完成，

您可以在 task-log4j.properties 中添加以下行：

log4j.logger.org.xxx=WARN