hadoop Streaming：如何查看应用程序日志？

Question

我可以在 /usr/local/hadoop/logs 路径上查看所有 hadoop 日志

，但在哪里可以查看应用程序级别日志？例如：

mapper.py

import logging

def main():
    logging.info("starting map task now")
    // -- do some task -- //
    print statement  

reducer.py

import logging
def main():
    for line in sys.stdin:
        logging.info("received input to reducer - " + line)  
        // -- do some task -- //
        print statement

在哪里可以看到我的应用程序的 logging.info 或相关日志语句？
我正在使用 Python 并使用 hadoop-streaming

谢谢

Answer 1

Hadoop 收集 stderr，可以在 hadoop map/reduce 状态站点上查看。所以你可以直接写到stderr。

Answer 2

Hadoop 流使用 STDIN/STDOUT用于在映射器和化简器之间传递键/值对，因此必须将日志消息写入特定的日志文件 - 检查 示例代码 和 Python 日志记录文档 了解更多详细信息。这个查询可能也会有帮助。