使用过滤器记录

Question

我正在使用日志记录（导入日志记录）来记录消息。

在 1 个模块中，我在调试级别记录消息 my_logger.debug('msg');

其中一些调试消息来自 function_a()，其他则来自 function_b()； 我希望能够根据它们是来自 a 还是来自 b 来启用/禁用日志记录；

我猜我必须使用日志记录的过滤机制。

有人可以告诉我如何使用下面的代码来完成我想要的事情吗？

import logging
logger = logging.getLogger( "module_name" )

def function_a( ... ):
    logger.debug( "a message" )

def function_b( ... ):
    logger.debug( "another message" )

if __name__ == "__main__":
    logging.basicConfig( stream=sys.stderr, level=logging.DEBUG )

    #don't want function_a()'s noise -> ....
    #somehow filter-out function_a's logging
    function_a()

    #don't want function_b()'s noise -> ....
    #somehow filter-out function_b's logging
    function_b()

如果我将这个简单的示例扩展到更多模块和每个模块更多功能，我会担心大量记录器；

我可以将每个模块减少到 1 个记录器吗？ 请注意，日志消息是“结构化的”，即如果记录它的函数正在执行一些解析工作，它们都包含前缀 logger.debug("parsing: xxx") - 我可以吗不知怎的，用一行就可以关闭所有“解析”消息（无论发出消息的模块/函数是什么？）

Answer 1

只需实现 logging.Filter 的子类即可： http:// /docs.python.org/library/logging.html#filter-objects。 它将有一个方法，filter(record)，该方法检查日志记录并返回 True 来记录它，或返回 False 来丢弃它。 然后，您可以通过调用 addFilter(filter) 方法将过滤器安装在 Logger 或 Handler 上。

示例：

class NoParsingFilter(logging.Filter):
    def filter(self, record):
        return not record.getMessage().startswith('parsing')

logger.addFilter(NoParsingFilter())

或者类似的东西，无论如何。

Answer 2

不要使用全局。 这是一场等待发生的事故。

您可以为您的记录器指定任何对您有意义的、以“.”分隔的名称。

您可以将它们作为层次结构进行控制。 如果您有名为 abc 的记录器并且
abd，您可以检查 ab 的日志记录级别并更改两个记录器。

您可以拥有任意数量的记录器——它们很便宜。

最常见的设计模式是每个模块一个记录器。 请参阅命名 Python 记录器

执行此操作。

import logging

logger= logging.getLogger( "module_name" )
logger_a = logger.getLogger( "module_name.function_a" )
logger_b = logger.getLogger( "module_name.function_b" )

def function_a( ... ):
    logger_a.debug( "a message" )

def function_b( ... ):
    logger_b.debug( "another message" )

if __name__ == "__main__":
    logging.basicConfig( stream=sys.stderr, level=logging.DEBUG )
    logger_a.setLevel( logging.DEBUG )
    logger_b.setLevel( logging.WARN )

    ... etc ...

Answer 3

我找到了一种在主脚本中使用函数的更简单的方法：

# rm 2to3 messages
def filter_grammar_messages(record):
    if record.funcName == 'load_grammar':
        return False
    return True

def filter_import_messages(record):
    if record.funcName == 'init' and record.msg.startswith('Importing '):
        return False
    return True

logging.getLogger().addFilter(filter_grammar_messages)  # root
logging.getLogger('PIL.Image').addFilter(filter_import_messages)

Answer 4

我找到了一种更简单的方法，如何使用 sshtunel 模块过滤以下问题的默认日志记录配置，从而抑制 INFO 级别消息。

包含前 2 个不需要的记录的默认报告如下所示：

2020-11-10 21:53:28,114  INFO       paramiko.transport: Connected (version 2.0, client OpenSSH_7.9p1)
2020-11-10 21:53:28,307  INFO       paramiko.transport: Authentication (password) successful!
2020-11-10 21:53:28,441  INFO       |-->QuerySSH: Query execution successful.

记录器配置更新：

logging.basicConfig(
            level=logging.INFO,
            format='%(asctime)s  %(levelname)-10s %(name)s: %(message)s',
            handlers=[
                logging.StreamHandler(),
                logging.FileHandler(self.logging_handler)
            ]
        )

# Filter paramiko.transport debug and info from basic logging configuration
logger_descope = logging.getLogger('paramiko.transport')
logger_descope.setLevel(logging.WARN)

我满意的结果如下所示：

2020-11-10 22:00:48,755  INFO       |-->QuerySSH: Query execution successful.