将所有 celery 任务的日志消息发送到单个文件

Question

我想知道如何设置更具体的日志系统。我的所有任务都用作

logger = logging.getLogger(__name__)

模块范围的记录器。

我希望芹菜记录到“celeryd.log”，我的任务记录到“tasks.log”，但我不知道如何让它工作。使用 django-celery 中的 CELERYD_LOG_FILE 我可以将所有 celeryd 相关的日志消息路由到 celeryd.log，但没有在我的任务中创建的日志消息的踪迹。

Answer 1

注意：这个答案从 Celery 3.0 开始已经过时，您现在使用 get_task_logger() 设置每个任务的记录器。请参阅《Celery 3.0 新增功能》文档的“日志记录”部分 了解详细信息。

---

Celery 对每个任务的日志记录都有专门的支持。请参阅有关该主题的任务文档：

您可以使用工作日志记录器将诊断输出添加到工作日志中：

@celery.task()
def 添加（x，y）：
    记录器 = add.get_logger()
    logger.info("添加 %s + %s" % (x, y))
    返回 x + y

有几个可用的日志级别，由工人日志级别设置决定
是否将它们写入日志文件。

当然，您也可以简单地使用 print，因为写入标准输出/-err 的任何内容都会
也写入日志文件。

在底层，这仍然是标准的 python 日志模块。您可以设置 CELERYD_HIJACK_ROOT_LOGGER 选项 设置为 False 以允许您自己的日志记录设置正常工作，否则 Celery 将为您配置处理。

但是，对于任务，.get_logger() 调用确实允许您为每个单独的任务设置单独的日志文件。只需传入 logfile 参数，它就会将日志消息路由到该单独的文件：

@celery.task()
def add(x, y):
    logger = add.get_logger(logfile='tasks.log')
    logger.info("Adding %s + %s" % (x, y))
    return x + y 

最后但并非最不重要的一点是，您只需在 python 日志记录模块 并给它一个自己的文件处理程序。我使用 celery.signals.after_setup_task_logger 信号进行设置；在这里，我假设您的所有模块都位于名为 foo.tasks 的包中（如 foo.tasks.email 和 foo.tasks.scaling 中所示） ：

from celery.signals import after_setup_task_logger
import logging

def foo_tasks_setup_logging(**kw):
    logger = logging.getLogger('foo.tasks')
    if not logger.handlers:
        handler = logging.FileHandler('tasks.log')
        formatter = logging.Formatter(logging.BASIC_FORMAT) # you may want to customize this.
        handler.setFormatter(formatter)
        logger.addHandler(handler)
        logger.propagate = False

after_setup_task_logger.connect(foo_tasks_setup_logging)

现在任何名称以 foo.tasks 开头的记录器都会将其所有消息发送到 tasks.log 而不是发送到根记录器（根记录器看不到任何这些消息）消息因为.propagate 为 False）。

Answer 2

只是提示：Celery 有自己的日志处理程序：

from celery.utils.log import get_task_logger
logger = get_task_logger(__name__)

此外，Celery 会记录任务的所有输出。更多详细信息，请访问 用于任务日志记录的 Celery 文档

Answer 3

加入
--concurrency=1 --loglevel=INFO
使用运行 celery worker 的命令，

例如： python xxxx.py celery worker --concurrency=1 --loglevel=INFO

最好也在每个 python 文件中设置日志级别