如何捕获一系列 Celery 任务执行过程中生成的所有 python 日志记录？

发布于 2024-10-02 17:15:51 字数 529 浏览 2 评论 0原文

我想将我自己开发的任务队列系统转换为基于 Celery 的任务队列，但我目前拥有的一个功能给我带来了一些困扰。

现在，我的任务队列运行得非常粗糙；我运行该作业（生成数据并将其上传到另一台服务器），使用 Nose 日志捕获库上的变体收集日志记录，然后将任务的日志记录作为详细结果记录存储在应用程序数据库中。

我想将其分解为三个任务：

收集数据
上传数据
报告结果（包括前两个任务的所有日志记录）

这里真正的关键是日志记录收集。现在，使用日志捕获，我对数据生成和上传过程中进行的每个日志调用都有一系列日志记录。这些是诊断目的所必需的。鉴于这些任务甚至不能保证在同一进程中运行，目前还不清楚如何在 Celery 任务队列中完成此任务。

我对此问题的理想解决方案将是一种简单且理想的微创方法，用于捕获前置任务 (1, 2) 期间的所有日志记录并将其提供给报告者任务 (3)

我最好保持相当粗粒度的工作任务定义，并将所有这些工作放在一项任务中？或者有没有办法传递现有捕获的日志记录以便最后收集它？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

╭⌒浅淡时光〆 2024-10-09 17:15:51

我假设您正在使用logging模块。您可以为每个任务集使用单独的命名记录器来完成这项工作。他们将从上层继承所有配置。

在 task.py 中：

import logging

@task
step1(*args, **kwargs):
    # `key` is some unique identifier common for a piece of data in all steps of processing
    logger = logging.getLogger("myapp.tasks.processing.%s"%key)
    # ...
    logger.info(...) # log something

@task
step2(*args, **kwargs):
    logger = logging.getLogger("myapp.tasks.processing.%s"%key)
    # ...
    logger.info(...) # log something

这里，所有记录都发送到同一个命名的记录器。现在，您可以使用两种方法来获取这些记录：

配置文件侦听器，其名称取决于记录器名称。完成最后一步后，只需读取该文件中的所有信息即可。确保为此侦听器禁用输出缓冲，否则您将面临丢失记录的风险。
创建自定义侦听器，该侦听器将在内存中累积记录，然后在通知时返回所有记录。我在这里使用 memcached 进行存储，它比创建自己的跨进程存储更简单。

I assume you are using logging module. You can use separate named logger per task set to do the job. They will inherit all configuration from upper level.

in task.py:

import logging

@task
step1(*args, **kwargs):
    # `key` is some unique identifier common for a piece of data in all steps of processing
    logger = logging.getLogger("myapp.tasks.processing.%s"%key)
    # ...
    logger.info(...) # log something

@task
step2(*args, **kwargs):
    logger = logging.getLogger("myapp.tasks.processing.%s"%key)
    # ...
    logger.info(...) # log something

Here, all records were sent to the same named logger. Now, you can use 2 approaches to fetch those records:

Configure file listener with name that depends on logger name. After last step, just read all info from that file. Make sure output buffering is disabled for this listener or you risk loosing records.
Create custom listener that would accumulate records in memory then return them all when told so. I'd use memcached for storage here, it's simpler than creating your own cross-process storage.

回复收藏 0 原文