Celery 任务计划（Celery、Django 和 RabbitMQ）

Question

我想要一个每 5 分钟执行一次的任务，但它会等待最后一次执行完成，然后开始计算这 5 分钟。 （这样我也可以确保只有一个任务正在运行）我发现的最简单的方法是运行 django application manage.py shell 并运行这个：

while True:
    result = task.delay()
    result.wait()
    sleep(5)

但是对于我想以这种方式执行的每个任务，我必须运行它自己的shell，有简单的方法吗？可能是一些 King Custom ot django celery 调度程序？

Answer 1

哇，令人惊讶的是没有人理解这个人的问题。他们问的不是定期运行任务，而是如何确保 Celery 不会同时运行同一任务的两个实例。我认为没有办法直接用 Celery 来做到这一点，但你可以做的是让其中一个任务在开始时获取锁，如果失败，则在几秒钟内重试（使用重试） 。任务将在返回之前释放锁；如果锁崩溃或超时，您可以使锁在几分钟后自动过期。

对于锁，您可能可以使用数据库或 Redis 之类的东西。

Answer 2

您可能对这种不需要更改 celery conf 的更简单的方法感兴趣。

@celery.decorators.periodic_task(run_every=datetime.timedelta(minutes=5))
def my_task():
    # Insert fun-stuff here

Answer 3

您所需要的只是在 celery conf 中指定您想要定期运行的任务以及运行时间间隔。

示例：每 30 秒运行一次tasks.add 任务

from datetime import timedelta

CELERYBEAT_SCHEDULE = {
    "runs-every-30-seconds": {
        "task": "tasks.add",
        "schedule": timedelta(seconds=30),
        "args": (16, 16)
     },
}

请记住，您必须使用 -B 选项以节拍模式运行 celery

manage celeryd -B

您还可以使用 crontab 样式而不是时间间隔，查看以下内容：

http://ask.github.com/celery/userguide/periodic-tasks.html

如果您使用的是 django -celery 请记住，您还可以使用 django db 作为定期任务的调度程序，这样您可以轻松地通过 django-celery 管理面板添加新的定期任务。
为此，您需要以这种方式在 settings.py 中设置 celerybeat 调度程序

CELERYBEAT_SCHEDULER = "djcelery.schedulers.DatabaseScheduler"

Answer 4

要扩展 @MauroRocco 的帖子，来自 http://docs.celeryproject .org/en/v2.2.4/userguide/periodic-tasks.html

使用时间增量作为计划意味着任务将在 celerybeat 启动后 30 秒执行一次，然后在上次运行后每 30 秒执行一次。类似 crontab 的计划也存在，请参阅有关 Crontab 计划的部分。

所以这样确实会达到你想要的目的。

Answer 5

由于 celery.decorators 已弃用，您可以使用 periodical_task 装饰器，如下所示：

from celery.task.base import periodic_task
from django.utils.timezone import timedelta

@periodic_task(run_every=timedelta(seconds=5))
def my_background_process():
    # insert code

Answer 6

将该任务添加到单独的队列中，然后为该队列使用单独的工作线程，并将并发选项设置为 1。