celery 守护进程的问题

Question

我们的 celery 守护进程非常不稳定，存在问题。每当我们推送更改时，我们都会使用结构部署脚本来重新启动守护进程，但由于某种原因，这会导致大量问题。

每当运行部署脚本时，celery 进程都会处于某种伪死亡状态。他们（不幸的是）仍然会消耗来自rabbitmq的任务，但他们实际上不会做任何事情。令人困惑的是，简单的检查表明在这种状态下一切似乎都“很好”，celeryctl status 显示一个节点在线，并且 ps aux | grep celery 显示 2 个正在运行的进程。

但是，尝试手动运行 /etc/init.d/celeryd stop 会导致以下错误：

start-stop-daemon: warning: failed to kill 30360: No such process

虽然在此状态下尝试运行 celeryd start 似乎工作正常，但实际上什么也没做。解决该问题的唯一方法是手动终止正在运行的 celery 进程，然后重新启动它们。

有什么想法吗？我们也没有得到完整的确认，但我们认为问题也会在几天后（目前是测试服务器没有任何活动）在没有部署的情况下自行出现。

Answer 1

我不能说我知道你的设置出了什么问题，但我一直使用supervisord来运行celery——也许这个问题与暴发户有关？不管怎样，我从来没有经历过在supervisord 上运行celery 的情况。

为了更好地衡量，这里有一个 celery 的主管配置示例：

[program:celeryd]
directory=/path/to/project/
command=/path/to/project/venv/bin/python manage.py celeryd -l INFO
user=nobody
autostart=true
autorestart=true
startsecs=10
numprocs=1
stdout_logfile=/var/log/sites/foo/celeryd_stdout.log
stderr_logfile=/var/log/sites/foo/celeryd_stderr.log

; Need to wait for currently executing tasks to finish at shutdown.
; Increase this if you have very long running tasks.
stopwaitsecs = 600

在我的 fab 脚本中重新启动 celeryd 就像发出 sudosupervisorctl restart celeryd 一样简单。