celery，一再见一队列和并行多时间队列

Question

我正在尝试使用芹菜来管理任务。 我现在遇到的问题是，我有很多小任务（电子邮件、跨服务器帖子等） 以及耗时的任务，例如文件上传。

有没有什么方法可以指定，上传将始终是一张一张的。只有一个任务及时执行，而其他工作人员将在其他队列上工作？

Answer 1

序列化任务执行的一个有效方法是使用互斥体（互斥）。

Python 的 threading 模块有 一个 Lock 对象，可以用于此效果：

# ...
module_lock = threading.Lock() # or make this an attribute in an object with sufficiently-large scope
# ...
def do_interesting_task():
     with module_lock.acquire():
         interesting_task()

“进入这里的人请放弃所有希望。”

互斥体和信号量是强大的工具，但如果使用不当，它们会产生死锁，有时甚至会毁了你的午餐。

Answer 2

同时我已经实现了这样的解决方案，效果很好。
但是，我不太确定， max_retries=None 表示重试次数不受限制。
该解决方案适用于redis，但也可以适用于任何其他支持原子增量操作的引擎。

@task(max_retries=None,default_retry_delay=3)
def sleepTask():
    if r.incr('sleep_working')>1:
        r.incr('sleep_working',-1)
        sleepTask.retry()
    else:
        try:
            r.expire('sleep_working',3600)
            sleep(30)
        finally:
            r.incr('sleep_working',-1)
        return True

这里的关键是 incr 是原子性的，所以永远不会发生两个客户端收到 counter==1 的情况。

另外过期也非常重要，任何事情都可能发生，我们的计数器将永远> 1，所以过期确保，无论如何，在特定时间之后计数器将被删除。该值可以根据需要进行调整。我的是大文件上传，所以3600听起来还可以。

我认为这是一个很好的起点，创建自定义任务对象，它将通过接收 redis_key 和 expire_time 值自动完成所有这些操作。如果我要做这样的任务，我会更新这篇文章。

作为奖励，该解决方案还可以通过将 >1 更改为 >任意数量，轻松调整为 2/3/任何其他数量的并行限制