python 创建 celery 任务作业

Question

假设我有一个 python 程序，我想使用 celery / rabbigmq 最多并行运行 10 次，如果某些进程完成，我想了解它，以便我可以启动一个新进程。我怎样才能这样做？一些例子会很好

Answer 1

举个例子很困难，因为消息传递有点复杂，但你基本上可以做的是：

• 将你的程序重写为一个任务，或者编写一个使用子进程调用你的程序的任务，
• 配置 celery 让 10 个工作人员
• 执行你需要的任意数量的任务为了完成你的工作，Celery 会将它们添加到队列中
• Celery 将为你完成剩下的工作，一旦一项任务完成，就会启动另一项任务，直到队列为空。

或者，如果你想在一项任务完成后手动启动一项任务，你可以可以配置 Celery 在完成后发送消息（我还没有尝试过，但看看 CELERY_RESULT_BACKEND）然后您可以使用这些消息并开始您的任务。