芹菜中一次有许多任务?
如果我们按照相同的crontab时间表使用芹菜节拍并运行大约1000个任务,那么任务是否会运行一个或某些任务(由于时间不超时)运行吗? Redis为MQ
If we use celery beat and run about 1000 tasks by same crontab schedule, will tasks run one by one or some tasks will not run (cause of out of time)?
redis as MQ
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
芹菜击败仅触发那些1000个任务(通过crontab时间表),而不是运行它们。
如果您想并行运行1000个任务,则应该有足够的芹菜工人来运行这些任务。
请记住,工人可以运行 concorrent ,因此,如果代码> - 并发= 4 在每个工人中,只有250名工人一次运行所有任务。
如果您只有125名工人,则您的1,000个任务将分别分别为500个(假设所有任务都需要同一时间运行)。
celery beats only trigger those 1000 tasks (by the crontab schedule), not run them.
If you want to run 1000 tasks in parallel, you should have enough celery workers available to run those tasks.
Keep in mind that workers can run concurrent, so if
--concurrency=4
in each worker, only 250 workers to run all tasks at once.If you have only 125 workers, your 1,000 tasks will run in two bulks of 500 each (assuming all tasks take the same time to run).