芹菜中一次有许多任务?

发布于 2025-01-28 02:01:45 字数 83 浏览 2 评论 0原文

如果我们按照相同的crontab时间表使用芹菜节拍并运行大约1000个任务,那么任务是否会运行一个或某些任务(由于时间不超时)运行吗? Redis为MQ

If we use celery beat and run about 1000 tasks by same crontab schedule, will tasks run one by one or some tasks will not run (cause of out of time)?
redis as MQ

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

多情癖 2025-02-04 02:01:45

芹菜击败仅触发那些1000个任务(通过crontab时间表),而不是运行它们。

如果您想并行运行1000个任务,则应该有足够的芹菜工人来运行这些任务。

请记住,工人可以运行 concorrent ,因此,如果代码> - 并发= 4 在每个工人中,只有250名工人一次运行所有任务。

如果您只有125名工人,则您的1,000个任务将分别分别为500个(假设所有任务都需要同一时间运行)。

celery beats only trigger those 1000 tasks (by the crontab schedule), not run them.

If you want to run 1000 tasks in parallel, you should have enough celery workers available to run those tasks.

Keep in mind that workers can run concurrent, so if --concurrency=4 in each worker, only 250 workers to run all tasks at once.

If you have only 125 workers, your 1,000 tasks will run in two bulks of 500 each (assuming all tasks take the same time to run).

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文