celery+rabbitmq ,为什么不是在celery队列里面存

发布于 2022-09-04 05:14:48 字数 635 浏览 13 评论 0

用celery+rabbitmq写爬虫。

用的默认的队列设置,也就是没有配置队列,按照文档的说法,应该是存在celery的队列里面。但是实际的结果并不是这样。

clipboard.png

好像每个任务存在一个队列里面,队列数量在不停地增加。
这里是队列的信息。

clipboard.png

clipboard.png

所以,这样的问题是,随着队列的变大,程序变得越来越慢,celery在心跳检测连接队列的时间越来越长。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

无边思念无边月 2022-09-11 05:14:48

你是配置的backend为rpc模式的吗?
如果是就是你返回的结果没有获取,
而rpc模式对应在队列里就是每一个任务的结果都会产生一个队列
获取后就删除

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文