celery+rabbitmq ,为什么不是在celery队列里面存
用celery+rabbitmq写爬虫。
用的默认的队列设置,也就是没有配置队列,按照文档的说法,应该是存在celery的队列里面。但是实际的结果并不是这样。
好像每个任务存在一个队列里面,队列数量在不停地增加。
这里是队列的信息。
所以,这样的问题是,随着队列的变大,程序变得越来越慢,celery在心跳检测连接队列的时间越来越长。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
你是配置的backend为rpc模式的吗?
如果是就是你返回的结果没有获取,
而rpc模式对应在队列里就是每一个任务的结果都会产生一个队列
获取后就删除