celery的rabbitmq的问题

发布于 2022-09-04 05:10:57 字数 1386 浏览 12 评论 0

我用celery跑爬虫,跑了一段时间后发现,celery停止不动了,之后看日志发现,他在做这个
clipboard.png

这个是什么问题呢,队列用的是rabbitmq。

backend和broken都是这个。并且,每次都在执行存入mongodb任务的时候出现这样的问题
就像这样

[2016-11-25 16:51:17,199: DEBUG/MainProcess] "GET http://shixin.court.gov.cn/findDetai?id=389373&pCode=3504 HTTP/1.1" 200 699
[2016-11-25 16:51:17,244: WARNING/MainProcess] {'updatedExisting': True, u'nModified': 1, u'ok': 1, u'n': 1}
[2016-11-25 16:51:39,287: DEBUG/MainProcess] "GET http://shixin.court.gov.cn/findDetai?id=389396&pCode=3504 HTTP/1.1" 200 612
[2016-11-25 16:51:39,338: WARNING/MainProcess] {'updatedExisting': True, u'nModified': 1, u'ok': 1, u'n': 1}
[2016-11-25 16:51:43,229: DEBUG/MainProcess] "GET http://shixin.court.gov.cn/findDetai?id=389217&pCode=1939 HTTP/1.1" 503 363
[2016-11-25 16:51:43,277: WARNING/MainProcess] {'updatedExisting': True, u'nModified': 1, u'ok': 1, u'n': 1}
[2016-11-25 16:51:52,362: DEBUG/MainProcess] heartbeat_tick : for connection 640279ea8d0f43a3adcc9d69e9707e86
[2016-11-25 16:51:52,362: DEBUG/MainProcess] heartbeat_tick : Prev sent/recv: 1400/4632, now - 1424/4713, monotonic - 112534.453313, last_heartbeat_sent - 112534.453306, heartbeat int. - 120.0 for connection 640279ea8d0f43a3adcc9d69e9707e86

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文