celery的rabbitmq的问题
我用celery跑爬虫,跑了一段时间后发现,celery停止不动了,之后看日志发现,他在做这个
这个是什么问题呢,队列用的是rabbitmq。
backend和broken都是这个。并且,每次都在执行存入mongodb任务的时候出现这样的问题
就像这样
[2016-11-25 16:51:17,199: DEBUG/MainProcess] "GET http://shixin.court.gov.cn/findDetai?id=389373&pCode=3504 HTTP/1.1" 200 699
[2016-11-25 16:51:17,244: WARNING/MainProcess] {'updatedExisting': True, u'nModified': 1, u'ok': 1, u'n': 1}
[2016-11-25 16:51:39,287: DEBUG/MainProcess] "GET http://shixin.court.gov.cn/findDetai?id=389396&pCode=3504 HTTP/1.1" 200 612
[2016-11-25 16:51:39,338: WARNING/MainProcess] {'updatedExisting': True, u'nModified': 1, u'ok': 1, u'n': 1}
[2016-11-25 16:51:43,229: DEBUG/MainProcess] "GET http://shixin.court.gov.cn/findDetai?id=389217&pCode=1939 HTTP/1.1" 503 363
[2016-11-25 16:51:43,277: WARNING/MainProcess] {'updatedExisting': True, u'nModified': 1, u'ok': 1, u'n': 1}
[2016-11-25 16:51:52,362: DEBUG/MainProcess] heartbeat_tick : for connection 640279ea8d0f43a3adcc9d69e9707e86
[2016-11-25 16:51:52,362: DEBUG/MainProcess] heartbeat_tick : Prev sent/recv: 1400/4632, now - 1424/4713, monotonic - 112534.453313, last_heartbeat_sent - 112534.453306, heartbeat int. - 120.0 for connection 640279ea8d0f43a3adcc9d69e9707e86
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论