pyspider 定时爬取问题
在写爬虫的时候,发现 在代码中设置了 every 之后,21号爬取了一次之后,今天看 result 没有更新,那个 lastcrawltime 依旧是 21号的。请问是不是我的参数设置的不正确?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
在写爬虫的时候,发现 在代码中设置了 every 之后,21号爬取了一次之后,今天看 result 没有更新,那个 lastcrawltime 依旧是 21号的。请问是不是我的参数设置的不正确?
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(3)
你贴的这个 task 的图,是什么任务的?
题主给 index_page 设置了小于 cronjob 间隔的时间。然而没有给 detail_page 设置。这样 detail_page 是不会被重新调度的
project 队列状态,最近活动任务是怎样的?
有可能是 every 和 age 不匹配。如果 age 没问题的话,说实话这属于疑难杂症了,我也经常遇到,我都是去 taskdb 把相应的表清空,然后重启 pyspider 重新运行项目
请问这个问题解决了么?我也遇到了同样的状况,但是我的age是小于every的,到现在还是没有自动抓取。 必须要手动才可以重新调度任务,感觉他们就抓取一次就停了