pyspider设置@every(minutes=15)的问题
[问题]
使用pyspider爬取某网站,想每15分钟重新爬取一次,且需要在xx:00,xx:15,xx:30,xx.45这四个时刻之前抓取. 所以我设置on_start()的@every(minutes=15), 并且在上述时刻之前运行spider,比如,在xx:10分运行spider,期望的是在每个小时的xx:10, xx:25, xx:40, xx:55分重启spider。但是结果是,pyspider不管什么时刻运行,都会在xx:00, xx:15, xx:30, xx:45这四个时刻重启。
[请问]
如何解决该问题?谢谢。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
使用
auto_recrawl=True
搭配age=15*60
我需要重写on_finish方法,做一些后处理。如果使用auto_recrawl=True的话,无法触发on_finish方法