pyspider设置@every(minutes=15)的问题

发布于 2022-09-05 04:33:12 字数 326 浏览 22 评论 0

[问题]
使用pyspider爬取某网站,想每15分钟重新爬取一次,且需要在xx:00,xx:15,xx:30,xx.45这四个时刻之前抓取. 所以我设置on_start()的@every(minutes=15), 并且在上述时刻之前运行spider,比如,在xx:10分运行spider,期望的是在每个小时的xx:10, xx:25, xx:40, xx:55分重启spider。但是结果是,pyspider不管什么时刻运行,都会在xx:00, xx:15, xx:30, xx:45这四个时刻重启。

[请问]
如何解决该问题?谢谢。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

樱花细雨 2022-09-12 04:33:12

使用 auto_recrawl=True 搭配 age=15*60

ゞ花落谁相伴 2022-09-12 04:33:12

我需要重写on_finish方法,做一些后处理。如果使用auto_recrawl=True的话,无法触发on_finish方法

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文