有没有pyspider 项目定时启动的方法?

发布于 2022-09-04 08:32:52 字数 211 浏览 9 评论 0

1.有个爬虫项目我想要定时启动,比如在凌晨1点的时候启动跑一次数据。我只找到了every可以配置每隔多长时间启动。

2.我现在想到两种方法,一种是使用crontab 写个脚本定时调项目的run接口,另一种是自己实现一个scheduler读取数据库的脚本的配置,当到达那个时间点启动。第一种好实现,但是管理起来比较混乱,第二种我对pyspider的源码还不是太熟悉,大家有好的方法吗?非常感谢

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

遗心遗梦遗幸福 2022-09-11 08:32:52

every 每秒访问一次数据库。当时间对上了,就往下走。

提笔落墨 2022-09-11 08:32:52

自己修改的scheduler 增加了crawl_conf,在每次cronjob里判断当前时间是否是crawl_conf定义的时间,如果是,调用project的run方法。
但是现在有问题就是需要重启scheduler才能更新配置。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文