有没有pyspider 项目定时启动的方法?
1.有个爬虫项目我想要定时启动,比如在凌晨1点的时候启动跑一次数据。我只找到了every可以配置每隔多长时间启动。
2.我现在想到两种方法,一种是使用crontab 写个脚本定时调项目的run接口,另一种是自己实现一个scheduler读取数据库的脚本的配置,当到达那个时间点启动。第一种好实现,但是管理起来比较混乱,第二种我对pyspider的源码还不是太熟悉,大家有好的方法吗?非常感谢
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
every 每秒访问一次数据库。当时间对上了,就往下走。
自己修改的scheduler 增加了crawl_conf,在每次cronjob里判断当前时间是否是crawl_conf定义的时间,如果是,调用project的run方法。
但是现在有问题就是需要重启scheduler才能更新配置。