pyspider 定时爬取问题

发布于 2022-09-05 01:06:24 字数 1113 浏览 14 评论 0

pyspider 代码
pyspider result

dasgboard

在写爬虫的时候,发现 在代码中设置了 every 之后,21号爬取了一次之后,今天看 result 没有更新,那个 lastcrawltime 依旧是 21号的。请问是不是我的参数设置的不正确?

图片描述

recent active tasks

schedule.1d 内容

问题任务对应active task

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

杀手六號 2022-09-12 01:06:24

你贴的这个 task 的图,是什么任务的?

贴的是 detail_page 的任务的

题主给 index_page 设置了小于 cronjob 间隔的时间。然而没有给 detail_page 设置。这样 detail_page 是不会被重新调度的

project 队列状态,最近活动任务是怎样的?

遥远的她 2022-09-12 01:06:24

有可能是 every 和 age 不匹配。如果 age 没问题的话,说实话这属于疑难杂症了,我也经常遇到,我都是去 taskdb 把相应的表清空,然后重启 pyspider 重新运行项目

沫离伤花 2022-09-12 01:06:24

请问这个问题解决了么?我也遇到了同样的状况,但是我的age是小于every的,到现在还是没有自动抓取。 必须要手动才可以重新调度任务,感觉他们就抓取一次就停了

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文