pyspider 中 failed 的任务怎么retry

发布于 2022-09-04 07:54:43 字数 126 浏览 8 评论 0

一开始的任务没有设置retry_delay,过了一夜看到大约有几十个task failed,如果我想重试这些failed的task,该怎么操作?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

街角卖回忆 2022-09-11 07:54:43

一般来说,一个任务失败了三次,就会显示failed。这个时候在数据表里面的status是3。
status这个字段具体含义如下:
1: 任务失败,需要重新执行的
2: 任务执行成功的
3: 任务失败,并且已经达到最大重试次数的。
所以,可以在爬虫脚本里面手动的从数据库里面把status=3的任务的Url提取出来再去爬取

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文