pyspider 中 failed 的任务怎么retry
一开始的任务没有设置retry_delay
,过了一夜看到大约有几十个task failed,如果我想重试这些failed的task,该怎么操作?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
一开始的任务没有设置retry_delay
,过了一夜看到大约有几十个task failed,如果我想重试这些failed的task,该怎么操作?
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(1)
一般来说,一个任务失败了三次,就会显示failed。这个时候在数据表里面的status是3。
status这个字段具体含义如下:
1: 任务失败,需要重新执行的
2: 任务执行成功的
3: 任务失败,并且已经达到最大重试次数的。
所以,可以在爬虫脚本里面手动的从数据库里面把status=3的任务的Url提取出来再去爬取