pyspider任务自动Pause的触发条件(fetch失败次数),暂停时间等在哪里可以配置
如题。
在采集过程中,经常由于代理质量的问题,出现连续fetch异常,导致任务自动变为Pause状态,并且一停就好几分钟。
能否自己控制fetch异常次数和暂停时间?在哪儿设置?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
启动时候的配置文件中的,scheduler的fail-pause-num字段,设置大点吧