Scrapy卡死不动是什么问题?
从前几天开始起,我的Scrapy爬虫就一直运行不了,也就是说,以前是完全可以运行的,最近几天它出现的错误如下所示:
然后就一直在retry...但我用shell或者用浏览器是可以直接访问这些网址的,所以不存在ip被封禁的问题,把User-agent也设置了,Cookie也禁止了,都没用。上网问了好多都没有结果,所以想在这里问一下是什么原因导致了在Scrapy框架下访问不了这些网址的问题。以前运行起来完全不存在这些问题,每秒钟可以达到40多次请求,在5分钟之内可以爬取几万数据。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
5秒的超时是不是时间短了点?
还有新建个项目,只把spider拷过去看看能不能run。