Scrapy卡死不动是什么问题?

发布于 2022-09-05 20:13:05 字数 373 浏览 14 评论 0

从前几天开始起,我的Scrapy爬虫就一直运行不了,也就是说,以前是完全可以运行的,最近几天它出现的错误如下所示:
图片描述
然后就一直在retry...但我用shell或者用浏览器是可以直接访问这些网址的,所以不存在ip被封禁的问题,把User-agent也设置了,Cookie也禁止了,都没用。上网问了好多都没有结果,所以想在这里问一下是什么原因导致了在Scrapy框架下访问不了这些网址的问题。以前运行起来完全不存在这些问题,每秒钟可以达到40多次请求,在5分钟之内可以爬取几万数据。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

蹲墙角沉默 2022-09-12 20:13:05

5秒的超时是不是时间短了点?


还有新建个项目,只把spider拷过去看看能不能run。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文