如何判断是下载超时还是request请求超时?
说明:
绿框部分分别是:1、请求返回200;2、返回正确内容。
但是,应该返回100条数据,现在才返回14条,绿框部分显示的就是第14条数据。
红色框显示抓取了14条数据,然后后面就不停的<at 0 pages/min>...
我只好shutdown.
解释:
我设置了DOWNLOAD_TIMEOUT = 1200,DOWNLOAD_DELAY=1。也用了useragentmiddleware(模拟浏览器)。
不明白的地方:
这种情况是下载超时还是请求超时造成?如何解决?谢谢!
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论