抓取任何网站 HTTPError: HTTP 599: Resolving timed out

发布于 2022-09-04 18:36:27 字数 1073 浏览 8 评论 0

Traceback (most recent call last):
      File "D:\Program Files (x86)\python\python3.5-32\lib\site-packages\pyspider-0.3.7-py3.5.egg\pyspider\libs\base_handler.py", line 188, in run_task
        result = self._run_task(task, response)
      File "D:\Program Files (x86)\python\python3.5-32\lib\site-packages\pyspider\libs\base_handler.py", line 167, in _run_task
        response.raise_for_status()
      File "D:\Program Files (x86)\python\python3.5-32\lib\site-packages\pyspider\libs\response.py", line 190, in raise_for_status
        raise http_error
    requests.exceptions.HTTPError: HTTP 599: Resolving timed out after 20000 milliseconds

1抓取任何域名都是,用ip抓取没问题。
2应该是dns的问题吧,可是浏览器直接打开网址没问题。
3直接调用urllib.request.Request抓取没问题。

会不会是内置的requests抓取问题?

win10系统,python(3.5),pyspider(0.3.7)

之前升级了0.3.8,结果出现其他问题(https://segmentfault.com/q/10...


**最新发现:我把联通换成电信网络,问题解决。感觉是我本地联通的dns有问题,偶尔会劫持放广告,可能和这个有关!
2.也可以试试禁用其他不用的网络连接,比如你用wifi上网,就禁用本地连接。
**

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

岁月打碎记忆 2022-09-11 18:36:27

你好!我今天也遇到这个问题,经过千百次不同的尝试,终于发现了问题所在。只需禁用你当前所使用的网络的ipv6访问即可

顾铮苏瑾 2022-09-11 18:36:27

和无线连接有关,这个pyspider框架网络请求好像是优先连的WiFi网,用本地连接的时候去网络配适器哪里禁用WiFi连接就解决ok了。和ipv6无关

初心 2022-09-11 18:36:27

感觉还是wifi网络不稳定的原因,多重试几次就好了

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文