python 2.5 中的 urllib2.proxyhandler

Question

在 Windows XP、Python 2.5 和 2.6 中，我测试了以下代码：

import urllib2
proxy= urllib2.ProxyHandler({'http': '127.0.0.1:8080'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
urllib2.urlopen('http://www.google.com/')

在上面的代码中，我从 httplib.py 的第 349 行得到了 BadStatusLine 异常。

我有一个运行在 127.0.0.1:8080 的代理，它可以工作（我可以设置浏览器以将其与 proxyswitchy 一起使用，当它打开时，我可以访问在它关闭时被阻止的网站[在中国]）。

如果我将其更改为socks代理，

proxy= urllib2.ProxyHandler({'socks': '127.0.0.1:8080'})

则根本不使用该代理。

我从 Proxy with urllib2 的问题中得到了代码，它几乎完全相同 - 可能会发生什么错误的？

更新：urllib2不支持socks代理。

最终让它与curl一起工作：

c = pycurl.Curl()

#stupid GFW
if settings.CHINA:
    c.setopt(pycurl.PROXY, '127.0.0.1')
    c.setopt(pycurl.PROXYPORT, 8087)
    c.setopt(pycurl.PROXYTYPE, pycurl.PROXYTYPE_SOCKS5)

Answer 1

urllib2 ProxyHandler 并非设计用于支持 SOCKS 协议。也许这个答案会有所帮助。

Answer 2

假设您的本地代理是HTTP代理而不是socks代理。试试这个：

import urllib2
proxy= urllib2.ProxyHandler({'http': 'http://127.0.0.1:8080/'})
opener = urllib2.build_opener(proxy)
urllib2.install_opener(opener)
urllib2.urlopen('http://www.google.com/')

Answer 3

更新：我位于中国的防火墙后面。这使问题变得更加复杂。 GFW 既破坏了连接，又造成了 DNS 中毒。

我还没有设法让任何 urllib2 解决方案正常工作。但 pycurl 似乎确实有效，并且它解决了“连接重置”问题。不过，fb/twitter 仍然被屏蔽。

将他们的 IPS 添加到我的主机文件中是可行的 - 因此对于更大规模的解决方案，设置 DNS 代理是必要的。