urllib2 超时但不关闭套接字连接

Question

我正在制作一个 python URL 抓取程序。出于我的目的，我希望它能够非常快地超时，所以我正在执行

urllib2.urlopen("http://.../", timeout=2)

当然它超时了正确地，因为它应该。然而，它并不费心关闭与服务器的连接，因此服务器认为客户端仍然处于连接状态。如何让 urllib2 在超时后关闭连接？

运行 gc.collect() 不起作用，如果我无法控制，我不想使用 httplib 。

我能得到的最接近的是：第一次尝试将超时。服务器报告连接刚刚关闭，因为第二次尝试超时。然后，服务器报告连接在第三次尝试超时时刚刚关闭。无穷无尽。

非常感谢。

Answer 1

我怀疑套接字在堆栈帧中仍然打开。当 Python 引发异常时，它会存储堆栈帧，以便调试器和其他工具可以查看堆栈和内省值。

由于历史原因，现在为了向后兼容，堆栈信息（基于每个线程）存储在 sys 中（请参阅 sys.exc_info()、sys.exc_type 等）。这是 Python 3.0 中已删除的内容之一。

这对您来说意味着堆栈仍然存在并且被引用。该堆栈包含某些具有打开套接字的函数的本地数据。这就是套接字尚未关闭的原因。只有当堆栈跟踪被删除时，所有内容才会被GC。

要测试情况是否如此，请

try:
  1/0
except ZeroDivisionError:
  pass

在 except 子句中插入类似的内容。这是用其他内容替换当前异常的快速方法。

Answer 2

这是一个黑客，但下面的代码可以工作。如果请求是在另一个函数中并且它没有引发异常，则套接字始终关闭。

def _fetch(self, url):
    try:
        return urllib2.urlopen(urllib2.Request(url), timeout=5).read()
    except urllib2.URLError, e:
        if isinstance(e.reason, socket.timeout):
            return None
        else:
            raise e

def fetch(self, url):
    x = None
    while x is None:
        x = self._fetch(url)
        print "Timeout"
    return x

有谁有更好的方法吗？