urllib2 和 httplib 线程安全吗？

Question

我正在寻找有关 urllib2 和 httplib 线程安全的信息。 官方文档（http://docs.python.org/library/urllib2.html 和 http://docs.python.org/library/httplib.html)缺乏有关此主题的任何信息；那里甚至没有提到线程这个词...

更新

好吧，它们不是开箱即用的线程安全的。 需要什么才能使它们成为线程安全的，或者是否存在它们可以成为线程安全的场景？ 我问这个问题是因为似乎

• 使用单独的 OpenerDirector 在每个线程
• 之间不共享 HTTP 连接 线程

足以在线程中安全地使用这些库。问题urllib2和cookielib线程安全中提出了类似的使用场景

Answer 1

httplib 和 urllib2 是非线程安全的。

urllib2 不提供对全局（共享）的序列化访问
OpenerDirector 对象，由 urllib2.urlopen() 使用。

同样，httplib 不提供对 HTTPConnection 对象的序列化访问（即通过使用线程安全的连接池），因此在线程之间共享 HTTPConnection 对象不安全。

我建议使用 httplib2 或 urllib3 作为替代方案。

一般来说，如果模块的文档没有提到线程安全，我会认为它不是线程安全的。您可以查看该模块的源代码进行验证。

当浏览源代码以确定模块是否是线程安全时，您
可以从寻找线程同步原语的用途开始
线程或多处理模块，或使用queue.Queue。

更新

这是来自urllib2.py (Python 2.7.2)的相关源代码片段：

_opener = None
def urlopen(url, data=None, timeout=socket._GLOBAL_DEFAULT_TIMEOUT):
    global _opener
    if _opener is None:
        _opener = build_opener()
    return _opener.open(url, data, timeout)

def install_opener(opener):
    global _opener
    _opener = opener

当并发线程调用install_opener()<时，存在明显的竞争条件/code> 和 urlopen()。

另请注意，使用 Request 对象作为 url 参数调用 urlopen() 可能会改变 Request 对象（请参阅 OpenerDirector.open()），因此使用共享 Request 对象同时调用 urlopen() 是不安全的。

总而言之，如果满足以下条件，urlopen() 就是线程安全的：

• 不从另一个线程调用 install_opener()。
• 非共享 Request 对象或字符串用作 url 参数。