urllib2 和 asyncore 的性能差异

Question

我对这个简单的 python 脚本的性能有一些疑问：

import sys, urllib2, asyncore, socket, urlparse
from timeit import timeit

class HTTPClient(asyncore.dispatcher):
    def __init__(self, host, path):
        asyncore.dispatcher.__init__(self)
        self.create_socket(socket.AF_INET, socket.SOCK_STREAM)
        self.connect( (host, 80) )
        self.buffer = 'GET %s HTTP/1.0\r\n\r\n' % path
        self.data = ''
    def handle_connect(self):
        pass
    def handle_close(self):
        self.close()
    def handle_read(self):
        self.data += self.recv(8192)
    def writable(self):
        return (len(self.buffer) > 0)
    def handle_write(self):
        sent = self.send(self.buffer)
        self.buffer = self.buffer[sent:]

url = 'http://pacnet.karbownicki.com/api/categories/'

components = urlparse.urlparse(url)
host = components.hostname or ''
path = components.path

def fn1():
    try:
        response = urllib2.urlopen(url)
        try:
            return response.read()
        finally:
            response.close()
    except:
        pass

def fn2():
    client = HTTPClient(host, path)
    asyncore.loop()
    return client.data

if sys.argv[1:]:
    print 'fn1:', len(fn1())
    print 'fn2:', len(fn2())

time = timeit('fn1()', 'from __main__ import fn1', number=1)
print 'fn1: %.8f sec/pass' % (time)

time = timeit('fn2()', 'from __main__ import fn2', number=1)
print 'fn2: %.8f sec/pass' % (time)

这是我在 linux 上得到的输出：

$ python2 test_dl.py
fn1: 5.36162281 sec/pass
fn2: 0.27681994 sec/pass

$ python2 test_dl.py count
fn1: 11781
fn2: 11965
fn1: 0.30849886 sec/pass
fn2: 0.30597305 sec/pass

Why is urllib2 so much Slow than asyncore in the first run?

为什么这种差异在第二次运行时似乎消失了？

编辑：在这里找到了解决此问题的黑客解决方案：强制 python mechanize/urllib2 仅使用 A 请求？

如果我对套接字模块进行猴子修补，五秒延迟就会消失如下：

_getaddrinfo = socket.getaddrinfo

def getaddrinfo(host, port, family=0, socktype=0, proto=0, flags=0):
    return _getaddrinfo(host, port, socket.AF_INET, socktype, proto, flags)

socket.getaddrinfo = getaddrinfo

Answer 1

这可能是在您的操作系统中：如果您的操作系统缓存 DNS 请求，则第一个请求必须由 DNS 服务器应答，随后的同名请求已经准备就绪。

编辑：正如评论所示，这可能不是 DNS 问题。我仍然认为这是操作系统而不是Python。我在 Windows 和 FreeBSD 上测试了代码，没有看到这种差异，两个函数需要大约相同的时间。

这正是它应该的样子，单个请求不应该有显着差异。 I/O 和网络延迟可能占这些计时的 90% 左右。

Answer 2

你尝试过做相反的事情吗？即首先通过 syncore 和 urllib？

情况 1： 我们首先尝试使用 urllib，然后使用 ayncore。

fn1: 1.48460957 sec/pass
fn2: 0.91280798 sec/pass

观察结果：Ayncore 在 0.57180159 秒内完成了相同的操作

让我们反转它。

情况 2： 我们现在尝试使用 ayncore，然后尝试使用 urllib。

fn2: 1.27898671 sec/pass
fn1: 0.95816954 sec/pass the same operation in 0.12081717

观察：这次 Urllib 比 asyncore 花费了 0.32081717 秒

这里有两个结论：

1. urllib2 总是比 asyncore 花费更多时间，这是因为 urllib2 将套接字系列类型定义为未指定，而 asyncore 让用户定义它，在本例中我们将其定义为 AF_INET IPv4 协议。

2. 如果两个套接字连接到同一服务器，无论 ayncore 或 urllib 是什么，第二个套接字的性能会更好。这是因为默认缓存行为。要了解更多信息，请查看：https://stackoverflow.com/a/6928657/1060337

参考文献：

想要大致了解套接字的工作原理吗？

http://www.cs .odu.edu/~mweigle/courses/cs455-f06/lectures/2-1-ClientServer.pdf

想要用 python 编写自己的套接字吗？

http://www.ibm.com/developerworks/linux/ tutorials/l-pysocks/index.html

要了解套接字系列或一般术语，请查看此 wiki：

http://en.wikipedia.org/wiki/Berkeley_sockets

注意：此答案最后更新于四月2012 年 05 月，凌晨 2 点（美国标准时间）

Answer 3

终于找到了很好的解释这个问题，以及原因：

这是 DNS 解析器的问题。

对于 DNS 解析器处理的任何 DNS 请求，都会出现此问题
不支持。正确的解决方案是修复 DNS 解析器。

发生了什么：

• 程序已启用 IPv6。
• 当查找主机名时，getaddrinfo() 首先询问 AAAA 记录
• DNS 解析器看到对 AAAA 记录的请求，会说“嗯，我不知道它是什么，让我们把它扔掉”
• DNS 客户端（libc 中的 getaddrinfo()）等待响应......由于没有响应而必须超时。 （这就是延迟）
• 尚未收到记录，因此 getaddrinfo() 会请求 A 记录。这有效。
• 程序获取 A 记录并使用这些记录。

这不仅影响 IPv6 (AAAA) 记录，还会影响任何
解析器不支持的其他 DNS 记录。

对我来说，解决方案是安装 dnsmasq （但我想任何其他 DNS解析器就可以了）。