将 gevent 与 python xmlrpclib 结合使用

Question

是否可以将 python 的标准库 xmlrpclib 与 gevent 一起使用？目前我尝试使用monkey.patch_all()，但没有成功。

from gevent import monkey
monkey.patch_all()

import gevent

import time

import xmlrpclib
from SimpleXMLRPCServer import SimpleXMLRPCServer

import urllib2

def fetch(url):
        g = gevent.spawn(urllib2.urlopen, url)
        return g.get().read()
def is_even(n):
    return n%2 == 0

def req(url):
        return fetch(url)

server = SimpleXMLRPCServer(("localhost", 8000))
print "Listening on port 8000..."
server.register_function(is_even, "is_even")
server.register_function(req, "req")
server.serve_forever()

urllib2.urlopen 正在阻止服务器。在我看来，monkey.patch_all 没有修补套接字，这就是它阻塞的原因。

Answer 1

套接字已修补得很好，但您的代码还存在其他问题。

首先，这

def fetch(url):
    g = gevent.spawn(urllib2.urlopen, url)
    return g.get().read()

一样

def fetch(url):
    return urllib2.urlopen(url).read()

与您在这里生成一个新的 greenlet 但然后阻止当前的 greenlet 直到新的 greenlet 完成 。它不会使事情并发。这与运行 urlopen 并等待其完成完全相同。

其次，为了利用 gevent，必须有多个轻量级线程 (greenlet) 同时运行。

然而，SimpleXMLRPCServer 的定义意味着

class SimpleXMLRPCServer(SocketServer.TCPServer,
                         SimpleXMLRPCDispatcher):

它一次为一个连接提供服务。

如果您创建自己的 SimpleXMLRPCServer 类，但使用 ThreadingTCPServer 而不是 TCPServer，那么您应该能够从此处使用 gevent 中受益。

monkey.patch_all() 修补线程，使其成为基于 greenlet 的，因此此类服务器将为每个新连接生成一个新的 greenlet。