使用 Tornado 和 pyodbc 进行异步调用

Question

我想实现一个基于tornado的Web服务，可以为用户提供数据库查询服务。我使用 pyodbc 模块连接到数据库并进行查询。在实践中，我发现打印查询结果需要很长时间。也就是说，如果我使用下面的代码来打印查询结果

while 1:
    data = cursor.fetchone()
    if not data: break
    self.write(data + '\n')
    self.flush()

，而sql命令是类似

select * from <a large dummy table>

tornado的东西，直到循环结束后才会打印查询结果。而且需要很长时间。

我想利用tornado的非阻塞异步功能，让其他用户也能够使用该Web服务，即使打印当前用户的查询请求的循环尚未完成。

所以我写了类似的内容：

@tornado.web.asynchronous
def get(self):
    try:
        cnxn = pyodbc.connect(self.server, self.driver, self.table, self.uid, self.pwd)
    except Exception, e:
        print e
        return

    try:
        self.cur = cnxn.execute(self.sql)
    except Exception, e:
        print e
        return

    self.wait_for_query(callback=self.async_callback(self.on_finish))

def wait_for_query(self, callback):
    while 1:
       data = self.cur.fetchone()
       if not data: break
       self.write(data)
       self.flush()
    callback()

def on_finish(self):
    self.finish()

我读了这篇文章： 使用 Tornado 和 Prototype 进行异步 COMET 查询 并且知道我的解决方案行不通。但我当然不能使用 add_timeout，因为我无法计算迭代将持续多长时间。那么我该如何解决这个问题来实现我的目标呢？

Answer 1

为了允许单线程 Tornado 服务器在这样的请求中异步，您必须将控制权交还给 I/O 循环。尝试一下：

class LongRequestHandler(tornado.web.RequestHandler):
    def database_callback(self):
        data = self.cur.fetchone()
        if not data:
            self.finish()
            self.cnxn.close()
        else:
            self.write(data)
            self.flush()
            tornado.ioloop.IOLoop.instance().add_callback(self.database_callback)

    @tornado.web.asynchronous
    def get(self):
        try:
            self.cnxn = pyodbc.connect(self.server, self.driver, self.table, self.uid, self.pwd)
        except Exception, e:
            print e
            return

        try:
            self.cur = self.cnxn.execute(self.sql)
        except Exception, e:
            print e
            return

        tornado.ioloop.IOLoop.instance().add_callback(self.database_callback)

但是值得注意的是，每个数据库提供商都是不同的。据我了解，对于MySQL，大部分时间/处理实际上将花费在execute()调用上，而不是循环数据，因为MySQL处理整个查询并返回完整的结果集。如果您使用的数据库提供程序执行相同的操作，则可能需要在 Tornado 后面的工作进程中处理类似的请求。

编辑 我的示例只是一个示例。实际上，您需要测试您的回调，并可能在返回之前循环遍历相当多的行，否则您会浪费大量的 CPU 时间在 IO 循环上的函数之间切换，而不是实际处理请求。在做了一些测试之后，我对 MySQL 的担心是真的——执行/查询语句本身就是导致锁定的原因，所以这个解决方案在这种情况下确实没有帮助。