使用 django 和 kombu 流式传输视图

Question

我在昆布有两个队列；一个用于提交请求（做某事），另一个通过发布/订阅吐出所述请求的增量状态。因此在我的过程中它将发布到请求队列并在响应队列上消费。由于该任务可能需要一些时间，我想向用户提供有关后端发生的情况的反馈；这一切都在命令行上运行，因为我的 kombu consume 回调允许我添加一个 logging.info() 语句来向我的用户返回信息：

def callback( msg, env ):
    logging.info( str(msg) )

consumer.register_callback( callback )
consumer.consume()
while continue_consuming:
    connection.drain_events()

但是，我现在希望能够在 django 中提供相同的功能。我知道我可以创建一个 generator 函数作为 HttpResponse 对象的输入：

def view( reqeust ):
    HttpResponse( gen() )

def gen():
    yield 'streaming... '

但我无法概念化如何将 kombu 队列的消息回调实现到生成器中提供这个...有什么想法吗？

如果可能的话，我想避免使用数据库层来存储进度/结果。

Answer 1

最后我决定稍微重构一下代码；因为我有一个昆布队列的包装器，以使接口更像 multiprocess.Queue ，所以我为我的 get() 方法创建了一个生成器。

def get( self, until=None ):
    if until == None:
        until = self.end_marker
    for c in count():
        m = self.consumer.queues[0].get( True )
        if not m == None:
            if m.payload == until:
                raise StopIteration
            yield m.payload

这似乎工作正常 - 但并不是那么干净，因为我需要知道 self.end_marker 或 util 是什么，并且还可能想要迭代所有消费者队列（但我的类无论如何都是每个对象队列，所以这还不错）

那么我在我看来所做的就是：

 def view( response ):
     q = Queue()
     return HttpResponse( q.get() )

有很多关于各种中间件的帖子；我只是懒得使用它们，而且看起来效果很好。