Django 异步处理

Question

我有一堆 Django 请求，它们执行一些数学计算（用 C 编写并通过 Cython 模块执行），这可能需要不确定的时间（大约 1 秒）来执行。此外，请求不需要访问数据库，并且彼此独立且独立于 Django。

现在一切都是同步的（使用 Gunicorn 和 sync 工作类型），但我想让它异步和非阻塞。简而言之，我想做一些事情：

1. 接收 AJAX 请求
2. 将任务分配给可用的工作人员（不会阻塞主 Django Web 应用程序）
3. 工作人员在未知的时间内执行任务
4. Django 返回计算结果（字符串列表） ）作为 JSON 每当任务完成时

我对异步 Django 非常陌生，所以我的问题是执行此操作的最佳堆栈是什么。

任务队列非常适合这种过程吗？有人会推荐 Tornado + Celery + RabbitMQ 或其他东西吗？

提前致谢！

Answer 1

芹菜非常适合这个。

由于您正在做的事情相对简单（请阅读：您不需要关于如何路由任务的复杂规则），您可能可以使用 Redis 后端，这意味着您不需要设置/配置 RabbitMQ （根据我的经验，这更困难）。

我在 Celery 的开发版本中使用 Redis 最多，以下是我的配置的相关部分：

# Use redis as a queue
BROKER_BACKEND = "kombu.transport.pyredis.Transport"
BROKER_HOST = "localhost"
BROKER_PORT = 6379
BROKER_VHOST = "0"

# Store results in redis
CELERY_RESULT_BACKEND = "redis"
REDIS_HOST = "localhost"
REDIS_PORT = 6379
REDIS_DB = "0"

我还使用 django-celery，这使得与 Django 的集成很顺利。

如果您需要任何更具体的建议，请发表评论。

Answer 2

由于您计划使其异步（可能使用 gevent 之类的东西），因此您还可以考虑为计算工作创建线程/分叉后端 Web 服务。

异步前端服务器可以处理所有轻量工作，从适合异步的数据库（带有特殊驱动程序的redis或mysql）等获取数据。当必须完成计算时，前端服务器可以将所有输入数据发布到后端服务器并在后端服务器完成计算后检索结果。

由于前端服务器是异步的，因此在等待结果时不会阻塞。与使用 celery 相比，这样做的优点是，您可以在结果可用时立即将结果返回给客户端。

client browser <> async frontend server <> backend server for computations