Question

使用队列的任务处理系统自从计算机科学领域的开端以来就存在了，追溯到那个计算机很缓慢而且有许多任务需要被处理的时代。结果就是有许多队列库，其中很多能够在集群配置中使用。我们强烈推荐你挑选一个背后有积极社区的成熟库，支持你所需要的相同的特性集，并且没有太多的附加特性。

一个库具有越多的特性，则你会发现错误配置的情况也越多，从而在调试上浪费时间。当处理集群的解决方案时，简单化通常就是正确的目标。有一些使用更普遍的集群化解决方案：

Celery（BSD许可）是一个使用分布式消息架构的被广泛使用的异步任务队列，用Python所编写。它支持Python、PyPy，以及Jython。典型情况下它使用RabbitMQ作为消息代理，但是也支持Redis、MongoDB和其他的存储系统。它通常在Web开发项目中所使用。Andrew Godwin在12.6节中讨论了Celery。

Gearman（BSD许可）是一个多平台的任务处理系统。如果你正在使用不同的技术来集成处理任务，它是非常有用的。它具有对Python、PHP、C++、Perl以及其他许多语言的绑定。

PyRes是针对Python的基于Redis的轻量级的任务管理器。添加任务进Redis的队列中，设置消费者来处理它们，并且选择性地把结果在一个新的队列中传递回去。如果你的需求是轻量级的而且只用Python，它是一个作为起点的非常简单的系统。

亚马逊的简单队列服务（SQS）是集成进亚马逊Web服务的一个任务处理系统。任务消费者和生产者能够存在于AWS内部或者外部，这样SQS启动简单，并且支持简单的迁移入云。对许多语言有库支持。

集群也能用于分布式的numpy处理，但是这是一个在Python世界中相对年轻的发展。通过distarrary和blaze包，Enthough和Continuum都有解决方案。注意这些包企图为你处理同步化和数据局部性的复杂问题（没有一个适合所有情况的解决方案），所以要注意你可能会不得不思考你的数据布局和访取的方式。