Celery 适合与许多小型分布式系统一起使用吗？

Question

我正在编写一些软件，可以间歇性地在“现场”管理数百个小型系统3G（或类似）连接。

总部需要将作业发送到现场系统（例如，“报告您的状态”、“更新您的软件”等），并且现场系统需要将作业发送回服务器（例如， “已检测到故障”、“这是一些数据”等）。

我花了一些时间研究 Celery，它似乎非常适合：<在总部运行的 celeryd 可以为现场系统收集作业，在现场系统上运行的 celeryd 可以为服务器收集作业，并且这些作业可以作为客户端进行交换变得可用。

那么，Celery 适合解决这个问题吗？具体来说：

• 大多数任务将针对单个工作人员（例如，“将‘get_status’作业发送到‘system51’”）——这会成为问题吗？
• 它是否能够妥善处理不利的网络状况（例如连接中断）？
• 哪些功能只有在使用 RabbitMQ 作为后端时才可用？ （我不想在现场系统上运行 RabbitMQ）
• 如果我像我所描述的那样使用 Celery ，还有其他原因会让我的生活变得困难吗？

谢谢！

（认为​​芹菜杀伤力太大是有效的，但还有其他原因可以让我的生活更轻松，所以我想考虑一下）

Answer 1

大部分任务将被定向
给个体工人（例如，“发送
'get_status' 作业到 'system51'”) —
这会是一个问题吗？

一点也不。只需为每个工作人员创建一个队列，例如，假设每个节点都会侦听名为 default 的循环队列，并且每个节点都有自己的以其节点名称命名的队列：

(a)$ celeryd -n a.example.com -Q default,a.example.com
(b)$ celeryd -n b.example.com -Q default,b.example.com
(c)$ celeryd -n c.example.com -Q default,c.example.com

将任务直接路由到节点很简单：

$ get_status.apply_async(args, kwargs, queue="a.example.com")

或者使用路由器进行配置：

# Always route "app.get_status" to "a.example.com"
CELERY_ROUTES = {"app.get_status": {"queue": "a.example.com"}}

它是否能优雅地处理不利的情况
网络条件（例如，
连接消失）？

工作线程从代理连接失败中正常恢复。
（至少从 RabbitMQ 来看，我不确定所有其他后端，但是这个
易于测试和修复（您只需将相关异常添加到列表中）

对于客户端，如果连接断开，您可以随时重试发送任务，
或者您可以使用 RabbitMQ 设置 HA： http://www.rabbitmq.com/pacemaker.html

哪些功能仅可用
如果 RabbitMQ 被用作
后端？ （我不想运行 RabbitMQ
在现场系统上）

远程控制命令，并且仅支持“直接”交换（不支持“主题”或“扇出”）。但这将在 Kombu (http://github.com/ask/kombu) 中得到支持。

我会认真重新考虑使用 RabbitMQ。为什么你觉得不太合适？
恕我直言，我不会在其他地方寻找像这样的系统，（除了 ZeroMQ，如果系统
是暂时的，您不需要消息持久性）。

芹菜可以改变我的生活还有其他原因吗
如果我像我所描述的那样使用它会很困难吗？

从你上面的描述中我想不出任何东西。由于并发模型
是多处理它确实需要一些内存（我正在努力添加对
线程池和 eventlet 池，这在某些情况下可能会有所帮助）。

认为 Celery 杀伤力过大是合理的，但也有
其他会让我的生活更轻松的原因，所以我想
考虑一下）

在这种情况下，我认为你轻微地使用了“过度杀戮”这个词。这真的取决于
关于在没有它的情况下您需要编写多少代码和测试。我认为
最好改进现有的通用解决方案，理论上听起来
就像它应该适合您的应用程序一样。

Answer 2

我可能会设置一个（django）网络服务来接受请求。 Web 服务可以完成验证请求和转移不良请求的工作。那么芹菜就可以完成这项工作。

这将需要远程设备轮询 Web 服务以查看其工作是否已完成。这可能合适也可能不合适，具体取决于您正在做什么。