Python 多处理队列可扩展到大量工作人员

Question

我有一个启动工作进程的 python（2.6.5 64 位，Windows 2008 Server R2）应用程序。父进程将作业放入作业队列中，工作人员从中获取作业。类似地，它有一个结果队列。每个工作人员通过查询服务器来执行其工作。工作人员的 CPU 使用率较低。

当工作人员数量增加时，服务器上的 CPU 使用率实际上会减少。服务器本身不是瓶颈，因为我可以从其他应用程序进一步加载它们。

还有其他人看到过类似的行为吗？当大量进程读取或写入同一队列时，python 多处理队列是否存在问题？

Answer 1

对于性能约束有两种不同的想法：

1. 瓶颈是工作人员相互争斗以及父工作人员争夺作业队列的访问权限。
2. 瓶颈是服务器上的连接速率限制（syn-flood 保护）。

收集更多信息：

1. 分析已完成的工作量：每秒完成的任务，将其用作核心性能指标。
2. 使用数据包捕获来查看网络活动的网络级延迟。
3. 让您的工作人员记录他们等待访问作业队列的时间。

可能的改进：

1. 让您的工作人员使用持久连接（如果可用/适用）（例如 HTTP）。
2. 将任务拆分为多个作业队列并提供给工作人员池。

Answer 2

除非您提供所有详细信息，否则不确定发生了什么。

但是，请记住，真正的并发性受到实际硬件线程数的限制。如果启动的进程数量远大于硬件线程的实际数量，则在某些时候上下文切换开销将超过拥有更多并发进程的好处。

Answer 3

创建新的 thead 是非常昂贵的操作。

控制大量并行网络连接的最简单方法之一是使用支持异步套接字的无堆栈线程。 Python 对此有很好的支持和大量的库。

我最喜欢的是 gevent，它具有出色且完全透明的猴子修补实用程序。