Python - 关于“多进程”并发使用的问题

Question

我想使用Python的多处理来进行并发处理而不使用锁（锁对我来说与多处理相反），因为我想在Web请求期间同时从不同的资源构建多个报告（通常需要大约3秒，但是通过多重处理，我可以在 0.5 秒内完成）。

我的问题是，如果我向网络公开这样的功能并让 10 个用户同时提取相同的报告，我突然会同时打开 60 个解释器（这会使系统崩溃 ）。这只是使用多处理的常识结果，还是有一个技巧可以解决这个潜在的噩梦？

谢谢

Answer 1

如果您确实担心实例过多，您可以考虑使用信号量对象来保护调用。如果我理解您在做什么，那么您可以使用线程信号量对象：

from threading import Semaphore
sem = Semaphore(10)
with sem:
    make_multiprocessing_call()

我假设 make_multiprocessing_call() 将自行清理。

这样，只会打开 10 个“额外”的 python 实例，如果出现另一个请求，则只需等待前一个请求完成即可。不幸的是，这不会按照“队列”顺序......或任何特定的顺序。

希望有帮助

Answer 2

如果您尝试使用多进程向网络应用程序添加并发性，那么您就找错了方向。如果您为每个请求创建流程，那么您就是在树上一棵完全错误的树。 multiprocess 不是您想要的（至少作为并发模型）。

您很有可能需要一个异步网络框架，例如 Twisted。

Answer 3

仅当您有多个代理向写入源时，才需要锁。如果他们只是访问，则不需要锁（正如您所说，违背了多处理的目的）。

你确定这会让系统崩溃吗？在使用 CGI 的 Web 服务器上，每个请求都会生成一个新进程，因此看到数千个并发进程并不罕见（在 python 中，应该使用 wsgi 并避免这种情况），这不会导致系统崩溃。

我建议你测试一下你的理论——制造 10 个同时访问应该不难——然后看看你的服务器是否真的崩溃了。