如何将Python线程代码转换为多处理代码？

Question

由于多种原因（GIL、内存泄漏），我需要将线程应用程序转换为多处理应用程序。幸运的是，线程是完全隔离的，仅通过 Queue.Queue 进行通信。该原语也可用于多处理，因此一切看起来都很好。现在，在进入这个雷区之前，我想就即将出现的问题获得一些建议：

1. 如何确保我的对象可以通过队列传输？我需要提供一些__setstate__吗？
2. 我可以依赖 put 立即返回（就像使用 threading Queue 一样）吗？
3. 一般提示/技巧？
4. 除了 Python 文档之外，还有什么值得阅读的吗？

Answer 1

第 1 部分的答案：

所有必须通过 multiprocessing.Queue （或 Pipe 或其他）的内容都必须是 picklable。这包括基本类型，例如元组、列表和字典。如果类是顶级且不太复杂的话，也支持类（查看详细信息）。然而，尝试传递 lambda 将会失败。

对第 2 部分的回答：

put 由两部分组成：它需要一个信号量来修改队列，并且它可以选择启动一个供给线程。因此，如果没有其他进程尝试同时放入到同一个队列（例如因为只有一个进程< /code> 写入它），它应该很快。对我来说，事实证明它对于所有实际目的来说都足够快了。

第 3 部分的部分答案：

• 普通的 multiprocessing.queue.Queue 缺少 task_done 方法，因此不能直接用作直接替换。 （子类提供了该方法。）
• 旧的 processing.queue.Queue 缺少 qsize 方法，而新的 multiprocessing 版本不准确（只需保留记住这一点）。
• 由于文件描述符通常在 fork 上继承，因此需要注意在正确的进程中关闭它们。