Python fork()：将数据从子级传递到父级

Question

我有一个主要的Python进程，以及由主进程使用 < 创建的一堆或多个工作进程代码>os.fork()。

我需要将大型且相当复杂的数据结构从工作人员传递回主流程。您会推荐哪些现有的库？

数据结构是列表、字典、 numpy 的混合 数组、自定义类（我可以调整）以及上述的多层组合。

应避免磁盘 I/O。如果我还可以避免创建数据副本（例如通过某种共享内存解决方案），那也很好，但不是硬性约束。

出于此问题的目的，必须使用 os.fork() 或其包装器来创建工作线程，以克隆主进程的地址空间。

这只需要在 Linux 上工作。

Answer 1

multiprocessing 的队列实现有效。在内部，它将数据腌制到管道中。

q = multiprocessing.Queue()
if (os.fork() == 0):
    print(q.get())
else:
    q.put(5)
# outputs: 5