无法从 Python 进程中返回附加值

Question

我在 Ubuntu 8.10 上运行 Python 2.6.5。

对于我正在从事的项目，我需要同时运行多个进程并将每个进程的输出保存到各自的列表中。由于我无法直接从进程返回输出值，因此我将输出列表作为参数传递给我的目标函数，并将输出附加到该列表。问题是，当我在运行进程后尝试访问该列表时，该列表仍然是空的。下面是我遇到的问题的简化版本以及错误消息。

代码：

from multiprocessing import Process
import sys, math, os,commands

outputs = []

def calculate(a,b,outputs):
    c = a*b
    outputs.append(c)
    #return c

outputs1 = []

p1 = Process(target = calculate, args = (2,3,outputs1))

p1.start()
p1.join()

print 'len(outputs1) = ' + str(len(outputs1))

print 'outputs1 = ' + str(outputs1[0])

错误：

len(outputs1) = 0
Traceback (most recent call last):
  File "append_test.py", line 23, in <module>
    print 'outputs1 = ' + str(outputs1[0])
IndexError: list index out of range

我试图使每个进程完全独立于其他进程，以免损坏数据。我已经研究过尝试使用多处理中的数组模块，但附加似乎特定于列表。当我使用线程而不是进程运行完全相同的代码时，我毫无问题地获得了所需的输出，这使我相信这是内存共享的问题。

Answer 1

当您使用单独的进程时，每个进程都会获得内存中所有内容的自己的副本。这就是为什么父进程在其输出中看不到任何内容：每个子进程都附加到其自己的输出副本。

您需要使用某种形式的进程间通信。 Python 的 multiprocessing 库为此提供了两个功能：管道和队列。

例如，使用队列：

>>> from multiprocessing import Process, Queue
>>> def f(q): q.put("hello from the child process")
... 
>>> q = Queue()
>>> p = Process(target=f, args=(q,))
>>> p.start()
>>> p.join()
>>> q.get()
'hello from the child process'

Answer 2

标题为在进程之间交换对象 在multiprocessing模块的在线文档中，它[仅]“支持进程之间的两种类型的通信通道”，并继续提到队列 和管道。值得注意的是，它没有提到列出像outputs1这样的对象。这是有道理的，因为这两个进程不共享内存。

我不确定，但我也怀疑您可能需要将创建进程并启动它的代码部分等放在 if __name__ == '__main__': 子句中以防止子流程来自创建子子流程。

总之，我认为您将不得不重新设计一些东西，以使用这两者之一进行进程间通信——对我来说，队列似乎是合理的选择。