如何从Python中的多个线程收集数据？

Question

我想在 Python 中使用多个线程来计算图像的像素值，并在最后构建，尽管我无法弄清楚如何返回并收集线程的结果。设置如下：

创建了一个 Queue.Queue() 对象，以及一个 threading.Thread() 子类：

q = Queue.Queue()
class myThread(threading.Thread):
  def __init__(self, queue):
    self.queue = queue
    threading.Thread.__init__(self)
  def run(self):
    while True: # loop forever
      task = self.queue.get()
      rs = self.do_work(task) # I've got the result; now what to do with it?
      self.queue.task_done()

这个想法是我想收集像素数据对于 500x500 图像，最初是 250,000 (500x500) 个元素的列表，最终将使用 PIL 制作成图像：

pixels = array.array('B', pixels).tostring()
im = Image.fromstring('L', size, pixels)
im.show()

因此，我用每个像素的任务填充队列，并生成一个线程池：

for i in range(5):
  t = myThread(q)
  t.setDaemon(True)
  t.start()
for y in range(500):
  for x in range(500):
    q.put({'x':x, 'y':y})
q.join()

那么如何收集到所有数据了吗？我认为将 250,000 个元素列表传递给每个线程是一个坏主意，既考虑到传递的数据数组的大小，又考虑到每个线程都会丢失来自其他线程的数据。

编辑： 对于那些想知道是否值得以多线程方式执行此操作的人来说，计算图像坐标所做的工作是几个柏林噪声函数。它生成一个柏林 2D 噪声点阵列（5x5 网格），加上几个八度音阶（10x10、20x20 和 40x40 网格），并计算这些点之间的像素值。因此，对于最终图像中的每个像素，它必须对每个八度音程执行三次数学运算（给定点周围的 X 点平均，给定点周围的 Y 点平均，并对这些平均值进行平均），然后在八度音程结果之间进行加权平均。

在我的 8 核 Mac 上，我看到 Python 进程在运行时使用 1 个线程和 100% 的处理器。虽然我知道我有 8 个核心，并且看到进程显示 400-600% 的处理器使用率，表明它们正在利用其他核心，但我只是希望这个 Python 脚本也能做到这一点。

Answer 1

Python 有一个用于修改 Python 级数据结构的全局锁，称为 GIL。这使得你很难有效地完成你想要用线程做的事情。

但是，不要绝望！开发人员为我们提供了多处理模块。将线程替换为多处理（改为使用 multiprocessing.Process 和 multiprocessing.Queue），瞧，您的应用程序是一个多进程应用程序。

至于你的问题，你想要另一个队列，朝另一个方向走。

Answer 2

我认为你应该使用两个队列。

一种用于工作/任务，一种用于输出。

任务完成后，将结果放入输出队列。

Answer 3

我会有一个每个线程都可以访问的全局列表。我实际上也遇到过这样的情况，并且这样做没有任何问题。