并发代码中的死锁

Question

我一直在尝试使用 concurrent.futures.ProcessPoolExecutor 并行化一些代码，但一直遇到奇怪的死锁，而 ThreadPoolExecutor 不会发生这种情况。一个最小的例子：

from concurrent import futures

def test():
    pass

with futures.ProcessPoolExecutor(4) as executor:
    for i in range(100):
        print('submitting {}'.format(i))
        executor.submit(test)

在 python 3.2.2（在 64 位 Ubuntu 上）中，这似乎在提交所有作业后始终挂起 - 每当提交的作业数量大于工作人员数量时，似乎就会发生这种情况。如果我用 ThreadPoolExecutor 替换 ProcessPoolExecutor ，它可以完美地工作。

为了进行调查，我给每个 future 一个回调来打印 i 的值：

from concurrent import futures

def test():
    pass

with futures.ProcessPoolExecutor(4) as executor:
    for i in range(100):
        print('submitting {}'.format(i))
        future = executor.submit(test)

        def callback(f):
            print('callback {}'.format(i))
        future.add_done_callback(callback)

这让我更加困惑 - 打印出的 i 的值回调是调用时的值，而不是定义时的值（所以我从来没有看到callback 0，但我得到了很多callback 99 >s）。再次，ThreadPoolExecutor 打印出预期值。

想知道这是否是一个错误，我尝试了 python 的最新开发版本。现在，代码至少看起来终止了，但我仍然打印出错误的 i 值。

那么任何人都可以解释一下：

• 在 python 3.2 和当前开发版本之间发生了什么 ProcessPoolExecutor 显然解决了这个死锁

• 为什么打印 i 的“错误”值

编辑：正如 jukiewicz 在下面指出的那样，当然打印 i 将打印调用回调时的值，我不知道我是什么思考...如果我传递一个可调用对象，其值为 i 作为其属性之一，那么它会按预期工作。

编辑：更多一点信息：所有回调都被执行，所以看起来是 executor.shutdown （由 executor.__exit__ 调用）无法分辨流程已完成。这似乎在当前的 python 3.3 中完全修复了，但是 multiprocessing 和 concurrent.futures 似乎有很多变化，所以我不知道是什么解决了这个问题。由于我无法使用 3.3（它似乎与 numpy 的发行版或开发版本都不兼容），因此我尝试简单地将其多处理和并发包复制到我的 3.2 安装中，这似乎工作正常。不过，据我所知，ProcessPoolExecutor 在最新的发行版本中完全被破坏，但没有其他人受到影响，这似乎有点奇怪。

Answer 1

我修改了代码如下，解决了这两个问题。 callback 函数被定义为闭包，因此每次都会使用 i 的更新值。至于死锁，这可能是在所有任务完成之前关闭执行器的原因。等待期货完成也可以解决这个问题。

from concurrent import futures

def test(i):
    return i

def callback(f):
    print('callback {}'.format(f.result()))


with futures.ProcessPoolExecutor(4) as executor:
    fs = []
    for i in range(100):
        print('submitting {}'.format(i))
        future = executor.submit(test, i)
        future.add_done_callback(callback)
        fs.append(future)

    for _ in futures.as_completed(fs): pass

更新：哦，抱歉，我还没有阅读你的更新，这似乎已经解决了。