一个让我知道至少 1 个线程何时完成的线程池？

Question

我需要在 python 中使用线程池，并且我希望能够知道至少 1 个线程或“允许的最大线程”何时完成，这样如果我仍然需要做某事，我可以再次启动它。

我一直在使用这样的东西：

def doSomethingWith(dataforthread):
    dostuff()
    i = i-1 #thread has finished

i = 0
poolSize = 5
threads = []
data = #array of data
while len(data):
    while True:
        if i<poolSize: #if started threads is < poolSize start new thread
            dataforthread = data.pop(0)
            i = i+1
            thread = doSomethingWith(dataforthread)
            thread.start()
            threads.append(thread)
        else:
            break
    for t in threads: #wait for ALL threads (I ONLY WANT TO WAIT FOR 1 [any])
        t.join()

据我所知，我的代码打开 5 个线程，然后等待所有线程完成，然后再启动新线程，直到消耗数据。但我真正想做的是一旦其中一个线程完成并且池有一个新线程的“可用位置”就启动一个新线程。

我一直在阅读this，但我认为这会与我的代码有相同的问题（不确定，我是 python 新手，但通过查看 joinAll() 看起来就像这样）。

有人有一个例子可以实现我想要实现的目标吗？

我的意思是一旦我就进行检测比 poolSize 启动新线程直到 i=poolSize 并执行此操作直到数据被消耗。

Answer 1

正如文章作者提到的，以及 @getekha 强调的，Python 中的线程池并不能完成与其他语言中完全相同的事情。如果您需要并行性，您应该查看 multiprocessing 模块。除此之外，它还有这些方便的 Queue 和 池 构建。此外，还有公认的“期货”PEP，您可能会使用它想要监控。

Answer 2

问题是Python有一个全局解释器锁，必须持有它才能运行任何Python代码。这意味着任何时候只有一个线程可以执行Python代码，因此Python中的线程池与其他语言中的线程池不一样。这主要是出于只有少数人知道的神秘原因（即它很复杂）。

如果你确实想异步运行代码，你应该生成新的进程； multiprocesssing 模块有一个 Pool 类，您可以查看一下。