Python 多处理从不加入

Question

我正在使用多处理，特别是池来分离几个“线程”来完成我拥有的一堆缓慢的工作。然而，由于某种原因，我无法让主线程重新加入，即使所有的孩子似乎都已经死了。

已解决：看来这个问题的答案是仅启动多个 Process 对象，而不是使用 Pool。目前尚不清楚原因，但我怀疑剩余的进程是池的管理器，并且当进程完成时它不会消失。如果其他人也遇到此问题，这就是答案。

---

主线程

pool = Pool(processes=12,initializer=thread_init)
for x in xrange(0,13):
    pool.apply_async(thread_dowork)
pool.close()
sys.stderr.write("Waiting for jobs to terminate\n")
pool.join()

xrange(0,13) 比进程的数量，因为我认为我有一个进程，并且一个进程没有得到一份工作，所以没有死亡，我想强迫它接受一份工作。我也尝试过 12 个。

多处理函数

def thread_init():
    global log_out
    log_out = open('pool_%s.log'%os.getpid(),'w')
    sys.stderr = log_out
    sys.stdout = log_out
    log_out.write("Spawned")
    log_out.flush()
    log_out.write(" Complete\n")
    log_out.flush()


def thread_dowork():
    log_out.write("Entered function\n")
    log_out.flush()
    #Do Work
    log_out.write("Exiting ")
    log_out.flush()
    log_out.close()
    sys.exit(0)

所有 12 个子进程的日志文件的输出是：

Spawned
Complete
Entered function
Exiting

主线程打印“等待作业终止”，然后就坐在那里。

top 仅显示脚本的一份副本（我认为是主要副本）。 htop 显示两个副本，其中一个是顶部的副本，另一个是其他副本。根据其 PID，它也不是子级。

有人知道我不知道的事情吗？

Answer 1

我真的没有答案，但我阅读了 Apply_async 的文档，它似乎与您所说的问题相反......

回调应该立即完成，否则线程
处理结果将被阻止。

我对池不熟悉，但在我看来，您的用例可以通过 本周 Python 模块