python 多进程固定

Question

我目前正在使用 python 多进程来做一些简单的并行编程。 我使用异步装饰器

def async(decorated):
    module = getmodule(decorated)
    decorated.__name__ += '_original'
    setattr(module, decorated.__name__, decorated)
    def send(*args, **opts):
        return async.pool.apply_async(decorated, args, opts)
    return send

，

@async
def evalfunc(uid, start, end):
        veckernel(Posx, Posy, Posz, Quant, Delta)
        return (uid, GridVal)

def runit(outdir):
    async.pool = Pool(8)
    results = []
    for uid in range(8):
        result = evalfunc(uid,Chunks[uid], Chunks[uid+1])
            results.append(result)

如果我在 8 处理器或 8 核机器上运行它，它基本上只使用两个核。这是为什么？有没有办法像 pthreads 一样进行正确的核心固定？

多谢， 标记

Answer 1

如果apply_async（例如evalfunc）调用的函数很快完成，则池中的所有工作进程可能都不会被利用。

如果这确实是您的情况，那么您需要向每次调用 evalfunc 传递更多数据，以便每个进程都有更多数据需要处理。