Python mmap 和 multiprocessing.semaphore 的竞争条件

Question

我正在编写一个脚本，它与 multiprocessing.Process 同时处理一些 mmap，并更新存储在 mmap 中并用互斥锁锁定的结果列表。

我写入结果列表的函数看起来像这样

def update_result(result_mmap, new_value, new_value_index, sema):
    sema.acquire()
    result_mmap.seek(0)
    old_result = result_mmap.readline().split("\t")
    old_result[new_value_index] = new_value
    new_result = "\t".join(map(str, old_result))
    result_mmap.resize(len(new_result))
    result_mmap.seek(0)
    result_mmap.write(new_result)
    sema.release()

这有时有效，但其他时候，根据进程的执行顺序，result_mmap 似乎没有正确调整大小。我不知道从这里看哪里 - 我知道存在竞争条件，但我不知道为什么。

编辑：这是调用 update_result 的函数：

def apply_function(mmapped_files, function, result_mmap, result_index, sema):
    for mf in mmapped_files:
        accumulator = int(mf.readline())
        while True:
            line = mf.readline()
            if line is None or line == '':
                break
            num = int(line)
            accumulator = function(num, accumulator)
        update_result(result_mmap, result_index, inc, sema)

Answer 1

也许我错了，但是您确定信号量确实在进程之间起作用（它是系统互斥体吗？）。因为如果不是，进程就不会共享相同的内存空间。您可能需要考虑使用线程库，以便线程使用相同的信号量。