如何使用多处理从Python中的文件列表构造数据

Question

我有兴趣通过实现多处理来加速文件读取时间，但是我很难从每个过程中获取数据。当将所有数据放在一起并且使用Python 3.9时，该顺序确实很重要。

# read files from file list in the given indices
def read_files(files, folder_path):
    raw_data = []
    # loops through all tif files in the given folder and parses the data.
    for file in files:
        if file[-3:] == "tif":
            curr_frame = Image.open(os.path.join(folder_path, file))
            raw_data.append(np.array(curr_frame))
    return np.asarray(raw_data).astype(np.float64)


def run_processes(folder_path=None):
    if folder_path is None:
        global PATH
        folder_path = PATH
    files = os.listdir(folder_path)

    start = time.time()
    processes = []
    num_files_per = int(len(files) / os.cpu_count())
    for i in range(os.cpu_count()):
        processes.append(Process(target=read_files, args=(files[(i*num_files_per):((i+1)*num_files_per)], folder_path)))
    for process in processes:
        process.start()
    for process in processes:
        process.join()
    end = time.time()
    print(f"Multi: {end - start}")

任何帮助都非常感谢！

Answer 1

可能会增加spead，生成文件路径列表，并编写一个工作函数，该函数将单个路径作为参数并返回数据。
如果您将该工人与多处理。pool一起使用，它将负责为您返回数据的详细信息。

请记住，您正在交易时间来读取将数据返回到父进程的开销的文件。
鉴于这不是净改进。

然后是文件读取的问题。由于这些文件大概是在同一设备上，因此您可以在此处进入设备的最大吞吐量。

通常，如果您必须在图像上进行的处理 取决于单个图像，那么在工人中进行处理可能值得，因为这会加快事情的速度。