在 python map_async 中打印子进程的并行进度条

Question

我有一个 pandas 数据框列表。我想在所有核心上的每个数据帧上并行运行一个 python 函数。我的函数如下所示：

from tqdm import tqdm

def f(df):
    for _, row in tqdm(df.iterrows, total=len(df)):
        # Do some processing
    
    return result


list_of_dataframes = [df1, df2, df3, df3]
ncores = 4
pool = Pool(ncores)
results = pool.map_async(f, list_of_dataframes)
pool.close()
pool.join()

但是，我没有看到四个进度条在每个智利进程的输出中并行更新。我看到只有一个栏在更新，而且也在来回移动。例如，它移动到 5%，然后再次移动回 2%。我相信这是由于所有进程都更新相同的栏所致。

我尝试保留全局进度条并在每个函数调用中更新它，如下所示，但这不起作用。

from tqdm import tqdm 
from multiprocessing import Pool

list_of_dataframes = [df1, df2, df3, df4]
total_rows = len(df1) + len(df2) + len(df3) + len(df4)

def f(df):
    for _, row in df.iterrows():
        # Some processing
        pbar.update(1)
    return 1 

with tqdm(total=total_rows) as pbar: 
    list_of_dataframes = [df1, df2, df3, df3]
    ncores = 4
    pool = Pool(ncores)
    results = pool.map_async(f, list_of_dataframes)
    pool.close()
    pool.join()

但这也行不通。进度条的行为类似。有没有什么方法可以在上面的代码中锁定 pbar 变量，以便只有一个进程可以一次更新进度条，或者有什么方法可以并行显示 4 个进度条？

Answer 1

您可以使用小型 parallelbar 库轻松完成您需要的操作。

例如

import pandas as pd
import numpy as np

from parallelbar import progres_map


def foo(df):
    for row in df.iterrows():
        #do something
        pass
    return 'done'

if __name__=='__main__':
    df_1 = pd.DataFrame(np.random.random((1000, 5)))
    df_2 = pd.DataFrame(np.random.random((1000, 5)))
    df_3 = pd.DataFrame(np.random.random((1000, 5)))
    df_4 = pd.DataFrame(np.random.random((1000, 5)))
    result = progress_map(foo, [df_1, df_2, df_3, df4])

您还可以找到更多详细信息此处