蟒蛇 |使用列表元素对方法进行多重处理

Question

我正在尝试使用列表元素对方法进行多重处理。

每次，我都需要传递一组参数以及新的列表项。 我尝试了下面的代码，但无法实现工作并行性。

乐趣（列表元素，arg1，arg2）

from multiprocessing import Process
from multiprocessing import Pool

def fun(each_item, arg1, arg2):
        
    print('start fun')

    print("fun in this function")
    
    print('end fun')

def main():

    compute_HostList = ['abc.xyz.com', 'def.xyz.com', 'mno.xyz.com']

    #Given list
    print("Given Compute list: ",compute_HostList)
    
    # Each element as list
    New_OS_Compute_List= [[x] for x in compute_HostList]

    # Print
    print("The new lists of lists: ",New_OS_Compute_List)

    for each_item in NewList:
        print("item_in_list:", each_item)
        p = Process(target=fun, args=(each_item, arg1, arg2))
        p.start()
        p.join()

    """
    #I also tried this using zip, but not working.
    for every in New_OS_Compute_List:
        tasks = [*zip(every, "OS DBAAS", "dbcs_patching")]
        with Pool(5) as pool:
            pool.starmap(decideTypeOfPatch, iterable=tasks)
    """
            
if __name__ == '__main__':

    print('start main')
    main()
    print('end main')

Answer 1

当您执行 p.start() 后立即执行 p.join() 时，它会执行您告诉它执行的操作；-) 也就是说，它运行该进程，然后就坐在那里等待该过程完成。所以你没有得到有用的并行性。

因此，不要

        p = Process(target=fun, args=(each_item, arg1, arg2))
        p.start()
        p.join()

将流程对象保存在列表中：

    plist = []
    ...
        p = Process(target=fun, args=(each_item, arg1, arg2))
        plist.append(p)
        p.start()

并且在循环结束后等待它们结束：

    for p in plist:
        p.join()