自动拆分列表以进行多处理

Question

我正在学习python的多处理，并想到一个问题。我希望为共享列表（ nums = mp.manager（）。列表），是否有任何方法可以自动将所有进程的列表拆分，以便它不会在相同的数字上计算平行线。

当前代码：

# multiple processes

nums = mp.Manager().list(range(10000))
results = mp.Queue()
def get_square(list_of_num, results_sharedlist):
    # simple get square
    results_sharedlist.put(list(map(lambda x: x**2, list_of_num)))

start = time.time()
process1 = mp.Process(target=get_square, args = (nums, results))
process2 = mp.Process(target=get_square, args=(nums, results))

process1.start()
process2.start()
process1.join()
process2.join()

print(time.time()-start)
for i in range(results.qsize()):
    print(results.get())

当前行为

它计算同一列表的平方两次

我想要的

我想要过程1和过程2来计算数字的正方形在没有我定义拆分的情况下并行列出1次。

Answer 1

您可以发挥功能来确定其需要执行操作的数据。在当前方案中，您希望您的功能根据并行工作数量来将平方计算工作除以其自己的功能。

为此，您需要让您的函数知道它正在处理的过程以及与之一起工作的其他过程。这样它只能在特定数据上使用。因此，您只需将更多参数传递给您的函数，这些参数将提供有关并行运行的过程的信息。 IE current_process 和 total_process 。

如果您的长度列表可除以2，并且要使用两个过程计算相同的正方形，那么您的功能看起来如下：

def get_square(list_of_num, results_sharedlist, current_process, total_process):
    total_length = len(list_of_num)
    start = (total_length // total_process) * (current_process - 1)
    end = (total_length // total_process) * current_process
    results_sharedlist.put(list(map(lambda x: x**2, list_of_num[start:end])))

TOTAL_PROCESSES = 2
process1 = mp.Process(target=get_square, args = (nums, results, 1, TOTAL_PROCESSES))
process2 = mp.Process(target=get_square, args=(nums, results, 2, TOTAL_PROCESSES))

我在这里所做的假设是您要在其中工作的列表长度您正在分配多个流程。如果不是，那么当前的逻辑将留下一些没有输出的数字。

希望这回答您的问题！

Answer 2

同意杰克在这里的答案，但作为奖励：
如果您使用多处理.pool（），则它可以保留所产生的多处理线程的内部计数器，因此您可以避免参数以识别 current_process 通过访问 > _identity 来自 current_process 通过多处理，如下：

from multiprocessing import current_process, Pool

p = current_process()
print('process counter:', p._identity[0])

更多信息来自 this 答案”。