如何让 Pool.map 采用 lambda 函数

Question

我有以下函数：

def copy_file(source_file, target_dir):
    pass

现在我想使用 multiprocessing 立即执行此函数：

p = Pool(12)
p.map(lambda x: copy_file(x,target_dir), file_list)

问题是，lambda 无法进行 pickle，因此会失败。解决这个问题最简洁的（Pythonic）方法是什么？

Answer 1

使用函数对象：

class Copier(object):
    def __init__(self, tgtdir):
        self.target_dir = tgtdir
    def __call__(self, src):
        copy_file(src, self.target_dir)

运行 Pool.map：

p.map(Copier(target_dir), file_list)

Answer 2

对于 Python2.7+ 或 Python3，您可以使用 functools.partial：

import functools
copier = functools.partial(copy_file, target_dir=target_dir)
p.map(copier, file_list)

Answer 3

问题有点老了，但如果你仍在使用 Python 2，我的答案可能会有用。

技巧是使用 pathos 项目的一部分：pathos 项目：multiprocess 多处理的分支。它摆脱了原始多进程的烦人限制。

安装：pip install multiprocess

使用方法：

>>> from multiprocess import Pool
>>> p = Pool(4)
>>> print p.map(lambda x: (lambda y:y**2)(x) + x, xrange(10))
[0, 2, 6, 12, 20, 30, 42, 56, 72, 90]

Answer 4

来自这个 答案，pathos 让你直接运行 lambda p.map(lambda x: copy_file(x,target_dir), file_list) ，保存所有解决方法/黑客

Answer 5

您可以使用starmap()通过池化来解决这个问题。

假定您有一个文件列表（例如在工作目录中），并且您有一个要将这些文件复制到的位置，那么您可以 import os 并使用 os.system( ) 在 python 中运行终端命令。这将使您可以轻松地移动文件。

但是，在开始之前，您需要创建一个变量 res = [(file, target_dir) for file in file_list] 来容纳目标目录中的每个文件。

它看起来像......

[('test1.pdf', '/home/mcurie/files/pdfs/'), ('test2.pdf', '/home/mcurie/files/pdfs/'), ('test3.pdf', '/home/mcurie/files/pdfs/'), ('test4.pdf', '/home/mcurie/files/pdfs/')]

显然，对于这个用例，您可以通过将每个文件和目标目录存储在一个字符串中来简化此过程，但这会降低使用此方法的洞察力。

这个想法是，starmap() 将获取 res 的每个组件并将其放入函数 copy_file(source_file, target_dir) 中并执行它们是同步的（这受到CPU核心数量的限制）。

因此，第一个操作线程将类似于

copy_file('test1.pdf', '/home/mcurie/files/pdfs/')

我希望这会有所帮助。完整代码如下。

from multiprocessing.pool import Pool
import os

file_list = ["test1.pdf", "test2.pdf", "test3.pdf", "test4.pdf"]
target_dir = "/home/mcurie/files/pdfs/"


def copy_file(source_file, target_dir):
    os.system(f"cp {source_file} {target_dir + source_file}")
    
if __name__ == '__main__':
    with Pool() as p:
        res = [(file, target_dir) for file in file_list]
        for results in p.starmap(copy_file, res):
            pass