在不同的SFTP目录中将多个文件下载到本地

Question

我有一个场景，我们需要将SFTP服务器中不同目录中的某些图像文件下载到本地。

Example : 
/IMAGES/folder1 has img11, img12, img13, img14
/IMAGES/folder2 has img21, img22, img23, img24
/IMAGES/folder3 has img31, img32, img33, img34
And I need to download img12, img23 and img34 from folder 1, 2 and 3 respectively

现在，我进入每个文件夹并单独获取图像，这需要大量时间（因为有10,000张图像要下载）。

我还发现，下载一个相同大小的单个文件（如多个图像文件的大小）所需的时间很少。

我的问题是，有没有办法将这些多个文件放在一起而不是接一个地下载它们？

我想到的一种方法是将所有文件复制到SFTP服务器中的temp文件夹，然后下载目录，但SFTP不允许“复制”，而我无法使用'Rename'临时目录

Answer 1

您可以使用过程池打开多个SFTP连接并并行下载。例如，

from paramiko import SSHClient
from multiprocessing import Pool

def download_init(host):
    global client, sftp
    client = SSHClient()
    client.load_system_host_keys()
    client.connect(host)
    sftp = ssh_client.open_sftp()

def download_close(dummy):
    client.close()

def download_worker(params):
    local_path, remote_path = *params
    sftp.get(remote_path, local_path)

list_of_local_and_remote_files = [
    ["/client/files/folder1/img11", "/IMAGES/folder1/img11"],
]

def downloader(files):
    pool_size = 8
    pool = Pool(8, initializer=download_init, 
        initargs=["sftpserver.example.com"])
    result = pool.map(download_worker, files, chunksize=10)
    pool.map(download_close, range(pool_size))

if __name__ == "__main__":
    downloader(list_of_local_and_remote_files)

不幸的是，pool没有最终确定器来撤消初始化器中设置的内容。通常不是必需的 - 退出过程已经足够清理。在示例中，我刚刚编写了一个单独的工作功能来清理内容。通过每个泳池进程有1个工作项目，他们每个都会接到1个电话。