带有 paramiko 的多进程模块

Question

我正在尝试使用 paramiko python 模块（1.7.7.1）并行执行命令和/或 xfer 文件到一组远程服务器。一项任务如下所示：

jobs = []   
for obj in appObjs:
    if obj.stop_app:
        p = multiprocessing.Process(target=exec_cmd, args=(obj, obj.stop_cmd))
        jobs.append(p)
        print "Starting job %s" % (p)
        p.start()

“obj”包含 paramiko SSHClient、传输和 SFTPClient 等内容。 appObjs 列表包含大约 25 个这样的对象，因此有 25 个到 25 个不同服务器的连接。

我

raise AssertionError("PID check failed. RNG must be re-initialized after fork(). 
Hint:   Try Random.atfork()")

根据 https://github.com/newsapps/beeswithmachineguns/issues/17 但它似乎没有帮助。我已经验证了上面提到的路径中的transport.py就是正在使用的路径。 paramiko 邮件列表似乎已经消失。

这看起来像 paramiko 中的问题还是我误解/误用了多处理模块？有人愿意提出一个实用的解决方法吗？非常感谢，

Answer 1

更新： 正如 @ento 所说，分叉的 ssh 包已 合并回 paramiko 因此下面的答案现在无关紧要，您现在应该再次使用 Paramiko。

<罢工>
这是 Paramiko 中的一个已知问题，已在 Paramiko 的一个分支中修复（在版本 1.7.7.1 中停止），现在被称为 pypi 上的 ssh 包（在撰写本文时将其引入版本 1.7.11）。

显然，在将一些重要补丁添加到主线 Paramiko 中时出现问题，并且维护者没有响应，因此 @bitprophet 以新的包名称 pypi 上的 ssh 包。您可以看到您提到的具体问题此处讨论并且是他决定分叉它的原因之一；如果您确实愿意，可以阅读血腥细节。

Answer 2

正如 Paramiko 问题 中的一条评论提到的，可以通过打开一个来避免 RNG 错误每个进程单独的 ssh 句柄，那么 paramiko 就不会再抱怨了。
此示例脚本演示了这一点（我使用池而不是进程）：

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import ssh
from multiprocessing import Pool
import getpass

hostnames = [HOST1, HOST2]
user = USERNAME
pw = getpass.getpass("Enter ssh password:")

def processFunc(hostname):
    handle = ssh.SSHClient()
    handle.set_missing_host_key_policy(ssh.AutoAddPolicy())
    handle.connect(hostname, username=user, password=pw)
    print("child")
    stdin, stdout, stderr = handle.exec_command("ls -l /var/log; sleep 5")
    cmdOutput = ""
    while True:
        try:
            cmdOutput += stdout.next()
        except StopIteration:
            break
    print("Got output from host %s:%s" % (hostname, cmdOutput))
    handle.close()

pool = Pool(len(hostnames))
pool.map(processFunc, hostnames, 1)
pool.close()
pool.join()

## If you want to compare speed:
# for hostname in hostnames:
#     processFunc(hostname)