使用 python 子进程和 ssh 读取远程文件？

Question

如何使用子进程和 ssh 从大型远程文件读取数据？

Answer 1

import subprocess
ssh = subprocess.Popen(['ssh', 'user@host', 'cat', 'path/to/file'],
                       stdout=subprocess.PIPE)
for line in ssh.stdout:
    line  # do stuff

Answer 2

上面的答案是可行的，但你必须将 ssh 登录设置为在你的盒子之间不使用密码。还有其他方法可以使用 Python 在计算机之间传输文件。一种无需身份验证的简单方法是设置 apache 服务器并使用 http 请求。

Answer 3

为了提高性能（当文件很大时这很重要），有 rsync。有关确切改进的更多信息，请参阅以下帖子和 Rafa 的回答：
`scp` 与 `rsync` 有何不同？

该算法将是以下使用 rsync

import subprocess

subprocess.Popen(["rsync", host-ip+'/path/to/file'],stdout=subprocess.PIPE)
for line in ssh.stdout:
    line  # do stuff

Answer 4

使用 iter 和 readline 来读取每一整行：

for i in iter(f.stdout.readline,"")