使用 Python 通过 SSH 从服务器读取文件

Question

我正在尝试使用 Python 中的 SSH 从服务器读取文件。我正在使用 Paramiko 进行连接。我可以连接到服务器并运行 cat filename 之类的命令，并从服务器取回数据，但我尝试读取的某些文件大小约为 1 GB 或更大。

如何使用Python逐行读取服务器上的文件？

附加信息：通常执行的操作是运行 cat filename 命令并将结果存储在变量中并进行处理。但由于这里的文件相当大，我正在寻找一种从服务器上逐行读取文件的方法。

编辑：我可以读取一堆数据并将其分成几行，但问题是缓冲区中接收到的数据并不总是包含完整的行。例如，如果缓冲区有 300 行，则最后一行可能只是服务器上行的一半，而下一半将在下次调用服务器时获取。我想要完整的行

编辑2：我可以使用什么命令来打印文件中特定范围内的行。比如打印前 100 行，然后打印下 100 行，依此类推？这样缓冲区将始终包含完整的行。

Answer 1

Paramiko 的 SFTPClient 类 允许您获取类似文件的对象，以 Python 方式从远程文件读取数据。

假设您有一个开放的 SSHClient：

sftp_client = ssh_client.open_sftp()
remote_file = sftp_client.open('remote_filename')
try:
    for line in remote_file:
        # process line
finally:
    remote_file.close()

Answer 2

这是@Matt Good 的答案的扩展，使用 fabric：

from fabric.connection import Connection

with Connection(host, user) as c, c.sftp() as sftp,   \
         sftp.open('remote_filename') as file:
    for line in file:
        process(line)

---

旧面料 1 答案：

from contextlib     import closing
from fabric.network import connect

with closing(connect(user, host, port)) as ssh, \
     closing(ssh.open_sftp()) as sftp, \
     closing(sftp.open('remote_filename')) as file:
    for line in file:
        process(line)

Answer 3

#!/usr/bin/env python
import paramiko
import select
client = paramiko.SSHClient()
client.load_system_host_keys()
client.connect('yourhost.com')
transport = client.get_transport()
channel = transport.open_session()
channel.exec_command("cat /path/to/your/file")
while True:
  rl, wl, xl = select.select([channel],[],[],0.0)
  if len(rl) > 0:
      # Must be stdout
      print channel.recv(1024)

Answer 4

看起来早在 2013 年 9 月，paramiko 就添加了这些对象本身支持上下文管理器的功能，因此如果您想要两者 马特的干净答案 jfs 的上下文管理器，现在您需要的是：

with ssh_client.open_sftp() as sftp_client:
    with sftp_client.open('remote_filename') as remote_file:
        for line in remote_file:
            # process line

Answer 5

“逐行”是什么意思 - 网络主机之间有大量数据缓冲区，并且它们都不是面向行的。

因此，您可以读取一堆数据，然后将其在近端分成几行。

ssh otherhost cat somefile | python process_standard_input.py | do_process_locally

或者，您可以让一个进程在远端读取一堆数据，将其分解，然后逐行格式化并将其发送给您。

scp process_standard_input.py otherhost
ssh otherhost python process_standard_input.py somefile |  do_process_locally

我关心的唯一区别是如何减少有限网络管道上的数据量。根据您的情况，这可能很重要，也可能无关紧要。

一般来说，通过 SSH 管道使用 cat 来移动千兆字节的数据并没有什么问题。

Answer 6

我尝试使用 paramiko 和 fabric 来执行此操作。但是由于这个答案，我能够得出以下答案：

from ftplib import FTP_TLS

source = '/file/path/in/FTP/server.txt'
destiny = '/file/path/in/local/machine.txt'

with FTP_TLS() as ftps:
  ftps.connect(host, port)
  ftps.sendcmd(f'USER { username }')
  ftps.sendcmd(f'PASS { password }')

  with ftps as conn:
    with open(destiny, 'wb') as file:
      conn.retrbinary(f'RETR { source }', file.write)