Python逐行远程数据传输

Question

我一直在使用 subprocess 模块来迭代发送 通过以下命令创建的进程的输入文件中的每一行。

ssh -t -A $host 'remote_command'

remote_command 需要其 STDIN 中的一行，并对其进行一些处理 行并迭代循环，直到 STDIN 关闭或达到 EOF。

为了实现这一目标，我一直在做的是：

process = subprocess.Popen("ssh -t -A $host 'remote_command'",
                           shell=True,
                           stdin=subprocess.PIPE)
for line in file('/tmp/foo'):
  process.stdin.write(line)
  process.stdin.flush()
process.stdin.close()

但我发现上述方法不够稳健，因为它是 通常情况下，remote_command 会提前完成而不处理 全部内容（尽管有时相同的代码确实成功而没有问题）。

当我采用另一种（尽管非常相似）方法时，情况是相同的：

process = subprocess.Popen("ssh -t -A $host 'remote_command'",
                           shell=True,
                           stdin=file('/tmp/foo'))

所以问题是：如何确保输入文件中的每一行都被远程计算机发送、接收和处理，直到最后在 Python 中？

Answer 1

如果这......

process = subprocess.Popen("ssh -t -A $host 'remote_command'",
                           shell=True,
                           stdin=subprocess.PIPE)
for line in file('/tmp/foo'):
    process.stdin.write(line)
    process.stdin.flush()
process.stdin.close()

是你的整个程序，它就不会（必然）工作。

虽然对 process.stdin.close() 的最终调用将确保在程序终止之前所有数据都已发送到 ssh 进程，但它不能确保ssh 进程已通过网络发送了所有数据，因此很可能还有一些未完成的数据需要发送。

不幸的是，由于 ssh 进程是您程序的子进程，因此当您的程序终止时，ssh 进程将收到一个 SIGHUP 信号，该信号将立即杀死它，可能在它完成发送所有数据之前。

只要 remote_command 在遇到 EOF 时终止，就不是问题，您可以要求 ssh 进程忽略 SIGHUP，并继续在后台运行...

process = subprocess.Popen("nohup ssh -t -A $host 'remote_command'", ...)

添加...来要求您的程序等待ssh 进程完成

process.wait()

...或者通过在程序末尾

---

。 更新

经过进一步检查，看起来一个进程只有在其控制 tty 终止时才会收到 SIGHUP 信号，而不是其父进程。

这可能与 -t 选项有关，该选项在远程主机上创建一个新的控制 tty，并且在它生成的子进程完成之前退出。

在这种情况下，您可能需要...

process = subprocess.Popen("ssh -t -A $host 'nohup remote_command'", ...)

...或者尝试不使用 -t 选项。

Answer 2

为了确保所有输入都发送到您的子进程，您无法做更多的事情。在我看来，你的第二个例子比第一个例子更好。您可以做的是检查子进程的返回代码。

return_code = p.wait()

如果成功完成，您的远程命令可能应该返回 0；如果发生错误，则应该返回非零值。

Answer 3

您可能最好使用 paramiko 之类的东西，而不是围绕子流程。

但无论哪种情况，如果您的连接在发送所有数据之前终止，您可以捕获该异常，并且您会知道需要重试。如果进程过早终止，您应该能够读取进程的退出代码。

Answer 4

我想说你最好的选择是使用回复管道来捕获远程命令的结果，并确保你在行之间和每行之后到达提示。顺便说一句，我有时发现远程链接会话结束时的虚拟命令（例如 ls -l）有助于确保在断开连接之前完成处理。