Python 的 Popen 清理

Question

我想使用相当于在 perl 中管道传输一些 shell 命令的 python。类似于 python 版本的 open(PIPE, "command |")。

我转到 subprocess 模块并尝试这个：

p = subprocess.Popen("zgrep thingiwant largefile", shell=True, stdout=subprocess.PIPE)

这可以像在 perl 中一样读取输出，但它不会自行清理。当我退出解释器时，我会

grep: writing output: Broken pipe

在 stderr 上吐出几百万次。我想我天真地希望这一切都会为我解决，但事实并非如此。在 p 上调用终止或终止似乎没有帮助。查看进程表，我发现这会杀死 /bin/sh 进程，但将子 gzip 留在原处以抱怨管道损坏。

这样做的正确方法是什么？

Answer 1

问题是管道已满。子进程停止，等待管道清空，但随后进程（Python 解释器）退出，破坏了管道的末尾（因此出现错误消息）。

p.wait() 不会帮助你：

警告如果子进程生成足够的输出到 stdout 或 stderr 管道，从而阻塞等待操作系统管道缓冲区接受更多数据，这将导致死锁。使用 communicate() 来避免这种情况。

http://docs.python.org/library/subprocess。 html#subprocess.Popen.wait

p.communicate() 不会帮助你：

注意读取的数据会缓存在内存中，因此如果数据量较大或无限制，请勿使用此方法。

http://docs.python.org/library/subprocess。 html#subprocess.Popen.communicate

p.stdout.read(num_bytes) 不会帮助你：

警告使用communicate()而不是.stdin.write、.stdout.read或.stderr.read 以避免由于任何其他操作系统管道缓冲区填满并阻塞子进程而导致的死锁。

http://docs.python.org/library/subprocess。 html#subprocess.Popen.stdout

这个故事的寓意是，对于大输出，如果您的程序试图读取数据，subprocess.PIPE 注定会失败（在我看来，您应该能够将 p.stdout.read(bytes) 放入 while p.returncode is None: 循环中，但上面的警告表明这可能会死锁）。

文档建议用以下内容替换 shell 管道：

p1 = Popen(["zgrep", "thingiwant", "largefile"], stdout=PIPE)
p2 = Popen(["processreceivingdata"], stdin=p1.stdout, stdout=PIPE)
output = p2.communicate()[0]

请注意，p2 直接从 p1 获取其标准输入。这应该避免死锁，但考虑到上面相互矛盾的警告，谁知道。

无论如何，如果最后一部分不适合您（不过，它应该），您可以尝试创建一个临时文件，写入第一次调用的所有数据，然后使用临时文件作为下一个流程的输入。

Answer 2

打开管道后，您可以使用命令输出：p.stdout：

for line in p.stdout:
    # do stuff
p.stdout.close()

Answer 3

你是如何执行这个过程的？

正确的方法是使用

p.communicate()

查看文档了解更多详细信息。

Answer 4

您需要等待该过程完成：

import subprocess
p = subprocess.Popen("cat /mach_kernel", shell=True)
p.wait()

或者，您可以捕获程序的标准输出（如您所拥有的），也许还有它的标准错误，然后调用communicate：

import subprocess
p = subprocess.Popen("cat /mach_kernel", shell=True,
                     stdout=subprocess.PIPE, stderr=subprocess.PIPE)
stdout, stderr = p.communicate()