python 子进程：“写入错误：管道损坏”

Question

我在管道传输简单的 subprocess.Popen 时遇到问题。

代码：

import subprocess
cmd = 'cat file | sort -g -k3 | head -20 | cut -f2,3' % (pattern,file)
p = subprocess.Popen(cmd,shell=True,stdout=subprocess.PIPE)
for line in p.stdout:
    print(line.decode().strip())

长度约为 1000 行的文件输出：

...
sort: write failed: standard output: Broken pipe
sort: write error

长度大于 241 行的文件输出：

...
sort: fflush failed: standard output: Broken pipe
sort: write error

长度小于 241 行的文件输出很好。

我一直在疯狂地阅读文档和谷歌搜索，但是我缺少了一些关于子进程模块的基本内容......可能与缓冲区有关。我尝试过 p.stdout.flush() 并使用缓冲区大小和 p.wait() 。我尝试使用“sleep 20;”等命令重现此问题cat modefile' 但这似乎运行没有错误。

Answer 1

从 subprocess 文档中的食谱：

# To replace shell pipeline like output=`dmesg | grep hda`
p1 = Popen(["dmesg"], stdout=PIPE)
p2 = Popen(["grep", "hda"], stdin=p1.stdout, stdout=PIPE)
output = p2.communicate()[0]

Answer 2

这是因为你不应该在传递给 subprocess.Popen 的命令中使用“shell Pipes”，你应该像这样使用 subprocess.PIPE：

from subprocess import Popen, PIPE

p1 = Popen('cat file', stdout=PIPE)
p2 = Popen('sort -g -k 3', stdin=p1.stdout, stdout=PIPE)
p3 = Popen('head -20', stdin=p2.stdout, stdout=PIPE)
p4 = Popen('cut -f2,3', stdin=p3.stdout)
final_output = p4.stdout.read()

但我不得不说你想要做的事情可以在纯Python中完成，而不是调用一堆shell命令。

Answer 3

我也遇到了同样的错误。甚至将管道放入 bash 脚本中并执行它，而不是 Python 中的管道。从 Python 中，它会得到损坏的管道错误，从 bash 中则不会。

在我看来，也许 head 之前的最后一个命令会抛出错误，因为它的（排序）STDOUT 已关闭。 Python 一定会注意到这一点，而使用 shell 时错误是无声的。我更改了代码以消耗整个输入，并且错误消失了。

对于较小的文件也有意义，因为管道可能会在头退出之前缓冲整个输出。这可以解释较大文件的中断。

例如，我不是使用“head -1”（在我的情况下，我只想要第一行），而是执行了 awk 'NR == 1'

可能有更好的方法来执行此操作，具体取决于“head -X”的位置' 发生在管道中。

Answer 4

您不需要 shell=True。不要调用 shell。这就是我会这样做的：

p = subprocess.Popen(cmd, stdout=subprocess.PIPE)
stdout_value = p.communicate()[0] 
stdout_value   # the output

看看使用它后您是否遇到有关缓冲区的问题？

Answer 5

尝试使用 communicate()，而不是直接从标准输出读取。

python 文档是这样说的：

“警告使用communicate()而不是
.stdin.write、.stdout.read 或
.stderr.read 以避免由于以下原因导致死锁
任何其他操作系统管道缓冲区
填充并阻挡孩子
过程。”

http://docs.python.org/library/subprocess. html#subprocess.Popen.stdout

p = subprocess.Popen(cmd, stdout=subprocess.PIPE)
output =  p.communicate[0]
for line in output:
    # do stuff