python，子进程：从子进程读取输出

Question

我有以下脚本：

#!/usr/bin/python

while True:
    x = raw_input()
    print x[::-1]

我从 ipython 调用它：

In [5]: p = Popen('./script.py', stdin=PIPE)

In [6]: p.stdin.write('abc\n')
cba

并且它工作正常。

但是，当我这样做时：

In [7]: p = Popen('./script.py', stdin=PIPE, stdout=PIPE)

In [8]: p.stdin.write('abc\n')

In [9]: p.stdout.read()

解释器挂起。我做错了什么？我希望能够多次从另一个进程写入和读取，以将一些任务传递给该进程。我需要做哪些不同的事情？

编辑1

如果我使用沟通，我得到这个：

In [7]: p = Popen('./script.py', stdin=PIPE, stdout=PIPE)

In [8]: p.communicate('abc\n')
Traceback (most recent call last):
  File "./script.py", line 4, in <module>
    x = raw_input()
EOFError: EOF when reading a line
Out[8]: ('cba\n', None)

编辑2

我尝试冲洗：

#!/usr/bin/python

import sys

while True:
        x = raw_input()
        print x[::-1]
        sys.stdout.flush()

和这里：

In [5]: from subprocess import PIPE, Popen

In [6]: p = Popen('./script.py', stdin=PIPE, stdout=PIPE)

In [7]: p.stdin.write('abc')

In [8]: p.stdin.flush()

In [9]: p.stdout.read()

但它再次挂起。

Answer 1

我相信这里有两个问题：

1）您的父脚本调用 p.stdout.read()，它将读取所有数据直到文件结尾。但是，您的子脚本在无限循环中运行，因此永远不会发生文件结尾。也许您想要p.stdout.readline()？

2) 在交互模式下，大多数程序一次只缓冲一行。当从另一个程序运行时，它们缓冲更多。缓冲在许多情况下提高了效率，但当两个程序需要交互通信时会产生问题。

在 p.stdin.write('abc\n') 之后添加：

p.stdin.flush()

在子进程脚本中，在 print x[::-1] 之后在循环中添加以下内容：

sys.stdout.flush()

（以及顶部的 import sys）

Answer 2

subprocess 方法 check_output 对此很有用：

output = subprocess.check_output('./script.py')

输出将是进程的标准输出。如果您也需要 stderr：

output = subprocess.check_output('./script.py', stderr=subprocess.STDOUT)

因为您避免直接管理管道，所以它可能会规避您的问题。

Answer 3

如果您想将多行传递给 script.py 那么您需要同时读/写：

#!/usr/bin/env python
import sys
from subprocess import PIPE, Popen
from threading  import Thread

def print_output(out, ntrim=80):
    for line in out:
        print len(line)
        if len(line) > ntrim: # truncate long output
            line = line[:ntrim-2]+'..'
        print line.rstrip() 


if __name__=="__main__":
    p = Popen(['python', 'script.py'], stdin=PIPE, stdout=PIPE)
    Thread(target=print_output, args=(p.stdout,)).start()
    for s in ['abc', 'def', 'ab'*10**7, 'ghi']:
        print >>p.stdin, s
    p.stdin.close()
    sys.exit(p.wait()) #NOTE: read http://docs.python.org/library/subprocess.html#subprocess.Popen.wait

Output:

4
cba
4
fed
20000001
bababababababababababababababababababababababababababababababababababababababa..
4
ihg

Where script.py:

#!/usr/bin/env python
"""Print reverse lines."""
while True:
    try: x = raw_input()
    except EOFError:
        break # no more input
    else:
        print x[::-1]

Or

#!/usr/bin/env python
"""Print reverse lines."""
import sys

for line in sys.stdin:
    print line.rstrip()[::-1]

Or

#!/usr/bin/env python
"""Print reverse lines."""
import fileinput

for line in fileinput.input(): # accept files specified as command line arguments
    print line.rstrip()[::-1]

Answer 4

您可能被 Python 的输出缓冲绊倒了。这是 python --help 对此的说明。

-u     : unbuffered binary stdout and stderr; also PYTHONUNBUFFERED=x
         see man page for details on internal buffering relating to '-u'

Answer 5

当您完成对 p.stdin 的写入后，将其关闭：p.stdin.close()

Answer 6

使用 communicate() 而不是 .stdout.read()。

示例：

from subprocess import Popen, PIPE
p = Popen('./script.py', stdin=PIPE, stdout=PIPE, stderr=PIPE)
input = 'abc\n'
stdout, stderr = p.communicate(input)

此建议来自 Popen 对象 部分http://docs.python.org/library/subprocess" rel="nofollow">子流程文档：

警告：使用communicate()而不是.stdin.write、.stdout.read或.stderr.read
避免由于任何其他操作系统管道缓冲区填满并阻塞而导致死锁
子进程。