从子流程获取进度消息

Question

我想启动一个需要几分钟才能完成的程序。在此期间，我想读取程序的进度消息（打印在标准输出上）。问题是我找不到在运行期间读出其输出的方法。

我发现读取程序输出的唯一函数是 Popen.communicate()，但此方法会等到进程完成。因此不可能获取进度并以特殊格式的方式让用户可见。

是否可以用另一种方式做到这一点？

当我使用脚本使用 subprocess.popen 运行该进程时，我在屏幕上看到了程序的输出。可以隐藏吗？ （Ubuntu 10.10，普通终端）

Answer 1

最简单的是使用关键字参数 stdout=subprocess.PIPE 调用 Popen。

p = subprocess.Popen(["ls"], stdout=subprocess.PIPE)
while True:
    line = p.stdout.readline()
    if not line:
        break
    print line

---

要查看其实际效果，这里有两个示例脚本。将它们放在同一目录中并运行 python superprint.py

printandwait.py:

import time
import sys
print 10
sys.stdout.flush()
time.sleep(10)
print 20
sys.stdout.flush()

superprint.py:

import subprocess
import sys
p = subprocess.Popen(["python printandwait.py"], shell=True, stdout=subprocess.PIPE)
while True:
    print "Looping"
    line = p.stdout.readline()
    if not line:
        break
    print line.strip()
    sys.stdout.flush()

Answer 2

您可以对子流程的状态进行轮询并继续输出行。

p = subprocess.Popen('ls;sleep 10', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

rc = p.poll()
while rc != 0:
    while True:
        line = p.stdout.readline()
        if not line:
            break
        print line
    rc = p.poll()

assert rc == 0

Answer 3

这当然是可能的：我的包 python-gnupg 确实如此这会在子进程下生成 gpg (Gnu Privacy Guard)。一般情况下，您需要为子进程 stdout 和 stderr 指定 subprocess.PIPE ；然后创建两个单独的线程，将子进程的 stdout 和 stderr 读取到您喜欢的任何位置。

对于python-gnupg，在gpg进程运行时读取来自gpg的状态消息并采取行动（而不是等到它完成）。

基本上，伪代码是

process = subprocess.Popen(..., stdout=subprocess.PIPE, stderr=subprocess.PIPE)
stderr = process.stderr
rr = threading.Thread(target=response_reader_func, args=(process.stderr,))
rr.setDaemon(True)
rr.start()

dr = threading.Thread(target=data_reader_func, args=(process.stdout,))
dr.setDaemon(True)
dr.start()

dr.join()
rr.join()
process.wait()

阅读器函数通常是封闭类的方法，它们根据正在阅读的内容执行正确的操作（在您的情况下，以某种方式更新进度信息）。