在 C 或 Python 中使用 popen 绕过子进程输出的缓冲

Question

我有一个关于 popen （和所有相关函数）的一般问题，适用于所有操作系统，当我编写 python 脚本或一些 c 代码并从控制台（win 或 linux）运行生成的可执行文件时，我可以立即看到输出从过程中。但是，如果我运行与分叉进程相同的可执行文件，并将其 stdout 重定向到管道中，则输出会在某处缓冲，通常最多 4096 字节，然后才会写入父进程可以读取的管道。

以下 python 脚本将以 1024 字节为单位生成输出

import os, sys, time

if __name__ == "__main__":
     dye = '@'*1024
     for i in range (0,8):
        print dye
        time.sleep(1)

以下 python 脚本将执行前面的脚本，并在输出到达管道时立即逐字节读取输出

import os, sys, subprocess, time, thread

if __name__ == "__main__":
    execArgs = ["c:\\python25\\python.exe", "C:\\Scripts\\PythonScratch\\byte_stream.py"]

    p = subprocess.Popen(execArgs, bufsize=0, stdout=subprocess.PIPE)
    while p.returncode == None:
        data = p.stdout.read(1)
        sys.stdout.write(data)
        p.poll()

调整操作系统的路径。在此配置中运行时，输出不会以 1024 的块出现，而是以 4096 的块出现，尽管 popen 命令的缓冲区大小设置为 0（无论如何这是默认值）。谁能告诉我如何改变这种行为？有什么方法可以强制操作系统以与从控制台运行时相同的方式处理分叉进程的输出？即，只需通过没有缓冲？

Answer 1

一般来说，标准 C 运行时库（或多或少代表每个系统上的几乎每个程序运行；-）检测 stdout 是否是终端；如果没有，它会缓冲输出（与未缓冲的输出相比，这可能会带来巨大的效率提升）。

如果您控制正在写入的程序，您可以（正如另一个答案所建议的那样）连续刷新标准输出，或者（如果可行的话更优雅）尝试强制标准输出不缓冲，例如通过使用 运行Python -u 命令行标志：（

-u     : unbuffered binary stdout and stderr (also PYTHONUNBUFFERED=x)
         see man page for details on internal buffering relating to '-u'

手册页添加的是标准输入和二进制模式问题的提及）。

如果您不能或不想接触正在写入的程序，则正在读取的程序上的 -u 或类似内容不太可能有帮助（最重要的缓冲是发生在作者的标准输出，而不是读者的标准输入）。另一种方法是通过pty标准库模块或更高级别的第三方pexpect 模块（或者，对于 Windows，其端口 wexpect)。

Answer 2

这是正确的，并且适用于 Windows 和 Linux（可能还有其他系统），使用 popen() 和 fopen()。如果您希望在 4096 字节之前分派输出缓冲区，请使用 fflush()（在 C 上）或 sys.stdout.flush() (Python)。

Answer 3

在 C/C++ 中，popen 正在读取子进程。您可以调用 setvbuf 函数：

#include <stdio.h>
...
int main(){
  setvbuf(stdout,NULL,_IONBF,0);
  ...
}

这会将标准输出设置为非缓冲，并且您的输出将正常工作。通常我会在 main() 进程开始时执行此操作。

我还没有找到任何方法可以从读取管道的主机进程中执行此操作。据推测，必须有一些 fcntl 或 stty 函数来欺骗子进程，使其认为它在终端中。如果有人知道答案，我很想知道。