即时获取另一个程序的输出作为输入

Question

我以这种方式使用两个程序：

$ c_program | python_program.py

c_program 使用 printf() 打印一些内容，而 python_program.py 使用 sys.stdin.readline() 读取

内容就像让 python_program.py 在打印时立即处理 c_program 的输出，以便它可以打印自己的当前输出。不幸的是，python_program.py 仅在 c_program 结束后才获取输入。

我该如何解决这个问题？

Answer 1

只需在 C 程序开头（在执行任何输出之前）将 stdout 设置为行缓冲，如下所示：

#include <stdio.h>
setvbuf(stdout, NULL, _IOLBF, 0);

或

#include <stdio.h>
setlinebuf(stdout);

两者之一都可以在 Linux 上工作，但 setvbuf 是 C 标准的一部分，因此它将在更多系统上工作。

默认情况下，stdout 将为管道或文件进行块缓冲，或为终端进行行缓冲。由于本例中 stdout 是管道，因此默认情况下将进行块缓冲。如果它是块缓冲的，那么当缓冲区已满或调用fflush(stdout)时，缓冲区将被刷新。如果它是行缓冲的，那么它将在每行之后自动刷新。

Answer 2

您需要的是让您的 C 程序在每一行之后调用 fflush(stdout) 。例如，使用 GNU grep 工具，您可以调用选项“--line-buffered”，这会导致此行为。请参阅fflush。

Answer 3

如果您可以修改 C 程序，则您已经收到了 答案，但我想我应该为那些不能/不会修改代码的人提供一个解决方案。

expect 有一个名为 unbuffer 就可以了。

Answer 4

您可能想尝试刷新 cpp 程序中的 stdout 流。

Answer 5

所有 Unix shell（据我所知）都通过 pty 之外的其他方式实现 shell 管道
（通常，他们使用 Unix 管道！-）；因此，cpp_program 中的 C/C++ 运行时库将知道其输出不是终端，因此它将缓冲输出（一次几 KB 的块）。除非您编写自己的 shell（或 semiquasimaybeshelloid）来通过 pyt 实现管道，否则我相信无法使用管道表示法来完成您所需要的操作。

所讨论的“shelloid”可能是用 Python（或 C、Tcl 或...）编写的，使用标准库的 pty 模块或基于它的高级抽象，例如作为 pexpect，以及两个程序通过“基于 pty 的管道”连接的事实" 是用 C++ 编写的，而 Python 是相当无关紧要的。关键思想是欺骗管道左侧的程序，使其相信其 stdout 是一个终端（这就是为什么 pty 必须是该技巧的根源），以欺骗其运行时库不缓冲输出。一旦编写了这样的 shelloid，您就可以使用一些语法来调用它，例如：

$ shelloid 'cpp_program | python_program.py'

当然，通过编写 python_program 来提供“点解决方案”会更容易，因为知道它必须生成 cpp_program 作为子进程并欺骗它相信它的标准输出是一个终端（例如，python_program 将直接使用 pexpect）。但是，如果您有数百万种这样的情况，您想要击败系统提供的 C 运行时库执行的正常缓冲，或者您想要重用现有过滤器等许多情况，请编写 shelloid实际上可能更可取。

Answer 6

好吧，这可能听起来很愚蠢，但它可能有效：

将你的 pgm 输出到文件中，

$ c_program >> ./out.log

开发一个从 tail 命令读取的 python 程序

import os

tailoutput = os.popen("tail -n 0 -f ./out.log")

try:
    while 1:
        line = tailoutput.readline()
        if len(line) == 0:
            break

        #do the rest of your things here
        print line

except KeyboardInterrupt:
        print "Quitting \n"