为什么即使在刷新和使用 -u 时，python 也会继续缓冲标准输出？

Question

$ cat script.py
import sys

for line in sys.stdin:
    sys.stdout.write(line)
    sys.stdout.flush()

$ cat script.py - | python -u script.py

输出是正确的，但只有在我按下 Ctrl-D 后它才开始打印，而以下内容立即开始打印：

$ cat script.py - | cat

这让我认为缓冲不是来自 cat.

我设法让它工作通过这样做：

for line in iter(sys.stdin.readline, ""):

如下所述：Python中的流管道，但我不明白为什么前一个解决方案不能按预期工作。

Answer 1

Python 手册页揭示了您问题的答案：

   -u     Force stdin, stdout and stderr to be totally unbuffered.  On systems where it matters, also put stdin, stdout and stderr in binary mode.  Note that
          there  is  internal  buffering  in  xreadlines(),  readlines()  and file-object iterators ("for line in sys.stdin") which is not influenced by this
          option.  To work around this, you will want to use "sys.stdin.readline()" inside a "while 1:" loop.

那就是：文件对象迭代器的内部缓冲是罪魁祸首（并且它不会随 -u 一起消失）。

Answer 2

如果输出到管道，cat 默认会阻止缓冲。因此，当您在 cat 命令中包含 - (stdin) 时，它会在输出任何内容之前等待获取 EOF（您的 ctrl-D 关闭 stdin 流）或 8K（可能）数据。

如果将 cat 命令更改为“cat script.py |”你会发现它按照你的预期工作。

另外，如果你在 script.py 的末尾添加 8K 注释，它也会立即打印出来。

编辑：

以上是错误的。 :-)

事实证明 file.next() （由文件迭代器使用，即文件中的行）有一个隐藏的预读缓冲区，readline() 不使用该缓冲区，它只是读取一个字符，直到看到一个字符为止。换行符或 EOF。