tee 打印到标准输出的顺序是否有保证？

Question

在Linux下可以使用tee命令分割管道，如下

printf "line1\nline2\nline3\n" |三通 >(wc -l ) | (awk '{print "this is awk: "$0}')

产生输出

this is awk: line1
this is awk: line2
this is awk: line3
this is awk: 3

我的问题是，打印顺序是否有保证？计算行数的 tee 分割管道是否总是在最后打印？有没有办法始终在开始时打印它？或者打印 tee 的顺序永远无法保证？

Answer 1

我认为你不能指望它。这里的 wc 运行在一个单独的进程中，因此没有同步。我的试运行表明可能是这样（至少在 bash 中）。正如 Daenyth 解释的，这个特殊case 很特殊，但是用 grep -o line 而不是 wc 尝试一下，看看会得到什么。

也就是说，在我的 MacBoox 上我得到：

$ printf "line1\nline2\nline3\nline4\nline5\n" | tee >(grep -o line ) | (awk '{print "this is awk: "$0}')
this is awk: line1
this is awk: line2
this is awk: line3
this is awk: line4
this is awk: line5
this is awk: line
this is awk: line
this is awk: line
this is awk: line
this is awk: line

非常一致。我必须仔细阅读 bash 手册页才能确定。

同样：

$ printf "line1\nline2\nline3\nline4\nline5\n" | tee >(awk '{print "*" $0 "*"}' ) | (awk '{print "this is awk: "$0}')
this is awk: line1
this is awk: line2
this is awk: line3
this is awk: line4
this is awk: line5
this is awk: *line1*
this is awk: *line2*
this is awk: *line3*
this is awk: *line4*
this is awk: *line5*

每次...并且

$ printf "line1\nline2\nline3\nline4\nline5\n" | tee >(awk '{print "*" $0 "*"}' ) | (grep line)
line1
line2
line3
line4
line5
*line1*
*line2*
*line3*
*line4*
*line5*

Answer 2

我怀疑在这种情况下， wc 正在等待 EOF，因此在第一个命令完成发送输入之前它不会返回（或打印输出），而 awk 会逐行执行，因此始终会先打印。我不知道发送到其他进程时是否定义了它。

为什么不在打印行本身之前让 awk 计算行数呢？

Answer 3

它不是由 tee 定义的，但正如 Daenyth 所说，在 tee 完成向其传递数据之前 wc 不会完成 - 所以通常 tee 也会在那时将其传递给 awk。在这种情况下，让 awk 进行计数可能会更好。

echo -ne {one,two,three,four}\\n | \
awk '{print "awk processing line " NR ": "$0} END {print "Awk saw " NR " lines"}'

缺点是它在完成之前不会知道数字（知道它需要缓冲数据）。在您的示例中， tee 和 wc 都将 stdout 连接到同一管道（awk 的 stdin ），但顺序未定义。 cat（以及大多数其他管道工具）可用于按已知顺序组装文件。

可以使用更高级的管道技术，例如 bash 协进程 (coproc) 或命名管道（mkfifo 或 mknod p）。后者获取文件系统中的名称，这些名称可以传递给其他进程，但您必须清理它们并避免冲突。 tempfile 或 $$ 可能对此有用。管道不适用于缓冲数据，因为它们通常具有有限的大小并且只会阻止写入。

管道是错误解决方案的一个例子：

mkfifo wcin wcout
wc -l < wcin > wcout &
yes | dd count=1 bs=8M | tee wcin | cat -n wcout - | head

这里的问题是 tee 在尝试向 cat 写入内容时会被卡住，而 cat 想要首先以 wcout 完成。从 Tee 到 Cat 的管道中的数据太多了。

编辑有关 dmckee 的答案：
是的，订单可能是可重复的，但不能保证。这是规模、调度和缓冲区大小的问题。在这个 GNU/Linux 机器上，示例在几千行后开始分解：

seq -f line%g 20000 | tee >(awk '{print "*" $0 "*"}' ) | \
(awk '{print "this is awk: "$0}') | less
this is awk: line2397
this is awk: line2398
this is awk: line2*line1*
this is awk: *line2*
this is awk: *line3*