在 shell (bash) 中，如何在管道中执行多个命令？

Question

我正在尝试在 Bash shell 中一次通过多个命令通过管道传输 awk 命令的输出，根据我的知识，我想到了这一点：

awk '$13 ~ /type/ {print $15}' filename.txt | (wc -l || sort -u)

我希望对 awk 命令的结果进行计数和排序，如何我能做到吗？ 即使有 &&命令它不起作用，它执行第一个命令然后退出。 我想这是我对 bash 的了解失败了。

提前致谢。

Answer 1

如果您想在一行中将输出发送到两个不同的命令，则需要进行过程替换。

试试这个：

awk '$13 ~ /type/ {print $15}' filename.txt | tee >(wc -l >&2) | sort -u

这会在 stderr 上输出行数，并在 stdout 上输出排序后的输出。如果您需要 stdout 上的行数，则可以省略 >&2，但随后它将传递给排序调用并（很可能）排序到顶部输出。

编辑：根据进一步测试更正了所发生情况的描述。

Answer 2

在这种情况下，你用 awk 来计数，为什么需要管道？不要让事情变得更复杂

awk '$13 ~ /type/ {print $15;c++}END{print c} ' filename.txt | sort -u

Answer 3

如果输出的大小不太适合内存，并且出于性能原因您不需要 wc 和 sort 命令并行工作，那么这里有一个相对简单的解决方案：

output=$(awk '$13 ~ /type/ {print $15}' filename.txt; echo a)
printf "%s" "${output%a}" | sort -u
printf "%s" "${output%a}" | wc -l

额外的 a 的复杂性是为了防止 awk 命令可能在输入末尾打印一些空行，其中 $() 构造将被剥离。您可以轻松选择 sort 或 wc 应首先出现。

---

这是一种适用于任何 POSIX shell（ash、bash、ksh、zsh...）的方法，但仅适用于具有 /dev/fd 的系统（其中包括相当新的 Linux、*BSD 和 Solaris） ）。就像Walter 的类似构造使用了 bash、ksh93 和 zsh 中可用的更简单方法，wc 的输出和 sort 的输出可能会混合。

{
  awk '$13 ~ /type/ {print $15}' filename.txt |
  tee /dev/fd3 |
  wc -l
} 3>&1 1>&3 | sort -u

---

如果您都需要处理不太适合内存的中间输出，并且不想将两个命令的输出混合在一起，我认为没有一种简单的方法POSIX shell，尽管它应该可以与 ksh 或 zsh 协进程一起使用。

Answer 4

您希望将 mkfifo 创建的命名管道与 tee 结合使用。示例位于 http://www.softpanorama.org/Tools/tee.shtml

Answer 5

我认为更大的问题是：您期望输出是什么？

如果你想做两件事，那就做两件事：

awk '$13 ~ /type/ {print $15}' filename.txt > tempfile
wc -l < tempfile
sort -u < tempfile
rm tempfile