关于Linux管道实现的问题

Question

求教一下一个关于Linux管道的问题
例如 cat a.log | head 这条命令
如果a.log 大小为1T，那么这条命令是怎么执行的？

head打印出头十行之后，cat这个程序是怎么执行的？
未写入管道的数据去了哪里？cat是怎么结束的？是怎么实现的？

Answer 1

这实际跟你所用的 shell 有关，拿常用的 bash 来说：

1. 管道命令的执行：新开一个子进程 1 运行 cat a.log，开另外一个进程 2 运行 head，并创建一个无名管道，将 1 的标准输出重定向给管道的 写端，将 2 的标准输入重定向到管道的读端；shell 会等待所有命令执行完才返回。
2. 根据 上面 所说，head 退出后，cat 该怎么执行还怎么执行
3. 所有数据都写入管道了，但当 shell 把管道的所有引用都关闭的时候，数据就被 drop 掉了；cat 运行完就结束了；当然是使用 系统调用 pipe 来实现的啊

Answer 2

建议你看看/proc/${pid}/文件夹下的内容就明白了，你就立刻会对linux的管道实现有一个更明确的认识。

你启动程序之后，想办法抓一下你的pid(比如另开一个终端使用ps aux | grep的方式)，然后去对应pid下的文件夹，就能看到管道是怎么实现这个操作的了。

管道的设计就是最基本的流式处理，你看看目前比较流行的流式处理框架，基本都借鉴了管道的设计思想

Answer 3

Linux pipe 是通过缓存 buffer 实现的. 和现实的管道也很相似,FIFO 模式,先进的先出, 管道本身有一定的容积, 在缓存未满时,读写都不受影响, 但 buffer 满时, 写便会阻塞. 直到空出地方再次可以写才行. 但 buffer 大小又与系统实现有关, 不同系统也不一样, 同一系统也可能动态变化.

bash下可以通过下面的脚本测试 buffer 大小

M=0; while printf A; do >&2 printf "\r$((++M)) B"; done | sleep 999