通过管道将多个文件 (gz) 传送到 C 程序中

Question

我编写了一个 C 程序，当我使用标准输入将数据通过管道传输到我的程序中时，该程序可以工作：

gunzip -c IN.gz|./a.out

如果我想在文件列表上运行我的程序，我可以这样做：

for i `cat list.txt`
do
  gunzip -c $i |./a.out
done

但这将启动我的程序“文件数”次。 我有兴趣将所有文件通过管道传输到同一进程运行中。

喜欢做

for i `cat list.txt`
do
  gunzip -c $i >>tmp
done
cat tmp |./a.out

我该怎么做？

Answer 1

不需要 shell 循环：

gzip -cd $(<list.txt) | ./a.out

使用“-cd”选项，gzip 会将文件列表解压缩到标准输出（或者您可以使用“gunzip -c” '）。 $( 表示法将指定文件的内容扩展为参数列表，而无需启动子进程。否则它相当于 $(cat list.txt) 。

但是，如果您觉得必须使用循环，则只需将循环的输出通过管道传输到程序的单个实例中：

for i in `cat list.txt`
do
    gunzip -c $i
done |
./a.out

如果循环的内容更复杂（比简单地压缩单个文件），这可能是必要的。您还可以使用“{ ... }”I/O 重定向：

{
cat /etc/passwd /etc/group
for i in `cat list.txt`
do
    gunzip -c $i
done
} |
./a.out

或者：

{
cat /etc/passwd /etc/group
for i in `cat list.txt`
do
    gunzip -c $i
done; } |
./a.out

注意分号；需要带牙套。在这个例子中，它本质上与使用带括号的正式子 shell 相同：

(
cat /etc/passwd /etc/group
for i in `cat list.txt`
do
    gunzip -c $i
done
) |
./a.out

或者：

( cat /etc/passwd /etc/group
  for i in `cat list.txt`
  do
      gunzip -c $i
  done) |
./a.out

注意这里没有分号；不需要。外壳有时会非常狡猾。当您需要在管道符号之后对命令进行分组时，大括号 I/O 重定向会很有用：

some_command arg1 arg2 |
{
first sub-command
second command
for i in $some_list
do
    ...something with $i...
done
} >$outfile 2>$errfile

Answer 2

您应该能够通过一个 gunzip 进程解压缩多个文件。

zcat $(cat list.txt) | ./a.out

（zcat 是在许多系统上调用 gunzip -c 的另一种方式，并显示与 cat 的相似之处；但请检查 gzcat 如果您的系统的 zcat 实际上是uncompress。）

或者您可以使用子 shell。

(
  for i in $(cat list.txt)
  do
    gunzip -c "$i"
  done
) | ./a.out

Answer 3

这是一个空壳问题。但据我所知你可以这样做：

cat file* | your_program

或者

for i in file*; do gunzip -c $i; done | your_program

Answer 4

xargs 是你的朋友

% cat list.txt | xargsgunzip -c | xargs ./a.out

如果 list.txt 中的文件中有空格，那么您需要进行一些额外的操作。

Answer 5

如果您的程序不需要知道特定输入何时结束而另一个输入何时开始，您可以这样做：

for i `cat list.txt`
do
  gunzip -c $i
done |./a.out

我希望它会对您有所帮助
问候