大量文件串联

Question

我的目录中有大约 3-4 百万个文件，文件名以 type1.txt、type2.txt 结尾。 （文件为 1type1.txt、1type2.txt、2type2.txt、2type2 .txt 等）

现在我想连接所有以 type1.txt & 结尾的文件类型2.txt。

目前我正在做 cat *type1.txt > allTtype1.txt 与 type2.txt 类似。 我想保留两个最终输出文件中的顺序，我猜测 cat 会这样做。 但速度太慢了。

请建议一些更快的方法来执行相同的操作。

谢谢， 拉维

Answer 1

你可以使用这个命令来做到这一点：

ls | while read file; do cat $file >> allTtype${file#*type}; done

但是正如snap在他的回答中所说的那样，每次cat需要打开一个文件时，它都必须进行inode查找，这将在目录中花费很长时间有很多文件。为了加快速度，您可以使用 icat 从 < a href="http://www.sleuthkit.org/sleuthkit/" rel="noreferrer">Sleuth Kit：

ls -i | while read -a file_array; do icat /dev/sda1 ${file_array[0]} >> allTtype${file_array[1]#*type}; done

更好的是，您可以将生成的文件放在另一个目录中：

ls -i | while read -a file_array; do icat /dev/sda1 ${file_array[0]} >> /newdir/allTtype${file_array[1]#*type}; done

Answer 2

cat 本身并不慢。但每次展开 shell 通配符（? 和 *）时，shell 都会读取并搜索该目录中的所有文件名，这非常慢。

此外，当您按名称打开文件时，内核将花费一些时间来查找该文件，这是您无法避免的。这取决于所使用的文件系统（问题中未指定）：某些文件系统比其他文件系统更智能地处理巨大的目录。

要解决这个问题，您可能会受益于获取文件列表一次：

ls > /tmp/filelist

...然后使用grep或类似的方法从该列表中选择文件：

cat `grep foo /tmp/filelist` > /out/bar

排序后如果出现这种情况，请确保以这样的方式构建您的存储/应用程序，以免再次发生这种情况。 :) 在取出文件后，还要确保rmdir到现有目录（即使其中只有一个文件，出于任何目的再次使用它也不会有效）。