向数千个文件添加 trec 格式标签

Question

我需要在目录中的数千个文件中添加诸如文件文本之类的标签，我尝试使用 cat 并将其输出到文件流，

for file in *
do
cat ../gau > temp;  //gau contain format i need to append in each file
echo $file >>temp;
cat ../gau_ >>temp ;//contains </DOCID>
cat $file >>temp;  
cat ../gau1  >> temp;  //this contain last sentence </DOC>
cat temp > $file
done

但这样做非常慢，请告诉我一种更好、更有效的方法来做到这一点。 os 不可能使用 c 来完成。我们如何批量打开文件，然后处理它们并放回，因为它可以加快这个过程，因为我认为打开和写入文件是瓶颈。

由于我们时间紧迫，是否有预制程序（高效且快速）来完成这项工作。

Answer 1

这是一个快速的Python代码，试试吧，它会比你的批处理脚本执行得更快：

import os

for dirname, dirnames, filenames in os.walk('/MY_DIRECTORY/'):
    for filename in filenames:
        with open(os.path.join(dirname, filename), "r+") as f:
             str = f.read() # read everything in the file
             f.seek(0) # rewind
             f.write("Prepended text tags" + str) # write the new line before
             f.close()

不过我还没有尝试过。

Answer 2

不要 cat temp > $file，只需mv temp $file——您不需要重写文件，只需重命名即可。这肯定是性能不佳的原因之一

for file in *; do
  { cat ../gau; echo $file; cat ../gau_ $file ../gau1; } > temp
  mv temp $file
done

。您可能需要选择比“gau”、“gau_”和“gau1”更具描述性的文件名。