将文件的最后 n 行添加到 tar/zip

Question

我需要定期发送一组可能会变得非常大的日志文件，因此我只想发送每个文件的最后 n 行。

例如：

/usr/local/data_store1/file.txt (500 lines)
/usr/local/data_store2/file.txt (800 lines)

给定一个包含名为 files.txt 的所需文件列表的文件，我想使用每个文件的最后 100 行创建一个存档（tar 或 zip）。

我可以通过使用尾部文件创建一个单独的目录结构来做到这一点，但这似乎是浪费资源，因为可能有一些管道魔法可以完成它。 还必须保留完整的目录结构，因为文件在不同的目录中可以具有相同的名称。

如果可能的话，我希望解决方案是 shell 脚本，但是 perl （不添加模块）也是可以接受的（这是针对没有安装 ruby​​/python/etc.. 的 Solaris 机器。）

Answer 1

您可以尝试

tail -n 10 your_file.txt | while read line; do zip /tmp/a.zip $line; done

其中 a.zip 是 zip 文件，10 是 n 或

tail -n 10 your_file.txt | xargs tar -czvf test.tar.gz --

tar.gz

Answer 2

您专注于特定的实施，而不是着眼于更大的前景。

如果最终目标是在目标计算机上拥有文件的精确副本，同时最大限度地减少传输的数据量，那么您应该使用 rsync，它会自动仅发送文件中已更改的部分，并且还可以在同时自动压缩文件。发送时并在接收时解压缩。

与标准 sshd 相比，运行 rsync 不需要在目标计算机上安装更多守护进程，并且要设置无需密码的自动传输，您只需要使用公钥身份验证。

Answer 3

没有管道魔法可以做到这一点，您必须创建所需的文件夹结构并将其压缩。

mkdir tmp
for i in /usr/local/*/file.txt; do
    mkdir -p "`dirname tmp/${i:1}`"
    tail -n 100 "$i" > "tmp/${i:1}"
done
zip -r zipfile tmp/*

Answer 4

使用logrotate。

查看 /etc/logrotate.d 内部的示例。

Answer 5

为什么不将日志文件放入 SCM 中？

您的接收者在他的计算机上创建一个存储库，通过检出文件来检索文件。

您只需提交文件即可发送它们。 仅传输差异。