拆分 gzip 压缩的日志文件而不将解压缩的拆分存储在磁盘上

Question

我有一个经常性的任务，即将一组大型（每个大约 1-2 GiB）gzip 压缩的 Apache 日志文件分成几个部分（比如 500K 行的块）。最终文件应再次压缩以限制磁盘使用。

在 Linux 上我通常会这样做：

zcat biglogfile.gz | split -l500000

生成的文件将被命名为 xaa、xab、xac 等 所以我这样做：

gzip x*

这种方法的效果是，作为中间结果，这些巨大文件被临时存储在磁盘上。有没有办法避免这种中间磁盘使用？

我可以（以类似于 xargs 的方式）通过命令（如 gzip）分割管道输出并即时重新压缩输出吗？ 或者我看错了方向，有没有更好的方法来做到这一点？

谢谢。

Answer 1

您可以使用 split --filter 选项，如 手册例如

zcat biglogfile.gz | split -l500000 --filter='gzip > $FILE.gz'

编辑：不知道何时引入--filter选项，但根据评论，它在core utils 8.4中不起作用。

Answer 2

像下面这样的脚本可能就足够了。

#!/usr/bin/perl
use PerlIO::gzip;

$filename = 'out';
$limit = 500000;

$fileno = 1;
$line = 0;

while (<>) {
    if (!$fh || $line >= $limit) { 
        open $fh, '>:gzip', "$filename_$fileno"; 
        $fileno++;
        $line = 0; 
    }
    print $fh $_; $line++;
}

Answer 3

如果人们需要保留每个部分中的第一行（标题），

zcat bigfile.csv.gz | tail -n +2 | split -l1000000 --filter='{ { zcat bigfile.csv.gz | head -n 1 | gzip; gzip; } > $FILE.gz; };'

我知道这有点笨拙。我正在寻找更优雅的解决方案。

Answer 4

有 zipsplit，但它使用 zip 算法而不是 gzip 算法。