如何使用 Perl 即时写入压缩文件？

Question

我正在使用 Perl 生成相对较大的文件。我生成的文件有两种：

1. 表格文件，即我逐行（逐行）打印的文本文件，其中主要包含数字。典型的行如下所示：

   126891 126991 14545 12

2. 我创建的序列化对象，然后使用 Storable::nstore 存储到文件中。这些对象通常包含一些带有数值的大型散列。对象中的值可能已被打包以节省空间（并且对象在使用前解压每个值）。

目前我通常会执行以下操作：

use IO::Compress::Gzip qw(gzip $GzipError);

# create normal, uncompressed file ($out_file)
# ...

# compress file using gzip
my $gz_out_file = "$out_file.gz";
gzip $out_file => $gz_out_file or die "gzip failed: $GzipError";

# delete uncompressed file
unlink($out_file) or die "can't unlink file $out_file: $!";

这是非常低效的，因为我首先将大文件写入磁盘，然后再次读取它并压缩它。所以我的问题如下：

1. 我可以在不先将文件写入磁盘的情况下创建压缩文件吗？是否可以按顺序创建压缩文件，即像前面描述的场景 (1) 那样逐行打印？

2. Gzip 听起来是一个合适的选择吗？ a对于我所描述的数据类型，还有其他推荐的压缩器吗？

3. 将值打包到稍后存储和压缩的对象中有意义吗？

我的考虑主要是节省磁盘空间并允许稍后快速解压。

Answer 1

1. 您可以使用 IO::Zlib 或 PerlIO::gzip 绑定文件句柄以进行动态压缩。

2. 至于哪种压缩器合适，只需尝试几种压缩器，看看它们对您的数据的处理效果如何。还要留意它们用于压缩和解压缩的 CPU/内存量。

3. 再次测试一下 pack 对您的数据有多大帮助，以及如何帮助它会极大地影响你的表现。在某些情况下，这可能会有所帮助。在其他情况下，可能不会。这实际上取决于您的数据。

Answer 2

您还可以 open() 标量而不是真实文件的文件句柄，并将此文件句柄与 IO::Compress::Gzip 一起使用。还没有实际尝试过，但应该有效。我使用与 Net::FTP 类似的东西来避免在磁盘上创建文件。

从 v5.8.0 开始，Perl 默认使用 PerlIO 构建。除非您更改了此设置（即，Configure -Uuseperlio），否则您可以通过以下方式直接打开 Perl 标量的文件句柄：

open($fh, '>', \$variable) || ..

来自 open()

Answer 3

IO::Compress::Zlib 有一个可用于此目的的 OO 接口。

use strict;  
use warnings;
use IO::Compress::Gzip;

my $z = IO::Compress::Gzip->new('out.gz');
$z->print($_, "\n") for 0 .. 10;