Python 中的压缩编解码器如何工作？

Question

我正在查询数据库并使用 Python 归档结果，并且在将数据写入日志文件时尝试压缩数据。不过，我遇到了一些问题。

我的代码如下所示：

log_file = codecs.open(archive_file, 'w', 'bz2')
for id, f1, f2, f3 in cursor:
    log_file.write('%s %s %s %s\n' % (id, f1 or 'NULL', f2 or 'NULL', f3))

但是，我的输出文件的大小为 1,409,780。在该文件上运行 bunzip2 会产生大小为 943,634 的文件，并在该文件上运行 bzip2 会产生大小为 217,275 的文件。换句话说，未压缩的文件明显小于使用 Python 的 bzip 编解码器压缩的文件。 除了在命令行上运行 bzip2 之外，还有其他方法可以解决此问题吗？

我尝试了 Python 的 gzip 编解码器（将行更改为 codecs.open(archive_file, 'a+', 'zip')) 看看它是否解决了问题。我仍然会收到大文件，但当我尝试解压缩文件时，也会收到 gzip: archive_file: not in gzip format 错误。 那里发生了什么？

---

编辑：我最初以追加模式而不是写入模式打开文件。虽然这可能是问题，也可能不是问题，但如果文件以“w”模式打开，问题仍然存在。

Answer 1

正如其他发帖者所指出的，问题在于 编解码器 库不使用增量编码器来编码数据；相反，它将馈送到 write 方法的每个数据片段编码为压缩块。这是非常低效的，对于一个设计用于流的库来说，这是一个糟糕的设计决策。

讽刺的是，Python 中已经内置了一个完全合理的增量 bz2 编码器。创建一个自动执行正确操作的“类似文件”类并不困难。

import bz2

class BZ2StreamEncoder(object):
    def __init__(self, filename, mode):
        self.log_file = open(filename, mode)
        self.encoder = bz2.BZ2Compressor()

    def write(self, data):
        self.log_file.write(self.encoder.compress(data))

    def flush(self):
        self.log_file.write(self.encoder.flush())
        self.log_file.flush()

    def close(self):
        self.flush()
        self.log_file.close()

log_file = BZ2StreamEncoder(archive_file, 'ab')

警告：在此示例中，我以追加模式打开了文件；将多个压缩流附加到单个文件与 bunzip2 完美配合，但 Python 本身无法处理它（尽管有 是它的一个补丁）。如果您需要将创建的压缩文件读回 Python，请坚持每个文件一个流。

Answer 2

问题似乎是在每个 write() 上写入输出。这会导致每一行被压缩在自己的 bzip 块中。

在将其写入文件之前，我会尝试在内存中构建一个更大的字符串（或字符串列表，如果您担心性能）。合适的大小是 900K（或更大），因为这是 bzip2 使用的块大小

Answer 3

该问题是由于您使用附加模式造成的，这会导致文件包含多个压缩数据块。看这个例子：

>>> import codecs
>>> with codecs.open("myfile.zip", "a+", "zip") as f:
>>>     f.write("ABCD")

在我的系统上，这会生成一个大小为 12 字节的文件。让我们看看它包含什么：

>>> with codecs.open("myfile.zip", "r", "zip") as f:
>>>     f.read()
'ABCD'

好的，现在让我们以追加模式进行另一次写入：

>>> with codecs.open("myfile.zip", "a+", "zip") as f:
>>>     f.write("EFGH")

该文件现在大小为 24 字节，其内容为：

>>> with codecs.open("myfile.zip", "r", "zip") as f:
>>>     f.read()
'ABCD'

这里发生的情况是 unzip 需要单个压缩流。您必须检查规范以了解多个串联流的官方行为，但根据我的经验，他们处理第一个流并忽略其余数据。这就是 Python 所做的。

我希望bunzip2 也在做同样的事情。因此，实际上您的文件是压缩的，并且比它包含的数据小得多。但是当您通过bunzip2运行它时，您只能返回写入其中的第一组记录；其余的被丢弃。

Answer 4

我不确定这与编解码器的方式有多大不同，但如果您使用 gzip 模块中的 GzipFile，您可以增量附加到文件，但它不会压缩得很好，除非您在某个位置写入大量数据。时间（可能> 1 KB）。这就是压缩算法的本质。如果您正在写入的数据不是非常重要（即，如果您的进程终止，您可以处理丢失它的情况），那么您可以编写一个缓冲的 GzipFile 类来包装导入的类，该类会写出更大的数据块。