在 Python 中解压 .bz2 文件

Question

所以，这是一个看似简单的问题，但我显然非常非常迟钝。 我有一个小脚本，可以从网页下载所有 .bz2 文件，但由于某种原因，该文件的解压缩让我非常头疼。

我是一个Python新手，所以答案可能很明显，请帮助我。

在脚本的这段中，我已经有了该文件，我只想将其读出到一个变量中，然后解压缩它？ 是对的吗？ 我尝试了各种方法来做到这一点，我通常会在此片段的最后一行收到“ValueError：找不到流结束”错误。 我尝试打开 zip 文件并以无数种不同的方式将其写入字符串。 这是最新的。

openZip = open(zipFile, "r")
s = ''
while True:
    newLine = openZip.readline()
    if(len(newLine)==0):
       break
    s+=newLine
    print s                   
    uncompressedData = bz2.decompress(s)

嗨，亚历克斯，我应该列出我尝试过的所有其他方法，因为我已经尝试过 read() 方式。

方法 A：

print 'decompressing ' + filename

fileHandle = open(zipFile)
uncompressedData = ''

while True:            
    s = fileHandle.read(1024)
    if not s:
        break
        print('RAW "%s"', s)
        uncompressedData += bz2.decompress(s)

        uncompressedData += bz2.flush()

        newFile = open(steamTF2mapdir + filename.split(".bz2")[0],"w")
        newFile.write(uncompressedData)
        newFile.close()   

我收到错误：

uncompressedData += bz2.decompress(s)
ValueError: couldn't find end of stream

方法 B

zipFile = steamTF2mapdir + filename
print 'decompressing ' + filename
fileHandle = open(zipFile)

s = fileHandle.read()
uncompressedData = bz2.decompress(s)

相同的错误：

uncompressedData = bz2.decompress(s)
ValueError: couldn't find end of stream

非常感谢您的及时回复。 我真的很用头撞墙，因为无法解压一个简单的 .bz2 文件而感到异常沉重。

顺便说一句，使用 7zip 手动解压它，以确保文件没有问题或任何问题，并且解压正常。

Answer 1

这非常有帮助。
在 Windows 打开时，2300 个文件中有 44 个出现文件结尾丢失错误。
添加 b(inary) 标志来打开修复了问题。

for line in bz2.BZ2File(filename, 'rb', 10000000) :

效果很好。 （10M 是适合处理大文件的缓冲大小）

谢谢！

Answer 2

openZip = open(zipFile, "r")

如果您在 Windows 上运行，您可能需要在此处输入 openZip = open(zipFile, "rb") 因为该文件可能包含 CR /LF 组合，并且您不希望它们被翻译。

newLine = openZip.readline()

正如 Alex 指出的，这是非常错误的，因为“行”的概念对于压缩流来说是陌生的。

s = fileHandle.read(1024)
[...]
uncompressedData += bz2.decompress(s)

出于同样的原因，这是错误的。 1024 字节的块对于解压缩器来说可能没有多大意义，因为它需要使用自己的块大小。

s = fileHandle.read()
uncompressedData = bz2.decompress(s)

如果这不起作用，我会说这是我上面提到的换行转换问题。

Answer 3

您打开并读取压缩文件，就像它是由行组成的文本文件一样。 不！ 它不是。

uncompressedData = bz2.BZ2File(zipFile).read()

似乎更接近你想要的东西。

编辑：OP展示了他尝试过的更多东西（尽管我没有看到任何关于尝试过最佳方法的注释——我上面推荐的一句话！）但它们似乎都有一个共同的错误，我重复上面的关键部分：

打开...压缩文件，就像
它是一个文本文件......它不是。

open(filename) 甚至更明确的 open(filename, 'r') 打开一个文本文件——一个压缩的文件以供读取file 是一个二进制文件，因此为了正确读取它，您必须使用open(filename, 'rb') 打开它。 （（当然，我推荐的 bz2.BZ2File 知道它正在处理压缩文件，因此无需再告诉它任何内容））。

在 Python 2.* 中，在 Unix-y 系统（即除 Windows 之外的所有系统）上，您可以随意使用 open （但在 Python 3.* 你不能，因为文本是 Unicode，而二进制是字节——不同的类型）。

在 Windows 中（以及在此之前的 DOS 中），区分始终是必不可少的，因为由于历史原因，Windows 的文本文件很特殊（使用两个字节而不是一个字节来结束行，并且至少在某些情况下，占用一个字节值 '\0x1A' 表示文件的逻辑结束），因此读写低级代码必须进行补偿。

因此，我怀疑 OP 使用的是 Windows，并且因为不小心使用内置的 open 选项（“读取二进制文件”）而付出了代价。 （尽管 bz2.BZ2File 仍然更简单，无论您使用什么平台！-）。