如何判断文件是否经过 gzip 压缩？

Question

我有一个 Python 程序，它将接受文本文件作为输入。但是，其中一些文件可能是 gzip 压缩的。

有没有一种跨平台的、可从Python使用的方法来确定文件是否是gzip压缩的？

以下内容是否可靠，或者普通文本文件“意外地”看起来像 gzip 足以让我得到误报？

try:
    gzip.GzipFile(filename, 'r')
    # compressed
    # ...
except:
    # not compressed
    # ...

Answer 1

有没有一种跨平台的、可从Python使用的方法来确定文件是否是gzip压缩的？

接受的答案解释了如何检测一般的gzip压缩文件：测试前两个字节是否<代码>1f 8b。但它没有展示如何在 Python 中实现它。

这是一种方法：

def is_gz_file(filepath):
    with open(filepath, 'rb') as test_f:
        return test_f.read(2) == b'\x1f\x8b'

Answer 2

gzip 压缩文件的幻数是1f 8b.尽管对此进行的测试并非 100% 可靠，但“普通文本文件”不太可能以这两个字节开头 — 在 UTF-8 中，它甚至不合法。

通常 gzip 压缩文件带有后缀 .gz。即使gzip(1)本身也不会在没有它的情况下解压文件，除非你--force它。你可以想象使用它，但你仍然必须处理可能的 IOError （无论如何你都必须这样做）。

您的方法的一个问题是，如果您向 gzip.GzipFile() 提供未压缩的文件，则该 gzip.GzipFile() 不会引发异常。只有稍后的 read() 才会。这意味着，您可能必须两次实现某些程序逻辑。丑陋的。

Answer 3

测试 gzip 文件的幻数是唯一可靠的方法。然而，从 python3.7 开始，您不再需要自己去比较字节了。 gzip 模块将为您比较字节，如果不匹配则引发异常！

从 python3.7 开始，这也有效

import gzip
with gzip.open(input_file, 'r') as fh:
    try:
        fh.read(1)
    except OSError:
        print('input_file is not a valid gzip file by OSError')

从 python3.8 开始，这也有效：

import gzip
with gzip.open(input_file, 'r') as fh:
    try:
        fh.read(1)
    except gzip.BadGzipFile:
        print('input_file is not a valid gzip file by BadGzipFile')

Answer 4

如果它不是 gzip 压缩文件，gzip 本身会引发 OSError。

>>> with gzip.open('README.md', 'rb') as f:
...     f.read()
...
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
  File "/Users/dennis/.asdf/installs/python/3.6.6/lib/python3.6/gzip.py", line 276, in read
    return self._buffer.read(size)
  File "/Users/dennis/.asdf/installs/python/3.6.6/lib/python3.6/gzip.py", line 463, in read
    if not self._read_gzip_header():
  File "/Users/dennis/.asdf/installs/python/3.6.6/lib/python3.6/gzip.py", line 411, in _read_gzip_header
    raise OSError('Not a gzipped file (%r)' % magic)
OSError: Not a gzipped file (b'# ')

可以将此方法与其他方法结合起来以增加信心，例如检查 mimetype 或在文件头中查找幻数（请参阅其他答案的示例）并检查扩展名。

import pathlib

if '.gz' in pathlib.Path(filepath).suffixes:
   # some more inexpensive checks until confident we can attempt to decompress
   # ...
   try ...
     ...
   except OSError as e:
     ...

Answer 5

导入 mimetypes 模块。
它可以自动猜测您拥有什么类型的文件，以及它是否被压缩。

即

mimetypes.guess_type('blabla.txt.gz')

返回：(

'text/plain', 'gzip')

Answer 6

在 python3 中似乎不能很好地工作...

import mimetypes
filename = "./datasets/test"

def file_type(filename):
    type = mimetypes.guess_type(filename)
    return type
print(file_type(filename))

返回 (None, None)
但是从unix命令“文件”

：~>文件数据集/测试
数据集/测试：gzip 压缩数据，是“iostat_collection”，来自 Unix，最后修改：2015 年 1 月 29 日星期四 07:09:34