如何生成文件的 MD5 校验和？

Question

有没有简单的方法可以在 Python 中生成（和检查）文件列表的 MD5 校验和？ （我正在开发一个小程序，我想确认文件的校验和）。

Answer 1

你可以使用 hashlib.md5()

注意，有时你会无法适应内存中的整个文件。在这种情况下，您必须顺序读取 4096 字节的块并将它们提供给 md5 方法：

import hashlib
def md5(fname):
    hash_md5 = hashlib.md5()
    with open(fname, "rb") as f:
        for chunk in iter(lambda: f.read(4096), b""):
            hash_md5.update(chunk)
    return hash_md5.hexdigest()

注意： hash_md5.hexdigest() 将返回摘要的十六进制字符串表示形式，如果您只需要打包字节，请使用return hash_md5.digest()，这样您就不必转换回来。

Answer 2

有一种内存效率低下的方法。

单个文件：

import hashlib
def file_as_bytes(file):
    with file:
        return file.read()

print hashlib.md5(file_as_bytes(open(full_path, 'rb'))).hexdigest()

文件列表：

[(fname, hashlib.md5(file_as_bytes(open(fname, 'rb'))).digest()) for fname in fnamelst]

不过请记住，MD5 已知已损坏，因此不应被损坏用于任何目的，因为漏洞分析可能非常棘手，并且分析代码将来可能用于解决安全问题的任何可能用途是不可能的。恕我直言，它应该从库中完全删除，这样每个使用它的人都被迫更新。因此，您应该这样做：

[(fname, hashlib.sha256(file_as_bytes(open(fname, 'rb'))).digest()) for fname in fnamelst]

如果您只想要 128 位的摘要，您可以执行 .digest()[:16]。

这将为您提供一个元组列表，每个元组包含其文件名及其哈希值。

我再次强烈质疑您对 MD5 的使用。您至少应该使用 SHA1，并且考虑到 最近在 SHA1 中发现的缺陷，可能还不是这样。有些人认为只要您不将 MD5 用于“加密”目的，就可以了。但事情的范围往往会比你最初预期的更广泛，而你的随意漏洞分析可能会被证明是完全有缺陷的。最好一开始就养成使用正确算法的习惯。只需输入一组不同的字母即可。这并不难。

这是一种更复杂的方法，但是内存效率高：

import hashlib

def hash_bytestr_iter(bytesiter, hasher, ashexstr=False):
    for block in bytesiter:
        hasher.update(block)
    return hasher.hexdigest() if ashexstr else hasher.digest()

def file_as_blockiter(afile, blocksize=65536):
    with afile:
        block = afile.read(blocksize)
        while len(block) > 0:
            yield block
            block = afile.read(blocksize)


[(fname, hash_bytestr_iter(file_as_blockiter(open(fname, 'rb')), hashlib.md5()))
    for fname in fnamelst]

而且，由于 MD5 已损坏并且不应该再使用：

[(fname, hash_bytestr_iter(file_as_blockiter(open(fname, 'rb')), hashlib.sha256()))
    for fname in fnamelst]

同样，您可以将 [:16]<如果您只需要 128 位的摘要，请在调用 hash_bytestr_iter(...) 之后使用 /code> 。

Answer 3

我显然没有添加任何根本性的新内容，但在我达到评论状态之前添加了这个答案，加上代码区域使事情变得更加清晰 - 无论如何，特别是从 Omnifarious 的答案中回答 @Nemo 的问题：

我碰巧在考虑稍微检查一下（特别是来这里寻找有关块大小的建议），并发现这种方法可能比您预期的要快。从对大约文件进行校验和的几种方法中的每一种中获取最快（但非常典型）timeit.timeit或/usr/bin/time结果。 11MB：

$ ./sum_methods.py
crc32_mmap(filename) 0.0241742134094
crc32_read(filename) 0.0219960212708
subprocess.check_output(['cksum', filename]) 0.0553209781647
md5sum_mmap(filename) 0.0286180973053
md5sum_read(filename) 0.0311000347137
subprocess.check_output(['md5sum', filename]) 0.0332629680634
$ time md5sum /tmp/test.data.300k
d3fe3d5d4c2460b5daacc30c6efbc77f  /tmp/test.data.300k

real    0m0.043s
user    0m0.032s
sys     0m0.010s
$ stat -c '%s' /tmp/test.data.300k
11890400

所以，看起来 Python 和 /usr/bin/md5sum 对于 11MB 文件大约需要 30 毫秒。相关的 md5sum 函数（上面清单中的 md5sum_read）与 Omnifarious 的非常相似：

import hashlib
def md5sum(filename, blocksize=65536):
    hash = hashlib.md5()
    with open(filename, "rb") as f:
        for block in iter(lambda: f.read(blocksize), b""):
            hash.update(block)
    return hash.hexdigest()

当然，这些来自单次运行（mmap 是当至少进行几十次运行时，总是会快一点），并且我的通常在缓冲区耗尽后得到一个额外的 f.read(blocksize) ，但它是相当可重复的，并且显示 命令行上的 md5sum 不一定比 Python 实现更快...

编辑：抱歉这么长时间的延迟，有一段时间没有看过这个了，但是为了回答 @EdRandall 的问题，我会写下来Adler32 实现。但是，我还没有为其运行基准测试。它基本上与 CRC32 相同：所有内容都是 zlib.adler32() 调用，而不是 init、update 和digest 调用：

import zlib
def adler32sum(filename, blocksize=65536):
    checksum = zlib.adler32("")
    with open(filename, "rb") as f:
        for block in iter(lambda: f.read(blocksize), b""):
            checksum = zlib.adler32(block, checksum)
    return checksum & 0xffffffff

请注意，这必须以空字符串开始，因为阿德勒总和从零开始与 "" 的总和（即 1）确实不同——CRC 可以从 0 开始。需要使用 AND-ing 使其成为 32 位无符号整数，这确保它在各个 Python 版本中返回相同的值。

Answer 4

在 Python 3.8+ 中，您可以使用 赋值运算符 := （以及hashlib) 像这样：

import hashlib
with open("your_filename.txt", "rb") as f:
    file_hash = hashlib.md5()
    while chunk := f.read(8192):
        file_hash.update(chunk)

print(file_hash.digest())
print(file_hash.hexdigest())  # to get a printable str instead of bytes

---

考虑使用 hashlib .blake2b 而不是 md5（只需将上面代码片段中的 md5 替换为 blake2b）。它具有加密安全性，并且比 MD5 更快。

Answer 5

hashlib.md5(pathlib.Path('path/to/file').read_bytes()).hexdigest()

Answer 6

在 Python 3.11+ 中，有一个新的可读和节省内存的方法：

import hashlib
with open(path, "rb") as f:
    digest = hashlib.file_digest(f, "md5")
print(digest.hexdigest())

Answer 7

您可以使用 simple-file-checksum¹，仅使用 subprocess 调用 openssl（适用于 macOS/Linux 和 CertUtil（适用于 Windows）并仅提取输出摘要：

安装：

pip install simple-file-checksum

用法：

>>> from simple_file_checksum import get_checksum
>>> get_checksum("path/to/file.txt")
'9e107d9d372bb6826bd81d3542a419d6'
>>> get_checksum("path/to/file.txt", algorithm="MD5")
'9e107d9d372bb6826bd81d3542a419d6'

还支持 SHA1、SHA256、SHA384 和 SHA512 算法。

---

¹ 披露：我是 simple-file 的作者-校验和。

Answer 8

将 file_path 更改为您的文件

import hashlib
def getMd5(file_path):
    m = hashlib.md5()
    with open(file_path,'rb') as f:
        lines = f.read()
        m.update(lines)
    md5code = m.hexdigest()
    return md5code

Answer 9

你可以在这里使用 shell。

from subprocess import check_output

#for windows & linux
hash = check_output(args='md5sum imp_file.txt', shell=True).decode().split(' ')[0]

#for mac
hash = check_output(args='md5 imp_file.txt', shell=True).decode().split('=')[1]