组合 MD5 哈希值

Question

在计算大文件上的单个 MD5 校验和时，通常使用什么技术将各个 MD5 值组合成单个值？你只是把它们加在一起吗？我对任何特定的语言、库或 API 并不真正感兴趣；相反，我只对其背后的技术感兴趣。有人可以解释它是如何完成的吗？

给出以下伪代码算法：

MD5Digest X
for each file segment F
   MD5Digest Y = CalculateMD5(F)
   Combine(X,Y)

但是 Combine 到底会做什么？它将两个 MD5 摘要添加在一起，还是什么？

Answer 1

为了计算太大而无法放入内存的文件的 MD5 值

考虑到这一点，您不想“组合”两个 MD5 哈希值。对于任何 MD5 实现，您都会有一个保留当前校验和状态的对象。因此，您可以随时提取 MD5 校验和，这在对具有相同开头的两个文件进行哈希处理时非常方便。对于大文件，您只需继续输入数据 - 一次或分块散列文件没有什么区别，因为状态会被记住。在这两种情况下，您都会得到相同的哈希值。

Answer 2

MD5是一种迭代算法。您不需要计算大量的小 MD5，然后以某种方式将它们组合起来。您只需读取文件的小块，然后将它们添加到摘要中，因此您不必将整个文件一次性保存在内存中。这是一个java实现。

FileInputStream f = new FileInputStream(new File("bigFile.txt"));
MessageDigest digest = MessageDigest.getInstance("md5");
byte[] buffer = new byte[8192];
int len = 0;
while (-1 != (len = f.read(buffer))) {
   digest.update(buffer,0,len);
}
byte[] md5hash = digest.digest();

等等瞧。您拥有整个文件的 MD5，而无需将整个文件一次性存储在内存中。

值得注意的是，如果由于某种原因您确实需要文件各部分的 MD5 哈希值（这有时对于通过低带宽连接传输的大文件进行临时检查很有用），那么您可以通过克隆来获取它们随时更新摘要对象，如下所示

byte[] interimHash = ((MessageDigest)digest.clone()).digest();

这不会影响实际的摘要对象，因此您可以继续使用整体 MD5 哈希值。

还值得注意的是，MD5 是用于加密目的（例如验证来自不受信任来源的文件真实性）的过时哈希值，在大多数情况下应替换为更好的哈希值，例如 SHA-1。对于非加密目的，例如验证两个可信源之间的文件完整性，MD5 仍然足够。

Answer 3

AndiDog 的答案的 Python 2.7 示例。文件 123.txt 有多行。

>>> import hashlib
>>> md5_A, md5_B, md5_C = hashlib.md5(), hashlib.md5(), hashlib.md5()
>>> with open('123.txt', 'r') as f_r:
...     md5_A.update(f_r.read()) # read whole contents
... 
>>> with open('123.txt', 'r') as f_r:
...     for line in f_r: # read file line by line
...         md5_B.update(line)
... 
>>> with open('123.txt', 'r') as f_r:
...     while True: # read file chunk by chunk
...         chunk = f_r.read(10)
...         if not chunk: break
...         md5_C.update(chunk)
... 
>>> md5_A.hexdigest()
'5976ddfa19bc2e1669ac3bd836101f58'
>>> md5_B.hexdigest()
'5976ddfa19bc2e1669ac3bd836101f58'
>>> md5_C.hexdigest()
'5976ddfa19bc2e1669ac3bd836101f58'

对于内存无法容纳的大文件，可以逐行或逐块读取。 MD5 的一种用途是当 diff 命令失败时比较两个大文件。

Answer 4

openSSL 库允许您将数据块添加到正在进行的哈希 (sha1/md5) 中，然后当您完成添加所有数据后，您可以调用 Final 方法，它将输出最终哈希。

您不需要计算每个单独块的 md5，然后添加它，而是将数据添加到 openssl 库中正在进行的哈希方法中。然后，这将为您提供所有单个数据块的 md5 哈希值，对输入数据大小没有限制。

http://www.openssl.org/docs/crypto/md5.html#< /a>

Answer 5

这个问题没有多大意义，因为 MD5 算法接受任意长度的输入。一个像样的库应该具有功能，这样您就不必一次添加整个消息，因为消息被分解为按顺序散列的块，正在处理的块仅取决于前一个的结果散列环形。

维基百科文章中的伪代码应该概述该算法的工作原理。

Answer 6

大多数摘要计算实现允许您以较小的块的形式向它们提供数据。您无法以结果等于整个输入的 MD5 的方式组合多个 MD5 摘要。 MD5 会进行一些填充，并在最后阶段使用已处理的字节数，这使得原始引擎状态无法从最终摘要值恢复。

Answer 7

这是一种组合哈希的 C# 方法。让我们创建扩展方法来简化用户代码。

public static class MD5Append
{
    public static int Append(this MD5 md5, byte[] data)
    {
        return md5.TransformBlock(data, 0, data.Length, data, 0);
    }

    public static void AppendFinal(this MD5 md5, byte[] data)
    {
        md5.TransformFinalBlock(data, 0, data.Length);
    }
}

用法：

   using (var md5 = MD5CryptoServiceProvider.Create("MD5"))
        {
            md5.Initialize();

            var abcBytes = Encoding.Unicode.GetBytes("abc");
            md5.Append(abcBytes);
            md5.AppendFinal(abcBytes);

            var h1 = md5.Hash;

            md5.Initialize(); // mandatory
            var h2= md5.ComputeHash(Encoding.Unicode.GetBytes("abcabc"));

            Console.WriteLine(Convert.ToBase64String(h1));
            Console.WriteLine(Convert.ToBase64String(h2));
        }

h1和h2相同。就是这样。