可以使用缓冲读取来计算 MD5（或其他）哈希值吗？

Question

我需要计算相当大的文件（千兆字节）的校验和。这可以使用以下方法来完成：

    private byte[] calcHash(string file)
    {
        System.Security.Cryptography.HashAlgorithm ha = System.Security.Cryptography.MD5.Create();
        FileStream fs = new FileStream(file, FileMode.Open, FileAccess.Read);
        byte[] hash = ha.ComputeHash(fs);
        fs.Close();
        return hash;
    }

但是，文件通常是预先以缓冲方式写入的（例如一次写入 32mb）。我确信我看到了哈希函数的重写，它允许我在写入的同时计算 MD5（或其他）哈希，即：计算一个缓冲区的哈希，然后将生成的哈希输入下一次迭代。

像这样的东西：（伪代码式）

byte [] hash = new byte [] { 0,0,0,0,0,0,0,0 };
while(!eof)
{
   buffer = readFromSourceFile();
   writefile(buffer);
   hash = calchash(buffer, hash);
}

哈希现在类似于通过在整个文件上运行 calcHash 函数来完成的操作。

现在，我在 .Net 3.5 Framework 中找不到任何类似的覆盖，我是在做梦吗？它从来没有存在过，还是我只是不擅长搜索？一次进行写入和校验和计算的原因是因为由于文件很大，所以这是有意义的。

Answer 1

您可以使用 TransformBlock 和 TransformFinalBlock 方法来处理块中的数据。

// Init
MD5 md5 = MD5.Create();
int offset = 0;

// For each block:
offset += md5.TransformBlock(block, 0, block.Length, block, 0);

// For last block:
md5.TransformFinalBlock(block, 0, block.Length);

// Get the has code
byte[] hash = md5.Hash;

注意：它可以（至少与 MD5 提供程序一起）将所有块发送到 TransformBlock，然后将空块发送到 TransformFinalBlock 来完成该过程。

Answer 2

我喜欢上面的答案，但为了完整起见，并且作为更通用的解决方案，请参阅 CryptoStream 类。如果您已经在处理流，则可以轻松地将流包装在 CryptoStream 中，并将 HashAlgorithm 作为 ICryptoTransform 参数传递。

var file = new FileStream("foo.txt", FileMode.Open, FileAccess.Write);
var md5 = MD5.Create();
var cs = new CryptoStream(file, md5, CryptoStreamMode.Write);
while (notDoneYet)
{
    buffer = Get32MB();
    cs.Write(buffer, 0, buffer.Length);
}
System.Console.WriteLine(BitConverter.ToString(md5.Hash));

您可能必须在获取哈希之前关闭流（以便 HashAlgorithm 知道它已完成）。

Answer 3

似乎您可以使用 TransformBlock / TransformFinalBlock，如本示例所示：散列大文件时显示进度更新

Answer 4

哈希算法预计可以处理这种情况，并且通常使用 3 个函数来实现：

hash_init() - 调用以分配资源并开始哈希。
hash_update() - 在新数据到达时调用它。
hash_final() - 完成计算并释放资源。

查看http://www.openssl.org/docs/crypto/md5.html 或 http://www.openssl.org/docs/crypto/sha.html 提供良好的标准 C 示例；我确信您的平台有类似的库。

Answer 5

我只需要做类似的事情，但想异步读取文件。它使用 TransformBlock 和 TransformFinalBlock 并给我与 Azure 一致的答案，所以我认为它是正确的！

private static async Task<string> CalculateMD5Async(string fullFileName)
{
  var block = ArrayPool<byte>.Shared.Rent(8192);
  try
  {
     using (var md5 = MD5.Create())
     {
         using (var stream = new FileStream(fullFileName, FileMode.Open, FileAccess.Read, FileShare.Read, 8192, true))
         {
            int length;
            while ((length = await stream.ReadAsync(block, 0, block.Length).ConfigureAwait(false)) > 0)
            {
               md5.TransformBlock(block, 0, length, null, 0);
            }
            md5.TransformFinalBlock(block, 0, 0);
         }
         var hash = md5.Hash;
         return Convert.ToBase64String(hash);
      }
   }
   finally
   {
      ArrayPool<byte>.Shared.Return(block);
   }
}