如何使用java或groovy计算目录上的md5校验和？

Question

我希望使用 java 或 groovy 来获取完整目录的 md5 校验和。

我必须将源目录复制到目标，校验源和目标，然后删除源目录。

我找到了这个文件脚本，但是如何对目录执行同样的操作？

import java.security.MessageDigest

def generateMD5(final file) {
    MessageDigest digest = MessageDigest.getInstance("MD5")
    file.withInputStream(){ is ->
        byte[] buffer = new byte[8192]
        int read = 0
        while( (read = is.read(buffer)) > 0) {
            digest.update(buffer, 0, read);
        }
    }
    byte[] md5sum = digest.digest()
    BigInteger bigInt = new BigInteger(1, md5sum)

    return bigInt.toString(16).padLeft(32, '0')
}

有更好的方法吗？

Answer 1

我有同样的要求，并选择我的“目录哈希”作为目录中所有（非目录）文件的串联流的 MD5 哈希。正如 crozin 在 类似问题 的评论中提到的，您可以使用 SequenceInputStream 充当连接其他流的负载。我使用 Apache Commons Codec 作为 MD5 算法。

基本上，您可以递归目录树，将 FileInputStream 实例添加到非目录文件的 Vector 中。然后，Vector 可以方便地使用 elements() 方法来提供 SequenceInputStream 需要循环的Enumeration。对于 MD5 算法，这仅显示为一个 InputStream。

一个问题是，您需要每次都以相同的顺序呈现文件，以便哈希值与相同的输入相同。 File 中的 listFiles() 方法不保证排序，因此我按文件名排序。

我正在为 SVN 控制的文件执行此操作，并且希望避免散列隐藏的 SVN 文件，因此我实现了一个标志来避免隐藏文件。

相关基本代码如下。 （显然它可以被“强化”。）

import org.apache.commons.codec.digest.DigestUtils;

import java.io.*;
import java.util.*;

public String calcMD5HashForDir(File dirToHash, boolean includeHiddenFiles) {

    assert (dirToHash.isDirectory());
    Vector<FileInputStream> fileStreams = new Vector<FileInputStream>();

    System.out.println("Found files for hashing:");
    collectInputStreams(dirToHash, fileStreams, includeHiddenFiles);

    SequenceInputStream seqStream = 
            new SequenceInputStream(fileStreams.elements());

    try {
        String md5Hash = DigestUtils.md5Hex(seqStream);
        seqStream.close();
        return md5Hash;
    }
    catch (IOException e) {
        throw new RuntimeException("Error reading files to hash in "
                                   + dirToHash.getAbsolutePath(), e);
    }

}

private void collectInputStreams(File dir,
                                 List<FileInputStream> foundStreams,
                                 boolean includeHiddenFiles) {

    File[] fileList = dir.listFiles();        
    Arrays.sort(fileList,               // Need in reproducible order
                new Comparator<File>() {
                    public int compare(File f1, File f2) {                       
                        return f1.getName().compareTo(f2.getName());
                    }
                });

    for (File f : fileList) {
        if (!includeHiddenFiles && f.getName().startsWith(".")) {
            // Skip it
        }
        else if (f.isDirectory()) {
            collectInputStreams(f, foundStreams, includeHiddenFiles);
        }
        else {
            try {
                System.out.println("\t" + f.getAbsolutePath());
                foundStreams.add(new FileInputStream(f));
            }
            catch (FileNotFoundException e) {
                throw new AssertionError(e.getMessage()
                            + ": file should never not be found!");
            }
        }
    }

}

Answer 2

我做了一个函数来计算 Directory 上的 MD5 校验和：

首先，我使用 FastMD5： http:// www.twmacinta.com/myjava/fast_md5.php

这是我的代码：

  def MD5HashDirectory(String fileDir) {
    MD5 md5 = new MD5();
    new File(fileDir).eachFileRecurse{ file ->
      if (file.isFile()) {
        String hashFile = MD5.asHex(MD5.getHash(new File(file.path)));
        md5.Update(hashFile, null);
      }

    }
    String hashFolder = md5.asHex();
    return hashFolder
  }

Answer 3

基于 Stuart Rossiter 的答案，但正确处理了干净的代码和隐藏文件：

import org.apache.commons.codec.digest.DigestUtils;

import java.io.*;
import java.nio.file.Files;
import java.util.Arrays;
import java.util.Comparator;
import java.util.List;
import java.util.Vector;

public class Hashing {
    public static String hashDirectory(String directoryPath, boolean includeHiddenFiles) throws IOException {
        File directory = new File(directoryPath);
        
        if (!directory.isDirectory()) {
            throw new IllegalArgumentException("Not a directory");
        }

        Vector<FileInputStream> fileStreams = new Vector<>();
        collectFiles(directory, fileStreams, includeHiddenFiles);

        try (SequenceInputStream sequenceInputStream = new SequenceInputStream(fileStreams.elements())) {
            return DigestUtils.md5Hex(sequenceInputStream);
        }
    }

    private static void collectFiles(File directory, List<FileInputStream> fileInputStreams,
                                     boolean includeHiddenFiles) throws IOException {
        File[] files = directory.listFiles();

        if (files != null) {
            Arrays.sort(files, Comparator.comparing(File::getName));

            for (File file : files) {
                if (includeHiddenFiles || !Files.isHidden(file.toPath())) {
                    if (file.isDirectory()) {
                        collectFiles(file, fileInputStreams, includeHiddenFiles);
                    } else {
                        fileInputStreams.add(new FileInputStream(file));
                    }
                }
            }
        }
    }
}

Answer 4

HashCopy 是一个 Java 应用程序。它可以递归地生成和验证单个文件或目录的 MD5 和 SHA。我不确定它是否有 API。可以从 www.jdxsoftware.org 下载。

Answer 5

如果您需要在 Gradle 构建文件中执行此操作，它比使用普通 Groovy 要简单得多。

下面是一个示例：

def sources = fileTree('rootDir').matching {
    include 'src/*', 'build.gradle'
}.sort { it.name }
def digest = MessageDigest.getInstance('SHA-1')
sources.each { digest.update(it.bytes) }
digest.digest().encodeHex().toString()

MessageDigest 来自 Java 标准库：https://docs.oracle.com/javase/8/docs/api/java/security/MessageDigest.html

所有 JVM 支持的算法有：

MD5
SHA-1
SHA-256

Answer 6

目前尚不清楚获取目录的 md5sum 意味着什么。您可能需要文件列表的校验和；您可能需要文件列表及其内容的校验和。如果您已经对文件数据本身进行了求和，我建议您为目录列表指定一个明确的表示（注意文件名中的邪恶字符），然后每次进行计算和散列。您还需要考虑如何处理特殊文件（Unix 世界中的套接字、管道、设备和符号链接；NTFS 有文件流，我相信也有类似于符号链接的东西）。

Answer 7

我计算了 sha512 而不是 md5（因为它更安全），但想法是你可以在你的 gradle 文件或原始 groovy 中定义它。

import java.security.MessageDigest
import java.io.File

def calcDirHash(fileDir) {
  def hash = MessageDigest.getInstance("SHA-512")
  new File(fileDir).eachFileRecurse{ file ->
    if (file.isFile()) {
      file.eachByte 4096, {bytes, size ->
        hash.update(bytes, 0, size);
      }
    }
  }
  return hash.digest().encodeHex()
}

然后在任何任务中调用 calcDirHash （并传入您想要散列的目录）。

您可以使用其他编码方案来代替 SHA-512。