如何计算目录的 MD5 校验和？

Question

我需要计算放置在目录和所有子目录下的特定类型（例如 *.py）的所有文件的摘要 MD5 校验和。

最好的方法是什么？

---

提出的解决方案非常好，但这并不是我所需要的。我正在寻找一种解决方案来获取单个摘要校验和，该校验和将唯一标识整个目录 - 包括其所有子目录的内容。

Answer 1

动态创建一个 tar 存档文件并将其通过管道传输到 md5sum：

tar c dir | md5sum

这会生成一个 MD5 哈希值，该值对于您的文件和子目录设置应该是唯一的。磁盘上未创建任何文件。

Answer 2

find /path/to/dir/ -type f -name "*.py" -exec md5sum {} + | awk '{print $1}' | sort | md5sum

find 命令列出所有以 .py 结尾的文件。
为每个 .py 文件计算 MD5 哈希值。 AWK 用于选取 MD5 哈希值（忽略文件名，文件名可能不是唯一的）。
MD5 哈希值已排序。然后返回该排序列表的 MD5 哈希值。

我通过复制测试目录对此进行了测试：

rsync -a ~/pybin/ ~/pybin2/

我重命名了 ~/pybin2 中的一些文件。

find...md5sum 命令为两个目录返回相同的输出。

2bcf49a4d19ef9abd284311108d626f1  -

为了考虑文件布局（路径），以便在重命名或移动文件时校验和会发生变化，可以简化命令：

find /path/to/dir/ -type f -name "*.py" -exec md5sum {} + | md5sum

在使用 md5 的 macOS 上：

find /path/to/dir/ -type f -name "*.py" -exec md5 {} + | md5

Answer 3

ire_and_curses 的建议 tar c

有一些问题：

• tar 按照目录条目在文件系统中存储的顺序处理目录条目，并且无法更改此顺序。如果您在不同的地方有“相同”的目录，这实际上会产生完全不同的结果，并且我不知道如何解决这个问题（tar 无法按特定顺序“排序”其输入文件）。
• 我通常关心groupid和ownerid数字是否相同，而不一定关心group/owner的字符串表示是否相同。这与 rsync -a --delete 等示例一致：它几乎同步所有内容（减去 xattrs 和 acl），但它将根据所有者和组的 ID（而不是字符串表示）同步所有者和组。因此，如果您同步到不一定具有相同用户/组的不同系统，则应将 --numeric-owner 标志添加到 tar
• tar tar 将包含您所在目录的文件名检查本身，只是需要注意的事情。

只要第一个问题没有解决（或者除非你确定它不会影响你），我就不会使用这种方法。

提议的基于 find 的解决方案也不好，因为它们只包含文件，而不包含目录，如果您的校验和应记住空目录，这将成为一个问题。

最后，大多数建议的解决方案的排序不一致，因为不同系统的排序规则可能不同。

这是我提出的解决方案：

dir=<mydir>; (find "$dir" -type f -exec md5sum {} +; find "$dir" -type d) | LC_ALL=C sort | md5sum

关于此解决方案的注释：

• LC_ALL=C 是为了确保跨系统可靠的排序顺序
• 这并不区分目录“named\nwithanewline”和两个目录“命名”和“withanewline”，但发生这种情况的可能性似乎很小。人们通常使用 find 的 -print0 标志来修复此问题，但由于这里还有其他事情发生，我只能看到会使命令变得比其价值更复杂的解决方案。

PS：我的一个系统使用有限的 busybox find ，它不支持 -exec 也不支持 -print0 标志，而且它还会附加“/”表示目录，而 findutils find 似乎没有，所以对于这台机器我需要运行：

dir=<mydir>; (find "$dir" -type f | while read f; do md5sum "$f"; done; find "$dir" -type d | sed 's#/$##') | LC_ALL=C sort | md5sum

幸运的是，我没有名称中带有换行符的文件/目录，所以这在该系统上不是问题。

Answer 4

如果您只关心文件而不关心空目录，那么这很有效：

find /path -type f | sort -u | xargs cat | md5sum

Answer 5

最适合我的解决方案：

find "$path" -type f -print0 | sort -z | xargs -r0 md5sum | md5sum

它最适合我的原因：

1. 处理包含空格的文件名
2. 忽略文件系统元数据
3. 检测文件是否已重命名

其他答案的问题：

文件系统元数据不是忽略：

tar c - "$path" | md5sum

不处理包含空格的文件名，也不检测文件是否已重命名：

find /path -type f | sort -u | xargs cat | md5sum

Answer 6

为了完整起见，有 md5deep(1)；由于 *.py 过滤器要求，它不直接适用，但应该与 find(1) 一起使用。

Answer 7

如果你想要一个跨越整个目录的 MD5 哈希值，我会这样做

cat *.py | md5sum

Answer 8

对所有文件进行校验和，包括内容及其文件名

grep -ar -e . /your/dir | md5sum | cut -c-32

*与上面相同，但仅包括 .py 文件

grep -ar -e . --include="*.py" /your/dir | md5sum | cut -c-32

如果需要，您还可以遵循符号链接

grep -aR -e . /your/dir | md5sum | cut -c-32

您可以考虑使用的其他选项grep

-s, --no-messages         suppress error messages
-D, --devices=ACTION      how to handle devices, FIFOs and sockets;
-Z, --null                print 0 byte after FILE name
-U, --binary              do not strip CR characters at EOL (MSDOS/Windows)

Answer 9

GNU 查找

find /path -type f -name "*.py" -exec md5sum "{}" +;

Answer 10

从技术上讲，您只需要运行 ls -lR *.py | md5sum。除非您担心有人修改文件并将其恢复到原始日期并且从不更改文件大小，否则 ls 的输出应该会告诉您文件是否已更改。我的 unix-foo 很弱，因此您可能需要更多命令行参数来获取要打印的创建时间和修改时间。 ls 还会告诉您文件的权限是否已更改（如果您不关心的话，我确信有开关可以将其关闭）。

Answer 11

使用md5deep：

md5deep -r 文件夹| awk '{print $1}' |排序| md5和

Answer 12

我想补充一点，如果您尝试对 Git 存储库中的文件/目录执行此操作以跟踪它们是否已更改，那么这是最好的方法：

git log -1 --format=format:%H --full-diff <file_or_dir_name>

如果它不是 Git 目录/存储库，则 ire_and_curses的答案可能是最好的选择：

tar c <dir_name> | md5sum

但是，请注意，如果您在不同的操作系统等中运行，tar 命令将更改输出哈希。如果您想避免这种情况，这是最好的方法，尽管乍一看它看起来不太优雅：

find <dir_name> -type f -print0 | sort -z | xargs -0 md5sum | md5sum | awk '{ print $1 }'

Answer 13

md5sum 对我来说工作得很好，但我在 sort 和排序文件名方面遇到了问题。因此，我按照 md5sum 结果进行排序。我还需要排除一些文件才能创建可比较的结果。

<代码>
寻找 。 -类型 f -print0 \
| xargs -r0 md5sum \
| grep -v ".env" \
| grep -v“供应商/autoload.php”\
| grep -v“供应商/作曲家/”\
|排序-d \
| md5和

Answer 14

如果您希望真正独立于文件系统属性和某些tar 版本，您可以使用 cpio：

cpio -i -e theDirname | md5sum

Answer 15

我遇到了同样的问题，所以我想出了这个脚本，它只列出目录中文件的 MD5 哈希值，如果它找到一个子目录，它会从那里再次运行，为了发生这种情况，脚本必须能够运行当前目录或子目录（如果在 $1 中传递所述参数）

#!/bin/bash

if [ -z "$1" ] ; then

# loop in current dir
ls | while read line; do
  ecriv=`pwd`"/"$line
if [ -f $ecriv ] ; then
    md5sum "$ecriv"
elif [ -d $ecriv ] ; then
    sh myScript "$line" # call this script again
fi

done


else # if a directory is specified in argument $1

ls "$1" | while read line; do
  ecriv=`pwd`"/$1/"$line

if [ -f $ecriv ] ; then
    md5sum "$ecriv"

elif [ -d $ecriv ] ; then
    sh myScript "$line"
fi

done


fi

Answer 16

还有两种解决方案：

创建：

du -csxb /path | md5sum > file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum > /tmp/file

检查：

du -csxb /path | md5sum -c file

ls -alR -I dev -I run -I sys -I tmp -I proc /path | md5sum -c /tmp/file