递归 diff 非常慢 - 检查目录内容

Question

我正在两个目录上递归地运行差异，并有几个选项。这些目录有点大，但是，我试图使用 -q 选项查看文件夹内容的差异，而不是文件之间的差异（我使用这个对吗？）

我也尝试过 rsync dry run，这似乎花费同样的时间。输出通过 sed，我试过没有，它似乎没有任何影响。我也忽略隐藏文件。我想我可能错误地使用 diff -q 来比较两个目录的内容。

我使用了另一个技巧中的代码块来计算比较这些目录中的一个（1 个目录，14 个子目录）所需的时间，花了 88 分钟。然而，每个文件都是一个 30 分钟长的电视节目，所以如果 diff 正在比较这些文件，这是有道理的，但我认为 -q 会导致这种情况不会发生？

此外，一个目录通过 AFP 安装，一个目录是火线连接的外部驱动器。这并不重要，因为我在本地复制了两个目录，并且差异花费了相同的时间。

我有一个解决方案 - 我在两个目录上运行 ls -1 并比较输出 - 但为什么 diff 需要这么长时间才能运行？

这是代码；有什么建议吗？

#!/bin/bash

before="$(date +%s)"

diff -r -x '.*' /Volumes/directory1/ /Volumes/directory2/ | sed 's/^.\{24\}//g' > /Volumes/stuff.txt
diff -r -x '.*' /Volumes/directory3/ /Volumes/directory4/ | sed 's/^.\{24\}//g' > /Volumes/stuff.txt
diff -r -x '.*' /Volumes/directory5/ /Volumes/directory6/ | sed 's/^.\{24\}//g' > /Volumes/stuff.txt
diff -r -x '.*' /Volumes/directory7/ /Volumes/directory8/ | sed 's/^.\{24\}//g' > /Volumes/stuff.txt
diff -r -x '.*' /Volumes/directory9/ /Volumes/directory10/ | sed 's/^.\{24\}//g' > /Volumes/stuff.txt
diff -r -x '.*' /Volumes/directory11/ /Volumes/directory12/ | sed 's/^.\{24\}//g' > /Volumes/stuff.txt

after="$(date +%s)"
elapsed_seconds="$(expr $after - $before)"
echo Elapsed time for code block: $elapsed_seconds

Answer 1

当文件不同时，diff 将能够相当快地找出答案。但是，当它们相同时，它必须完整扫描文件以验证它们确实是逐字节相同的。

如果您只关心文件名的差异并且不想检查文件的内容，请尝试以下操作：

diff <(find /Volumes/directory1/ -printf '%P\n') \
     <(find /Volumes/directory2/ -printf '%P\n')

这假设您使用 -printf 操作进行 GNU find。如果你不这样做，请根据戈登的评论使用一些子shell魔法：

diff <(cd /Volumes/directory1; find .) \
     <(cd /Volumes/directory2; find .)