Unix 环境中最快的散列？

Question

我需要在 unix 平台上检查某个脚本的输出 1000 次，并检查其中是否有任何内容与之前相比发生了变化。

我一直在这样做：

(script_stuff) | md5sum

并存储这个值。实际上我并不真正需要“md5”，只是一个简单的哈希函数，我可以将其与存储的值进行比较以查看其是否发生变化。如果偶尔出现误报也没关系。

有没有比 md5sum 更好的方法，可以更快地工作并生成相当可用的哈希值？该脚本本身会生成几行文本 - 平均可能 10-20 行，最多 100 行左右。

我查看了 bash/ 中数百万个字符串的快速 md5sum ubuntu - 这很棒，但我无法编译新程序。需要一个系统实用程序... :(

---

额外的“背景”详细信息：

我被要求监视一组大约 1000 个域的 DNS 记录，并在发生任何更改时立即调用某些其他脚本。我打算这样做dig xyz +short 语句并对它的输出进行哈希处理并存储它，然后根据之前存储的值进行检查，任何更改都会触发另一个脚本，否则现在我们计划使用 cron 来执行。一组这 1000 个，但对于“严重”使用的情况可能完全不同 - 大约 20,000 个，

我不知道这样的系统有什么用处，我只是将其作为其他人的工作。 。

Answer 1

cksum 实用程序计算非加密 CRC 校验和。

Answer 2

您正在检查的输出有多大？最多一百行我只需保存整个原始文件，然后使用 cmp 来查看它是否已更改。鉴于哈希计算无论如何都必须读取每个字节，因此从校验和类型计算中获得优势的唯一方法是执行此操作的成本低于读取该大小的两个文件。

并且 cmp 不会给您任何误报或否定:-)

pax> echo hello >qq1.txt
pax> echo goodbye >qq2.txt
pax> cp qq1.txt qq3.txt
pax> cmp qq1.txt qq2.txt >/dev/null
pax> echo $?
1
pax> cmp qq1.txt qq3.txt >/dev/null
pax> echo $?
0

---

根据您的问题更新：

我被要求监视一组大约 1000 个域的 DNS 记录，并在发生任何更改时立即调用某些其他脚本。我打算做一个 dig xyz +short 语句并对它的输出进行哈希处理并存储它，然后根据之前存储的值进行检查。任何更改都会触发其他脚本，否则它就会继续。目前，我们计划对这 1000 个任务中的一组使用 cron，但对于“严重”使用的情况可能完全不同 - 大约 20,000 个左右。

我不确定您是否需要过多担心文件 I/O。以下脚本首先使用文件 I/O 执行 dig microsoft.com +short 5000 次，然后输出到 /dev/null（通过更改注释）。

#!/bin/bash
rm -rf qqtemp
mkdir qqtemp
((i = 0))
while [[ $i -ne 5000 ]] ; do
        #dig microsoft.com +short >qqtemp/microsoft.com.$i
        dig microsoft.com +short >/dev/null
        ((i = i + 1))
done

每次运行 5 次所花费的时间为：

File I/O  |  /dev/null
----------+-----------
    3:09  |  1:52
    2:54  |  2:33
    2:43  |  3:04
    2:49  |  2:38
    2:33  |  3:08

删除异常值并求平均值后，文件 I/O 的结果为 2:49，/dev/null 的结果为 2:45。 5000 次迭代的时间差为 4 秒，每个项目只有 ¹/₁₂₅₀ 秒。

但是，由于超过 5000 次的迭代最多需要三分钟，因此这是检测问题所需的最大时间（平均一分半钟）。如果这是不可接受的，您需要从 bash 转向另一个工具。

鉴于单次挖掘仅需要大约 0.012 秒，假设您的检查工具根本不花时间，理论上您应该在 60 秒内完成 5000 次挖掘。您最好在 Perl 中执行类似的操作并使用关联数组来存储 dig 的输出。

Perl 的半编译性质意味着它的运行速度可能比 bash 脚本快得多，而且 Perl 的奇特功能将使工作变得更加容易。但是，您不太可能仅仅因为这就是运行 dig 命令所需的时间，就将 60 秒的时间缩短很多。