如何比较两个 tarball 的内容

Question

我想判断两个 tarball 文件在文件名和文件内容方面是否包含相同的文件，不包括日期、用户、组等元数据。

但是，有一些限制： 首先，我无法控制制作tar文件时是否包含元数据，实际上，tar文件总是包含元数据，因此直接比较两个tar文件是行不通的。 其次，由于某些 tar 文件太大，我无法将它们解压到临时目录中并逐一比较所包含的文件。 （我知道如果我可以将 file1.tar 解压到 file1/ 中，我可以通过在 file/ 中调用“tar -dvf file2.tar”来比较它们。但通常我什至无法解压其中一个）

知道如何比较两个 tar 文件？ 如果能在SHELL脚本中完成就更好了。 或者，有没有办法在不实际解压 tarball 的情况下获取每个子文件的校验和？

谢谢，

Answer 1

这是我的变体，它也检查 unix 权限：

仅当文件名短于 200 个字符时才有效。

diff <(tar -tvf 1.tar | awk '{printf "%10s %200s %10s\n",$3,$6,$1}'|sort -k2) <(tar -tvf 2.tar|awk '{printf "%10s %200s %10s\n",$3,$6,$1}'|sort -k2)

Answer 2

编辑：请参阅@StéphaneGourichon 的评论，

我意识到这是一个迟到的回复，但我在尝试实现相同目标时遇到了该线程。 我实现的解决方案将 tar 输出到 stdout，并将其通过管道传输到您选择的任何哈希：

tar -xOzf archive.tar.gz | sort | sha1sum

请注意，参数的顺序很重要； 特别是 O ，它表示使用 stdout。

Answer 3

tardiff 是您要找的吗？ 它是“一个简单的 Perl 脚本”，“比较两个 tarball 的内容并报告它们之间发现的任何差异”。

Answer 4

还有 diffscope，它更通用，并且允许递归比较事物（包括各种格式）。

pip install diffoscope

Answer 5

我建议使用gtarsum，这是我用Go编写的，这意味着它将是一个自主可执行文件（不需要Python或其他执行环境）。

go get github.com/VonC/gtarsum

它将读取一个 tar 文件，并且：

• 按字母顺序对文件列表进行排序，
• 为每个文件内容计算 SHA256，
• 将这些哈希值连接成一个巨大的字符串，
• 计算该字符串的 SHA256

结果是 tar 文件的“全局哈希值”，基于文件列表及其内容。

它可以比较多个 tar 文件，如果相同则返回 0，否则返回 1。

Answer 6

只是把它扔在那里，因为上述解决方案都不能满足我的需要。

此函数获取与给定路径匹配的所有文件路径的 md5 哈希值的 md5 哈希值。 如果哈希值相同，则文件层次结构和文件列表相同。

我知道它的性能不如其他产品，但它提供了我所需的确定性。

PATH_TO_CHECK="some/path"
for template in $(find build/ -name '*.tar'); do
    tar -xvf $template --to-command=md5sum | 
        grep $PATH_TO_CHECK -A 1 | 
        grep -v $PATH_TO_CHECK | 
        awk '{print $1}' | 
        md5sum | 
        awk "{print \"$template\",\$1}"
done

*注意：无效路径不会返回任何内容。

Answer 7

如果不提取档案也不需要差异，请尝试 diff 的 < strong>-q 选项：

diff -q 1.tar 2.tar

此安静结果将是“1.tar 2.tar 不同” 或者什么都没有，如果没有差异的话。

Answer 8

有一个名为 archdiff 的工具。 它基本上是一个可以查看档案的 Perl 脚本。

Takes two archives, or an archive and a directory and shows a summary of the
differences between them.

Answer 9

我有一个类似的问题，我通过 python 解决了它，这是代码。
ps：虽然这段代码是用来比较两个zipball的内容，但它与tarball类似，希望我可以帮助你

import zipfile
import os,md5
import hashlib
import shutil

def decompressZip(zipName, dirName):
    try:
        zipFile = zipfile.ZipFile(zipName, "r")
        fileNames = zipFile.namelist()
        for file in fileNames:
            zipFile.extract(file, dirName)
        zipFile.close()
        return fileNames
    except Exception,e:
        raise Exception,e

def md5sum(filename):
    f = open(filename,"rb")
    md5obj = hashlib.md5()
    md5obj.update(f.read())
    hash = md5obj.hexdigest()
    f.close()
    return str(hash).upper()

if __name__ == "__main__":
    oldFileList = decompressZip("./old.zip", "./oldDir")
    newFileList = decompressZip("./new.zip", "./newDir")

    oldDict = dict()
    newDict = dict()

    for oldFile in oldFileList:
        tmpOldFile = "./oldDir/" + oldFile
        if not os.path.isdir(tmpOldFile):
            oldFileMD5 = md5sum(tmpOldFile)
            oldDict[oldFile] = oldFileMD5

    for newFile in newFileList:
        tmpNewFile = "./newDir/" + newFile
        if not os.path.isdir(tmpNewFile):
            newFileMD5 = md5sum(tmpNewFile)
            newDict[newFile] = newFileMD5

    additionList = list()
    modifyList = list()

    for key in newDict:
        if not oldDict.has_key(key):
            additionList.append(key)
        else:
            newMD5 = newDict[key]
            oldMD5 = oldDict[key]
            if not newMD5 == oldMD5:
            modifyList.append(key)

    print "new file lis:%s" % additionList
    print "modified file list:%s" % modifyList

    shutil.rmtree("./oldDir")
    shutil.rmtree("./newDir")

Answer 10

还可以尝试 pkgdiff 来可视化包之间的差异（检测添加/删除/重命名的文件和更改的内容，存在为零代码（如果未更改）：

pkgdiff PKG-0.tgz PKG-1.tgz

Answer 11

您是否控制这些 tar 文件的创建？
如果是这样，最好的技巧是创建 MD5 校验和并将其存储在存档本身的文件中。 然后，当您想要比较两个文件时，只需提取此校验和文件并比较它们即可。

---

如果您有能力只提取一个 tar 文件，您可以使用 tar 的 --diff 选项来查找与其他 tar 文件内容的差异。

---

如果您只需要比较文件名及其大小，那么还有一个粗略的技巧。
请记住，这并不能保证其他文件相同！

执行 tar tvf 列出每个文件的内容并将输出存储在两个不同的文件中。 然后，切掉除文件名和大小列之外的所有内容。 最好也对这两个文件进行排序。 然后，只需在两个列表之间进行文件比较即可。

请记住，最后一个方案并不真正执行校验和。

tar 和输出示例（本例中所有文件的大小均为零）。

$ tar tvfj pack1.tar.bz2
drwxr-xr-x user/group 0 2009-06-23 10:29:51 dir1/
-rw-r--r-- user/group 0 2009-06-23 10:29:50 dir1/file1
-rw-r--r-- user/group 0 2009-06-23 10:29:51 dir1/file2
drwxr-xr-x user/group 0 2009-06-23 10:29:59 dir2/
-rw-r--r-- user/group 0 2009-06-23 10:29:57 dir2/file1
-rw-r--r-- user/group 0 2009-06-23 10:29:59 dir2/file3
drwxr-xr-x user/group 0 2009-06-23 10:29:45 dir3/

生成排序名称/大小列表的命令

$ tar tvfj pack1.tar.bz2 | awk '{printf "%10s %s\n",$3,$6}' | sort -k 2
0 dir1/
0 dir1/file1
0 dir1/file2
0 dir2/
0 dir2/file1
0 dir2/file3
0 dir3/

您可以获取两个这样的排序列表并比较它们。
如果适合您，您还可以使用日期和时间列。

Answer 12

tarsum 是几乎是你所需要的。 获取其输出，通过排序运行它以使每个输出的顺序相同，然后使用 diff 比较两者。 这应该能让你进行基本的实现，并且通过修改 Python 代码来完成整个工作，可以很容易地将这些步骤拉到主程序中。