检查文件是否相等

Question

在Python中检查文件是否相等的最优雅的方法是什么？ 校验和？字节比较？认为文件不会大于 100-200 MB

Answer 1

filecmp 模块怎么样？它可以通过多种不同的方式进行文件比较，并进行不同的权衡。

更好的是，它是标准库的一部分：

http://docs.python.org/library /filecmp.html

Answer 2

使用hashlib获取每个文件的md5，并比较结果。

#! /bin/env python
import hashlib
def filemd5(filename, block_size=2**20):
    f = open(filename)
    md5 = hashlib.md5()
    while True:
        data = f.read(block_size)
        if not data:
            break
        md5.update(data)
    f.close()
    return md5.digest()

if __name__ == "__main__":
    a = filemd5('/home/neo/todo')
    b = filemd5('/home/neo/todo2')
    print(a == b)

---

更新：从 Python 2.1 开始，有一个 filecmp 模块做你想要的，并且也有比较目录的方法。 我从来不知道这个模块，我自己仍在学习 Python :-)

>>> import filecmp
>>> filecmp.cmp('undoc.rst', 'undoc.rst')
True
>>> filecmp.cmp('undoc.rst', 'index.rst')
False

Answer 3

好吧，这可能需要两个单独的答案。

如果您有许多文件要比较，请查找校验和并缓存每个文件的校验和。可以肯定的是，之后逐字节比较匹配的文件。

如果您只有两个文件，请直接进行字节比较，因为无论如何您都必须读取文件来计算校验和。

在这两种情况下，都使用文件大小作为检查不平等的早期方法。

Answer 4

在尝试任何其他解决方案之前，您可能需要对这两个文件执行 os.path.getsize(...) 操作。
如果不同，则无需比较字节或计算校验和。

当然，这只有在文件大小不固定的情况下才有用。

例子：

def foo(f1, f2):
    if not os.path.getsize(f1) == os.path.getsize(f2):
        return False # Or similar

    ... # Checksumming / byte-comparing / whatever

Answer 5

我会使用 MD5（例如）进行校验和，而不是字节比较加上日期检查，并取决于您需要的名称检查。

Answer 6

去 cmp 怎么样？

import commands
status, output = commands.getstatusoutput("/usr/bin/cmp file1 file2")
if (status == 0):
  print "files are same"
elif (status == 1):
  print "files differ"
else:
  print "uh oh!"