SHA 足以检查文件重复吗？ （PHP 中的 sha1_file）

Question

假设您想创建一个文件托管站点，供人们上传文件并向他们的朋友发送链接以供稍后检索，并且您想确保文件在我们存储文件的位置重复，那么 PHP 的 sha1_file 是否足以完成该任务？有什么理由不使用 md5_file 来代替吗？

对于前端，它将使用数据库中存储的原始文件名进行模糊处理，但还有一些额外的问题是这是否会泄露有关原始海报的任何信息。文件是否会继承任何元信息，例如上次修改或发布者，或者这些内容是否基于文件系统？

另外，使用盐是否无聊，因为彩虹表攻击方面的安全性对此没有任何意义，并且哈希值稍后可以用作校验和？

最后一件事，可扩展性？最初，它仅用于几兆大的小文件，但最终...

编辑1：散列的目的主要是避免文件重复，而不是造成模糊性。

Answer 1

sha1_file 足够好？

使用 sha1_file 就足够了，碰撞的可能性很小，但这种情况几乎永远不会发生。为了将比较文件大小的机会也减少到几乎为 0：

function is_duplicate_file( $file1, $file2)
{   
    if(filesize($file1) !== filesize($file2)) return false;

    if( sha1_file($file1) == sha1_file($file2) ) return true;

    return false;
}

md5 比 sha1 更快，但它生成的唯一输出较少，因此使用 md5 时发生冲突的机会仍然很小。

可扩展性？

有多种方法可以比较文件，使用哪种方法取决于您对性能的关注，我对不同的方法进行了小测试：

1-直接文件比较：

if( file_get_contents($file1) != file_get_contents($file2) )

2- Sha1_file

if( sha1_file($file1) != sha1_file($file2) )

3- md5_file

if( md5_file($file1) != md5_file($file2) )

结果：
2个文件，每个1.2MB，比较100次，我得到以下结果：

--------------------------------------------------------
 method                  time(s)           peak memory
--------------------------------------------------------
file_get_contents          0.5              2,721,576
sha1_file                  1.86               142,960
mdf5_file                  1.6                142,848

file_get_contents是最快的，比sha1快3.7，但它的内存效率不高。

Sha1_file 和 md5_file 是内存高效的，它们使用的内存大约是 file_get_contents 使用的内存的 5%。

md5_file 可能是一个更好的选择，因为它比 sha1 快一点。

所以结论是，这取决于您是否想要更快的比较或更少的内存使用。

Answer 2

根据我对 @ykaganovich 的回答的评论，SHA1（令人惊讶地）比 MD5 稍快。

从您对问题的描述来看，您并不是试图创建一个安全散列 - 只是将文件隐藏在一个大的命名空间中 - 在这种情况下，使用盐/彩虹表是无关紧要的 - 唯一的考虑因素是错误冲突的可能性（其中 2 个不同的文件给出相同的哈希值）。 md5 发生这种情况的可能性非常非常小。有了 sha1 就更遥远了。然而，您确实需要考虑当 2 个独立用户将相同的软件上传到您的网站时会发生什么。谁拥有该文件？

事实上，似乎根本没有任何理由使用哈希 - 只需生成足够长的随机值即可。

Answer 3

SHA 在任何“正常”环境中都应该表现得很好。尽管《Git Magic》的作者 Ben Lynn 是这么说的：

A.1。 SHA1 的弱点
随着时间的推移，密码学家发现了越来越多的 SHA1
弱点。已经在寻找哈希
对于资金充足的组织来说，碰撞是可行的。之内
几年，也许即使是一台典型的个人电脑也会
有
足够的计算能力来悄悄地破坏 Git 存储库。
希望 Git 在进一步迁移之前能够迁移到更好的哈希函数
研究破坏了 SHA1。

您始终可以检查 SHA256 或其他更长的算法。查找 MD5 冲突比使用 SHA1 更容易。

Answer 4

两者都应该没问题。 sha1 是比 md5 更安全的哈希函数，这也意味着它更慢，这可能意味着您应该使用 md5 :)。如果文件非常小，您仍然希望使用 salt 来防止明文/彩虹攻击（不要假设人们决定上传到您的网站的内容）。性能差异可以忽略不计。只要您知道盐，您仍然可以将其用作校验和。

关于可扩展性，我猜你可能会受到 IO 限制，而不是 CPU 限制，所以我不认为计算校验和会给你带来很大的开销，尤其是。如果您在上传时在流上执行此操作。