记录 IP 地址的唯一性，而不存储 IP 地址本身以保护隐私

Question

在 Web 应用程序中，当记录一些数据时，我想确保可以识别在不同时间但来自同一 IP 地址的数据。另一方面，出于隐私考虑，因为数据将公开发布，我想确保无法检索到实际的 IP。因此，我需要某种将 IP 地址映射到其他字符串的单向映射，以确保 1-1 映射。

如果我理解正确的话，MD5、SHA1 或 SHA256 可能是一个解决方案。我想知道它们在所需的处理方面是否太昂贵？

我对任何解决方案都感兴趣，如果有 Perl 实现那就更好了。

Answer 1

我认为 MD5 会很好而且足够快。您需要添加一些盐的常量字符以避免彩虹表/网络查找。例如，字符串“127.0.0.1”的md5为f528764d624db​​129b32c21fbca0cb8​​d6，它在谷歌中的点击量相当多。另一方面，“szabgab127.0.0.1”得到“您的搜索 - 501ff2fbdca6ee72247f8c61851f17b9 - 与任何文档不匹配”（直到我发布这个答案......）

Answer 2

使用Rabin 指纹识别。它快速且易于实施。

给定一个 n 位消息 m₀,...,m_n-1，我们
将其视为 n-1 次多项式
在有限域 GF(2) 上。

然后我们随机选择一个不可约
k 次多项式 p(x)
GF(2)，我们定义指纹
m 的余数 r(x)
在 GF(2) 上将 f(x) 除以 p(x)
可以看作是多项式
k-1 度或作为 k 位数字。

请注意，这仍然不是您所寻求的完美的哈希函数，但要获得一个您需要的可能会面临破解该函数并从哈希中获取原始 IP 的问题。在大多数情况下，指纹识别中极低的冲突几率是可以接受的。

另请注意，无论您最终使用什么哈希函数，如果您的哈希函数已知，那么查找哪些日志条目来自给定 IP 地址将是微不足道的。如果你想保护自己免受这种情况的影响，你应该加密哈希值。

Answer 3

基于 @marcog 和 @daxim 的答案，您可以使用 HMAC，例如 HMAC-SHA< /a>，在日志生成设备上具有硬编码的密钥。如果秘密泄露，那么该计划就会变得与到目前为止给出的任何计划一样脆弱。

或者，也许更简单，您可以使用相同的密钥概念来加密 IP 地址。 AES 的 128 位块大小非常适合确保所有可能的 IP 地址的 1-1 映射。只需在 ECB 模式下使用 AES。

Answer 4

如果你只使用哈希值，那么有人可以进行暴力攻击。

最简单的方法是使用布隆过滤器。特别是，http://www.afflib.org/ 上的 C++ 布隆过滤器实现允许您添加任意字符串到布隆过滤器，然后探测它们是否存在。如果您想防止暴力攻击，只需提高误报频率，使其达到十亿分之一。这样您就具有唯一性，但人们将无法找出您看到过哪些 IP 地址。

Answer 5

⚠ 不要使用 MD5 或 SHA-1 不再。 ⚠ 请参阅文章以了解其弱点。

使用加盐 SHA-2 代替，Crypt::SaltedHash 提供了一个很好的抽象。推荐的 Perl 绑定是 Digest::SHA 并使用 XS。

你说的是贵的。您已经分析过代码了吗？代码还没写？那么考虑优化还为时过早。安全必须是首要考虑的问题。

---

编辑：示例代码

use Crypt::SaltedHash;
my $normalised_string_representation_of_internet_address = '::1';    # or perhaps '10.10.10.10'

# when you first get an address, make a hash and store it
my $csh = Crypt::SaltedHash->new(algorithm => 'SHA-512', salt_len => 32);
$csh->add($normalised_string_representation_of_internet_address);
my $salted = $csh->generate;

# later retrieve the hash and see whether it matches
my $valid = Crypt::SaltedHash->validate($salted, $normalised_string_representation_of_internet_address, 32);

Answer 6

另一个选项是 Crypt::Eksblowfish::Bcrypt。然而，它“更好”的原因恰恰是因为它令人深思熟虑——可调的成本有多高——这使得破解尝试从某种程度上到可笑的不切实际。对于您的应用程序，您可以缓存加密的 IP，这样至少在看到重复项时不会很慢。