如何在Python中对大对象（数据集）进行哈希处理？

发布于 2024-07-17 14:09:10 字数 561 浏览 6 评论 0原文

我想计算包含机器学习数据集的 Python 类的哈希值。哈希值旨在用于缓存，因此我想到了 md5 或 sha1。问题在于大部分数据都存储在 NumPy 数组中；这些不提供 __hash__() 成员。目前，我为每个成员执行 pickle.dumps() 并根据这些字符串计算哈希值。但是，我发现以下链接表明同一对象可能会导致不同的序列化字符串：

计算包含 Numpy 数组的 Python 类的散列的最佳方法是什么？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

儭儭莪哋寶赑 2024-07-24 14:09:10

感谢约翰·蒙哥马利，我想我已经找到了一个解决方案，而且我认为它比将可能巨大的数组中的每个数字转换为字符串的开销更少：

我可以创建数组的字节视图并使用这些更新哈希值。不知何故，这似乎给出了与使用数组直接更新相同的摘要：

>>> import hashlib
>>> import numpy
>>> a = numpy.random.rand(10, 100)
>>> b = a.view(numpy.uint8)
>>> print a.dtype, b.dtype # a and b have a different data type
float64 uint8
>>> hashlib.sha1(a).hexdigest() # byte view sha1
'794de7b1316b38d989a9040e6e26b9256ca3b5eb'
>>> hashlib.sha1(b).hexdigest() # array sha1
'794de7b1316b38d989a9040e6e26b9256ca3b5eb'

Thanks to John Montgomery I think I have found a solution, and I think it has less overhead than converting every number in possibly huge arrays to strings:

I can create a byte-view of the arrays and use these to update the hash. And somehow this seems to give the same digest as directly updating using the array:

>>> import hashlib
>>> import numpy
>>> a = numpy.random.rand(10, 100)
>>> b = a.view(numpy.uint8)
>>> print a.dtype, b.dtype # a and b have a different data type
float64 uint8
>>> hashlib.sha1(a).hexdigest() # byte view sha1
'794de7b1316b38d989a9040e6e26b9256ca3b5eb'
>>> hashlib.sha1(b).hexdigest() # array sha1
'794de7b1316b38d989a9040e6e26b9256ca3b5eb'

回复收藏 0 原文

月寒剑心 2024-07-24 14:09:10

数组中数据的格式是什么？难道你不能迭代数组，将它们转换成字符串（通过一些可重现的方式），然后通过更新将其输入到你的哈希中吗？

例如，

import hashlib
m = hashlib.md5() # or sha1 etc
for value in array: # array contains the data
    m.update(str(value))

不要忘记 numpy 数组不会提供 __hash__() 因为它们是可变的。因此，请小心不要在计算哈希值后修改数组（因为它将不再相同）。

What's the format of the data in the arrays? Couldn't you just iterate through the arrays, convert them into a string (via some reproducible means) and then feed that into your hash via update?

e.g.

import hashlib
m = hashlib.md5() # or sha1 etc
for value in array: # array contains the data
    m.update(str(value))

Don't forget though that numpy arrays won't provide __hash__() because they are mutable. So be careful not to modify the arrays after your calculated your hash (as it will no longer be the same).

回复收藏 0 原文

柳若烟 2024-07-24 14:09:10

有一个用于记忆函数的包，它使用 numpy 数组作为输入joblib。从这个问题中找到。

回复收藏 0 原文

时光无声 2024-07-24 14:09:10

使用 Numpy 1.10.1 和 python 2.7.6，如果数组是 C 连续的，您现在可以使用 hashlib 简单地对 numpy 数组进行哈希处理（如果不是，则使用 numpy.ascontigouslyarray()），例如

>>> h = hashlib.md5()
>>> arr = numpy.arange(101)
>>> h.update(arr)
>>> print(h.hexdigest())
e62b430ff0f714181a18ea1a821b0918

Using Numpy 1.10.1 and python 2.7.6, you can now simply hash numpy arrays using hashlib if the array is C-contiguous (use numpy.ascontiguousarray() if not), e.g.

>>> h = hashlib.md5()
>>> arr = numpy.arange(101)
>>> h.update(arr)
>>> print(h.hexdigest())
e62b430ff0f714181a18ea1a821b0918

回复收藏 0 原文

煮酒 2024-07-24 14:09:10

这是我在 jug 中执行此操作的方法（在回答此问题时使用 git HEAD ):

e = some_array_object
M = hashlib.md5()
M.update('np.ndarray')
M.update(pickle.dumps(e.dtype))
M.update(pickle.dumps(e.shape))
try:
    buffer = e.data
    M.update(buffer)
except:
    M.update(e.copy().data)

原因是e.data仅适用于某些数组（连续数组）。与 a.view(np.uint8) 相同（如果数组不连续，则会失败并出现非描述性类型错误）。

Here is how I do it in jug (git HEAD at the time of this answer):

e = some_array_object
M = hashlib.md5()
M.update('np.ndarray')
M.update(pickle.dumps(e.dtype))
M.update(pickle.dumps(e.shape))
try:
    buffer = e.data
    M.update(buffer)
except:
    M.update(e.copy().data)

The reason is that e.data is only available for some arrays (contiguous arrays). Same thing with a.view(np.uint8) (which fails with a non-descriptive type error if the array is not contiguous).

回复收藏 0 原文