如何使用 MD5 哈希（或其他二进制数据）作为密钥名称？

Question

我一直在尝试使用 MD5 哈希作为 AppEngine 上的键名，但我编写的代码引发了 UnicodeDecodeError

from google.appengine.ext import db
import hashlib
key = db.Key.from_path('Post', hashlib.md5('thecakeisalie').digest())

我不想使用 hexdigest() 因为这不仅是一个拼凑，但也是一个较差的（base64 会做得更好）。

Answer 1

App Engine Python 文档表示：

key_name 以 Unicode 形式存储
字符串（str 值转换为
ASCII 文本）。

密钥必须是 unicode 可编码字符串。您需要将digest()调用更改为hexdigest()，即：

k = hashlib.md5('thecakeisalie').hexdigest()

Answer 2

使用 iso-8859-1 解码字节串

>>> hashlib.md5('thecakeisalie').digest().decode("iso-8859-1")
u"'\xfc\xce\x84h\xa9\x1e\x8a\x12;\xa5\xb1K\xea\xef\xd6"

这基本上是一个“NOP”转换。它创建一个与初始字符串长度相同的 unicode 对象，如果您愿意，可以通过 .encode("iso-8859-1") 将其转换回字符串

Answer 3

让我们考虑一下数据大小。这里的最佳解决方案是 16 字节：

>>> hashlib.md5('thecakeisalie').digest() 
"'\xfc\xce\x84h\xa9\x1e\x8a\x12;\xa5\xb1K\xea\xef\xd6"

>>> len(hashlib.md5('thecakeisalie').digest())
16

您首先想到的是 hexdigest，但它与 16 字节不太接近：

>>> hashlib.md5('thecakeisalie').hexdigest() 
'27fcce8468a91e8a123ba5b14beaefd6'

>>> len(hashlib.md5('thecakeisalie').hexdigest())
32

但这不会给您 ascii 编码的字节，因此我们必须做其他事情。简单的做法是使用 python 表示：

>>> repr(hashlib.md5('thecakeisalie').digest())
'"\'\\xfc\\xce\\x84h\\xa9\\x1e\\x8a\\x12;\\xa5\\xb1K\\xea\\xef\\xd6"'

>>> len(repr(hashlib.md5('thecakeisalie').digest()))
54

我们可以通过删除“\x”转义符和周围的引号来摆脱一堆：

>>> repr(hashlib.md5('thecakeisalie').digest())[1:-1].replace('\\x','')
"'fcce84ha91e8a12;a5b1Keaefd6"

>>> len(repr(hashlib.md5('thecakeisalie').digest())[1:-1].replace('\\x',''))
28

这非常好，但 base64 做得更好一点：

>>> base64.b64encode(hashlib.md5('thecakeisalie').digest())
J/zOhGipHooSO6WxS+rv1g==
>>> len(base64.b64encode(hashlib.md5('thecakeisalie').digest()))
24

总体而言，base64 是大部分空间-高效，但我只选择 hexdigest，因为它可能是最优化的（时间效率）。

---

Gnibbler 的答案给出的长度是 16！

>>> hashlib.md5('thecakeisalie').digest().decode("iso-8859-1")
u"'\xfc\xce\x84h\xa9\x1e\x8a\x12;\xa5\xb1K\xea\xef\xd6"
>>> len(hashlib.md5('thecakeisalie').digest().decode("iso-8859-1"))
16

Answer 4

我发现使用二进制数据的 base64 编码是一个合理的解决方案。根据您的代码，您可以执行以下操作：

import hashlib
import base64
print base64.b64encode(hashlib.md5('thecakeisalie').digest())

Answer 5

App Engine 中的实体键可以有 ID（4 字节整数）或名称（500 字节 UTF-8 编码字符串）。

MD5 摘要是 16 字节的二进制数据：对于整数来说太大，（可能是）无效的 UTF-8。必须使用某种形式的编码。

如果 hexdigest() 在 32 字节处过于冗长，则尝试在 24 字节处使用 base64。

无论您使用哪种编码方案，数据存储最终都会将其转换为 UTF-8，因此，以下内容乍一看像是最佳编码...

>>> u = hashlib.md5('thecakeisalie').digest().decode("iso-8859-1")
>>> len(u)
16

...当编码为最终表示形式时，它比 Base64 编码长两个字节：

>>> s = u.encode('utf-8')
>>> len(s)
26