在Python中保存base64数据最节省内存的方法?
假设您有一个以 Base64 编码的 MD5 哈希值。然后每个 字符只需要 6 位来存储每个字符 结果 22 字节字符串(不包括结尾的“==”)。因此,每个 base64 md5 哈希可以缩小到 6*22 = 132 位,这 与原来的8*22=176相比,需要减少25%的内存空间 位字符串。
有没有任何Python模块或函数可以让你存储base64 数据按照上面描述的方式?
Suppose you have a MD5 hash encoded in base64. Then each
character needs only 6 bits to store each character in the
resultant 22-byte string (excluding the ending '=='). Thus, each
base64 md5 hash can shrink down to 6*22 = 132 bits, which
requires 25% less memory space compared to the original 8*22=176
bits string.
Is there any Python module or function that lets you store base64
data in the way described above?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(4)
存储 Base64 编码数据的最有效方法是将其解码并将其存储为二进制。 base64 是一种传输编码 - 在其中存储数据是没有意义的,尤其是在内存中,除非您有令人信服的理由。
另外,挑剔:哈希函数的输出不是十六进制字符串 - 这只是一种常见的表示形式。哈希函数的输出是一些字节的二进制数据。例如,如果您使用 md5、sha 或 hashlib 模块,则不需要首先将其编码为任何内容 - 只需调用
.digest()
而不是哈希对象上的.hexdigest()
。The most efficient way to store base64 encoded data is to decode it and store it as binary. base64 is a transport encoding - there's no sense in storing data in it, especially in memory, unless you have a compelling reason otherwise.
Also, nitpick: The output of a hash function is not a hex string - that's just a common representation. The output of a hash function is some number of bytes of binary data. If you're using the md5, sha, or hashlib modules, for example, you don't need to encode it as anything in the first place - just call
.digest()
instead of.hexdigest()
on the hash object.只需将 Base64 数据解码为二进制即可:
Simply decode the base64 data to binary:
不。
做。不是。店铺。 Base64。数据。
Base64 是通过对某物进行编码以使其更大而构建的。
存储原始的东西。切勿存储某物的base64编码。
Don't.
Do. Not. Store. Base64. Data.
Base64 is built by encoding something to make it bigger.
Store the original something. Never store the base64 encoding of something.
David 给出了适用于所有 Base64 字符串的答案。
只需使用
in base64 module. That is,
是原始 Base64 字符串的更有效的内存表示形式。如果你
正在截断 Base64 md5 中的尾随 '==',请像这样使用它
David gave an answer that works on all base64 strings.
Just use
in base64 module. That is,
is a more memory efficient representation of the original base64 string. If you
are truncating trailing '==' in your base64 md5, use it like