如何在 Python 中将长整型写为二进制？

Question

在 Python 中，长整数具有无限的精度。我想将 16 字节（128 位）整数写入文件。标准库中的struct 仅支持最多 8 字节整数。 array 也有同样的限制。有没有办法在不屏蔽和移动每个整数的情况下做到这一点？

这里需要澄清一下：我正在写入一个将从非 Python 程序中读入的文件，所以 pickle 已经被淘汰了。全部 128 位均已使用。

Answer 1

我认为对于无符号整数（并忽略字节序），类似的东西

import binascii

def binify(x):
    h = hex(x)[2:].rstrip('L')
    return binascii.unhexlify('0'*(32-len(h))+h)

>>> for i in 0, 1, 2**128-1:
...     print i, repr(binify(i))
... 
0 '\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'
1 '\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x01'
340282366920938463463374607431768211455 '\xff\xff\xff\xff\xff\xff\xff\xff\xff\xff\xff\xff\xff\xff\xff\xff'

在技术上可能满足非Python特定输出、不使用显式掩码以及（我假设）不使用任何非标准模块的要求。不过，并不是特别优雅。

Answer 2

两种可能的解决方案：

1. 只需 pickle 你的长整数。这将以特殊格式写入整数，以便再次读取它，如果这就是您想要的。

2. 使用这个答案将长整型转换为大端字符串（如果您愿意，可以轻松更改为小端字符串），并将该字符串写入您的文件.

问题在于 bigint 的内部表示并不直接包含您要求的二进制数据。

Answer 3

PyPi bitarray 模块与内置 bin() 函数相结合对于简单而灵活的解决方案来说，这似乎是一个很好的组合。

bytes = bitarray(bin(my_long)[2:]).tobytes()

可以通过多行代码来控制字节顺序。您必须评估效率。

Answer 4

为什么不将 struct 与 unsigned long long 类型一起使用两次？

import struct
some_file.write(struct.pack("QQ", var/(2**64), var%(2**64)))

此处记录了这一点（向下滚动以获取带 Q 的表格）： http://docs.python.org /library/struct.html

Answer 5

这可能无法避免“屏蔽并移位每个整数”的要求。我不确定在 Python 长值的上下文中避免使用掩码和移位意味着什么。

字节如下：

def bytes( long_int ):
    bytes = []
    while long_int != 0:
        b = long_int%256
        bytes.insert( 0, b )
        long_int //= 256
    return bytes

然后，您可以使用 struct.pack( '16b', bytes ) 打包此字节列表

Answer 6

对于 Python 3.2 及更高版本，您可以使用 int.to_bytes 和 int.from_bytes：https://docs.python.org/3/library/stdtypes.html#int.to_bytes

Answer 7

您可以将对象腌制为二进制，使用协议缓冲区（我不知道它们是否允许您序列化无限精度的整数）或 BSON（如果您不想编写代码）。

但是，如果时间要求不高，编写一个通过移位转储 16 字节整数的函数应该不难。

Answer 8

这可能有点晚了，但我不明白为什么你不能使用 struct：

bigint = 0xFEDCBA9876543210FEDCBA9876543210L
print bigint,hex(bigint).upper()

cbi = struct.pack("!QQ",bigint&0xFFFFFFFFFFFFFFFF,(bigint>>64)&0xFFFFFFFFFFFFFFFF)

print len(cbi)

bigint 本身被拒绝，但如果你用 &0xFFFFFFFFFFFFFFFF 屏蔽它，你可以将它减少到 8 字节 int 而不是 16。然后上部也被移动并遮盖。您可能需要稍微尝试一下字节顺序。我用的是！标记告诉它产生网络字节顺序。此外，msb 和 lsb（高字节和低字节）可能需要颠倒。我将把它作为练习留给用户来确定。我想说将数据保存为网络字节序会更安全，因此您始终知道数据的字节序是什么。

不，不要问我网络字节序是大字节序还是小字节序......

Answer 9

根据@DSM的答案，为了支持负整数和不同的字节大小，我创建了以下改进的代码片段：

def to_bytes(num, size):
        x = num if num >= 0 else 256**size + num
        h = hex(x)[2:].rstrip("L")
        return binascii.unhexlify("0"*((2*size)-len(h))+h)

这将正确处理负整数并让用户设置字节数