numpy：有效读取大数组

Question

我有一个二进制文件，其中包含 32 位浮点数的密集 n*m 矩阵。将其读入 Fortran 有序 numpy 数组的最有效方法是什么？

该文件的大小为数千兆字节。我可以控制格式，但它必须紧凑（即长度约为 4*n*m 字节）并且必须易于从非 Python 代码生成。

编辑：该方法必须直接生成 Fortran 有序矩阵（由于数据大小，我无法创建 C 有序矩阵，然后将其转换为单独的矩阵） Fortran 排序的副本。）

Answer 1

NumPy 提供 fromfile() 读取二进制数据。

a = numpy.fromfile("filename", dtype=numpy.float32)

将创建一个包含您的数据的一维数组。要将其作为二维 Fortran 排序的 nx m 矩阵进行访问，您可以对其进行重塑：

a = a.reshape((n, m), order="FORTRAN")

[编辑：在这种情况下，reshape() 实际上复制了数据（请参阅的评论）。要在不复制的情况下完成此操作，请使用

a = a.reshape((m, n)).T

感谢 Joe Kingtion 指出这一点。]

但说实话，如果您的矩阵有几 GB，我会选择 HDF5 工具，例如 h5py 或 PyTables。这两种工具都有常见问题解答条目，将该工具与另一种工具进行比较。我通常更喜欢 h5py，尽管 PyTables 似乎更常用（并且两个项目的范围略有不同）。

HDF5 文件可以用数据分析中使用的大多数编程语言编写。链接的维基百科文章中的接口列表并不完整，例如还有一个 R 接口。但我其实不知道你想用哪种语言来写数据......

Answer 2

基本上，Numpy 将数组存储为平面向量。多个维度只是 Numpy 迭代器使用的不同视图和步幅创建的幻觉。

有关 Numpy 内部工作原理的全面但易于理解的说明，请参阅优秀的 《美丽代码》书第 19 章。

至少 Numpy array() 和 reshape() 有 C ('C')、Fortran ('F') 或保留顺序 ('A') 的参数。
另请参阅问题 如何强制 numpy 数组顺序为 fortran 样式？

使用默认 C 索引的示例（行主序）：

>>> a = np.arange(12).reshape(3,4) # <- C order by default
>>> a
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11]])
>>> a[1]
array([4, 5, 6, 7])

>>> a.strides
(32, 8)

使用 Fortran 顺序进行索引（列主序）：

>>> a = np.arange(12).reshape(3,4, order='F')
>>> a
array([[ 0,  3,  6,  9],
       [ 1,  4,  7, 10],
       [ 2,  5,  8, 11]])
>>> a[1]
array([ 1,  4,  7, 10])

>>> a.strides
(8, 24)

---

另一个视图

此外，您可以始终使用数组的参数 T 获取另一种视图：

>>> a = np.arange(12).reshape(3,4, order='C')
>>> a.T
array([[ 0,  4,  8],
       [ 1,  5,  9],
       [ 2,  6, 10],
       [ 3,  7, 11]])

>>> a = np.arange(12).reshape(3,4, order='F')
>>> a.T
array([[ 0,  1,  2],
       [ 3,  4,  5],
       [ 6,  7,  8],
       [ 9, 10, 11]])

---

您也可以手动设置步幅：

>>> a = np.arange(12).reshape(3,4, order='C')
>>> a
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11]])
>>> a.strides
(32, 8)
>>> a.strides = (8, 24)
>>> a
array([[ 0,  3,  6,  9],
       [ 1,  4,  7, 10],
       [ 2,  5,  8, 11]])