来自Python，Pandas，dask，numpy的大数据框架的大数据框

Question

我在非常大的文件中以顺序（包装的C结构）格式有时间表数据。每个结构都包含不同类型的K字段，以某种顺序。该文件本质上是这些结构的数组（划分）。我希望能够毫米映射文件并将每个字段映射到一个numpy数组（或其他形式），在该数组中，该阵列识别dataframe中列为列的步幅（结构的大小）。

一个示例结构可能是：

struct {
   int32_t a;
   double b;
   int16_t c;
}

可以用Python生成这样的记录文件，因为

from struct import pack, unpack
db = open("binarydb", "wb")
for i in range(1,1000):
    packed = pack('<idh', i, i*3.14, i*2)
    db.write(packed)
db.close()

问题是如何将其作为数据框架有效地查看此类文件。如果我们假设该文件是数亿行的长度，则需要使用MEM-MAP解决方案。

使用MEMMAP，如何将Numpy数组（或替代阵列结构）映射到列a的整数序列。在我看来，对于INT32系列“ A”，需要能够指示大步（14个字节）和偏移（在这种情况下为0），float64系列“ B”的偏移量为4，并且偏移了12对于INT16系列“ C”。

我已经看到，如果文件包含单个dtype，则可以轻松地针对mmap'ed创建一个numpy数组。是否可以通过指示类型，偏移和大步来拉出此文件中的不同系列？通过这种方法，可以将MMMAPPAPED列出现到Pandas或其他数据框架实现。

更好的是，是否有一种简单的方法将自定义的MEM映射格式集成到DASK中，从而使懒惰分页的好处进入文件？

Answer 1

您可以使用 numpy.memmap 这样做。由于您的输入数据类型不是本机类型，因此您需要使用高级numpy数据类型。请注意，由于Numpy不支持无界的流，而是固定大小的数组，因此您需要提前阵列的大小。

size = 999

datatype = np.dtype([('a', np.int32), ('b', np.float64), ('c', np.int16)])

# The final memory-mapped array
data = np.memmap("binarydb", dtype=datatype, mode='write', shape=size)

for i in range(1,1+size):
    data[i]['a'] = i
    data[i]['b'] = i*3.14
    data[i]['c'] = i*2

请注意，矢量化操作通常比Numpy中的直接索引要快得多。如果操作无法矢量化，则NUMBA也可以用于加快直接索引。

请注意，内存映射的区域可以冲洗但尚未以Numpy关闭。

Answer 2

从上面的 @jérômeRichard的回答中推断出来。这是从二进制记录序列中读取的代码：

size = 999
datatype = np.dtype([('a', np.int32), ('b', np.float64), ('c', np.int32)])

# The final memory-mapped array
data = np.memmap("binarydb", dtype=datatype, mode='readonly', shape=size)

然后可以将每个系列拉到：

data['a']
data['b']
data['c']