hdf5 和 ndarray 附加/大型数据集的省时方法

Question

背景

我有 ak 个 n 维时间序列，每个序列表示为包含浮点值的 mx (n+1) 数组（n 列加上代表日期的一列）。

示例：

k 个（大约 400 万个）时间序列，看起来像

20100101    0.12    0.34    0.45    ...
20100105    0.45    0.43    0.21    ...
...         ...     ...     ... 

每天，我想为数据集的子集（< k）添加一个附加行。所有数据集都按组存储在一个 hd5f 文件中。

问题

将行附加到数据集的最省时的方法是什么？

输入是一个 CSV 文件，看起来

key1, key2, key3, key4, date, value1, value2, ... 

日期对于特定文件来说是唯一的，可以忽略。我有大约 400 万个数据集。问题是我必须查找键、获取完整的 numpy 数组、调整数组大小、添加行并再次存储数组。 hd5f 文件的总大小约为 100 GB。知道如何加快速度吗？ 我想我们可以同意，使用 SQLite 或类似的东西是行不通的——一旦我拥有了所有数据，平均数据集将拥有超过 100 万个元素乘以 400 万个数据集。

谢谢！

Answer 1

您看过 PyTables 吗？它是一个构建在 HDF5 库之上的分层数据库。

它有多种数组类型，但“表”类型听起来适合您的数据格式。它基本上是 NumPy 记录数组的磁盘版本，其中每一列都可以是唯一的数据类型。表有一个追加方法，可以轻松添加额外的行。

就从 CSV 文件加载数据而言，numpy.loadtxt 相当快。它将文件作为 NumPy 记录数组加载到内存中。