PyTables 与 SQLite3 插入速度
我买了Kibot的股票数据,数据非常庞大。我有大约 125,000,000 行要加载(1000 只股票 * 125k 行/股票 [自 2010 年 1 月 1 日以来的 1 分钟柱线数据],…
使用 pytables 选择列子集的最优雅的方法是什么?
我的 pytables 中有一个包含 300 多列的数据集,我希望能够轻松选择不同的子集。似乎没有一个非常优雅的解决方案,或者我缺少什么? 我也很高兴有一种…
在 Mac 上运行构建的 PyTables 时出现问题
我在 Mac 上构建了 numpy 1.5.1、numexpr 1.4.2 和 PyTables 2.2.1,但出现以下错误。我用谷歌搜索了它,但发现只有 1 个地方有人提到了这个特定的错…
在 PyTables 中,如何创建可变长度的嵌套数组?
我正在使用 PyTables 2.2.1 w/ Python 2.6,我想创建一个包含可变长度的嵌套数组的表。 我搜索了 PyTables 文档,教程示例 (PyTables 教程 3.8) 展示…
如何使用正则表达式删除 python 字符串中的十六进制值?
我在matlab中有一个元胞数组 columns = {'MagX', 'MagY', 'MagZ', ... 'AccelerationX', 'AccelerationX', 'AccelerationX', ... 'AngularRateX', 'An…
“读入”通过 PyTables 或 PyHDF 将大文本文件导入 hdf5?
我正在尝试使用 SciPy 进行一些统计,但我的输入数据集非常大(~1.9GB)并且采用 dbf 格式。 该文件足够大,以至于当我尝试使用 genfromtxt 创建数组…
将 2 个 hdf5 文件与 pytables 合并
ptrepack 几乎是我想要的,只是它只有覆盖或忽略的选项重复的路径。下面的示例说明了我希望使用结构发生什么 输入文件一个 / (RootGroup) '' /data_se…
有没有办法以特定顺序存储 PyTable 列?
当使用字典或类进行模式定义以调用 createTable() 时,PyTable 列似乎按字母顺序排列。我的需要是建立一个特定的顺序,然后使用 numpy.genfromtxt() …
HDF5:存储 NumPy 数据
当我使用 NumPy 时,我以本机格式 *.npy 存储它的数据。它非常快,给了我一些好处,比如 我可以从 C 代码中读取 *.npy 简单的二进制数据(我的意思是 …
HDF5内部数据组织和NumPy使用
正如 hdf5 文档所述,HDF5 使用 NumPy 存储数据 “它构建在 HDF5 库、Python 语言和 NumPy 包之上。它具有面向对象的接口,与 C 扩展相结合,可满足性…
使用存储的列名作为变量名提取 PyTables 表的最有效方法
以下代码提供了我需要的功能;但是,对于包含 200 个变量、64000 行的表来说,需要 10 秒多一点的时间。是否有更有效的方法来创建与列名称匹配的变量…