pytables

pytables

文章 0 浏览 2

PyTables 与 SQLite3 插入速度

我买了Kibot的股票数据,数据非常庞大。我有大约 125,000,000 行要加载(1000 只股票 * 125k 行/股票 [自 2010 年 1 月 1 日以来的 1 分钟柱线数据],…

鲸落 2024-11-08 13:08:43 1 0

使用 pytables 选择列子集的最优雅的方法是什么?

我的 pytables 中有一个包含 300 多列的数据集,我希望能够轻松选择不同的子集。似乎没有一个非常优雅的解决方案,或者我缺少什么? 我也很高兴有一种…

盗梦空间 2024-11-07 21:21:34 0 0

在 Mac 上运行构建的 PyTables 时出现问题

我在 Mac 上构建了 numpy 1.5.1、numexpr 1.4.2 和 PyTables 2.2.1,但出现以下错误。我用谷歌搜索了它,但发现只有 1 个地方有人提到了这个特定的错…

誰認得朕 2024-11-06 03:46:14 1 0

在 PyTables 中,如何创建可变长度的嵌套数组?

我正在使用 PyTables 2.2.1 w/ Python 2.6,我想创建一个包含可变长度的嵌套数组的表。 我搜索了 PyTables 文档,教程示例 (PyTables 教程 3.8) 展示…

不弃不离 2024-10-24 03:48:49 1 0

如何使用正则表达式删除 python 字符串中的十六进制值?

我在matlab中有一个元胞数组 columns = {'MagX', 'MagY', 'MagZ', ... 'AccelerationX', 'AccelerationX', 'AccelerationX', ... 'AngularRateX', 'An…

盛夏尉蓝 2024-10-20 18:13:05 1 0

在 Python 中存储和重新加载大型多维数据集

我将运行大量模拟,生成大量需要存储并稍后再次访问的数据。我的模拟程序的输出数据被写入文本文件(每个模拟一个)。我计划编写一个 Python 程序来读…

岁月静好 2024-10-18 10:38:51 2 0

PyTables批量获取和更新

我有使用 PyTables 创建的 HDF5 文件形式的每日股票数据。我想获取一组行,将其作为数组处理,然后使用 PyTables 将其写回磁盘(更新行)。我想不出一…

倾`听者〃 2024-10-18 08:28:33 1 0

“读入”通过 PyTables 或 PyHDF 将大文本文件导入 hdf5?

我正在尝试使用 SciPy 进行一些统计,但我的输入数据集非常大(~1.9GB)并且采用 dbf 格式。 该文件足够大,以至于当我尝试使用 genfromtxt 创建数组…

明媚殇 2024-10-11 02:49:49 2 0

将 2 个 hdf5 文件与 pytables 合并

ptrepack 几乎是我想要的,只是它只有覆盖或忽略的选项重复的路径。下面的示例说明了我希望使用结构发生什么 输入文件一个 / (RootGroup) '' /data_se…

十六岁半 2024-10-06 12:13:53 4 0

有没有办法以特定顺序存储 PyTable 列?

当使用字典或类进行模式定义以调用 createTable() 时,PyTable 列似乎按字母顺序排列。我的需要是建立一个特定的顺序,然后使用 numpy.genfromtxt() …

谜兔 2024-10-04 23:12:01 0 0

HDF5:存储 NumPy 数据

当我使用 NumPy 时,我以本机格式 *.npy 存储它的数据。它非常快,给了我一些好处,比如 我可以从 C 代码中读取 *.npy 简单的二进制数据(我的意思是 …

沩ん囻菔务 2024-10-01 20:49:23 6 0

HDF5内部数据组织和NumPy使用

正如 hdf5 文档所述,HDF5 使用 NumPy 存储数据 “它构建在 HDF5 库、Python 语言和 NumPy 包之上。它具有面向对象的接口,与 C 扩展相结合,可满足性…

一场信仰旅途 2024-10-01 12:55:53 4 0

存储“对象”

PyTables 支持存储 Python 对象吗? 像这样的事情: dtype = np.dtype([('Name', '|S2'), ('objValue', object)]) data = np.zeros(3, dtype) file.cr…

南风起 2024-09-30 22:57:09 2 0

使用存储的列名作为变量名提取 PyTables 表的最有效方法

以下代码提供了我需要的功能;但是,对于包含 200 个变量、64000 行的表来说,需要 10 秒多一点的时间。是否有更有效的方法来创建与列名称匹配的变量…

一场春暖 2024-09-24 04:58:37 2 0

5000 万个节点层次结构或更多

有没有人有任何好主意来实现大规模可扩展的分层数据存储?它需要快速添加并能够让站点的许多用户请求有关层次结构中某个节点以下的节点数量的报告。 …

柏林苍穹下 2024-09-15 22:06:52 4 0
更多

推荐作者

1CH1MKgiKxn9p

文章 0 评论 0

ゞ记忆︶ㄣ

文章 0 评论 0

JackDx

文章 0 评论 0

信远

文章 0 评论 0

yaoduoduo1995

文章 0 评论 0

霞映澄塘

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文