在 Octave 中保存和加载矩阵的最快文件格式?

发布于 2025-01-01 08:17:42 字数 77 浏览 1 评论 0原文

我有一个大约 11,000 x 1,000 的矩阵,保存为 csv。加载需要很长时间。

保存矩阵最快(或推荐)的格式是什么?

I have a matrix that is about 11,000 x 1,000, saved as a csv. It takes forever to load.

What is the fastest (or recommended) format to save matrices in?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

半枫 2025-01-08 08:17:42

数据从哪里来?

早在我读研究生时,我就在 C++ 程序中生成了模拟数据和结果。由于我拥有数据,因此我编写了一个例程,以 Octave 所需的二进制格式写入矩阵数据 --- 哪个点的读取速度非常快,因为它变成了一个 fread 调用。

Where does the data come from?

Way back when I was in graduate school, I generated simulation data and results in a C++ program. As I owned the data, I wrote a routine to write the matrix data in the binary format expected by Octave --- and which point reading is pretty fast as it becomes a single fread call.

愛放△進行李 2025-01-08 08:17:42

不要忘记 -binary 选项。例如,

save -binary myfile.mat X Y Z;  % save X, Y, and Z matrices to myfile.mat
load myfile.mat;                % load X, Y, and Z matrices from myfile.mat

当我忘记使用 -binary 选项时,我的 80,000 x 402 双精度矩阵需要超过 22 分钟才能加载。使用 -binary 选项,花费的时间不到 2.5 秒。

Don't forget the -binary option. For example,

save -binary myfile.mat X Y Z;  % save X, Y, and Z matrices to myfile.mat
load myfile.mat;                % load X, Y, and Z matrices from myfile.mat

When I forgot to use the -binary option, my 80,000 x 402 matrix of doubles took more than 22 minutes to load. With the -binary option, it took less than 2.5 seconds.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文