MATLAB：访问加载的 MAT 文件非常慢

Question

我目前正在开发一个涉及保存/加载相当大的 MAT 文件（大约 150 MB）的项目，我意识到访问加载的元胞数组比访问脚本或函数内创建的等效版本要慢得多。

我创建了这个示例来模拟我的代码并显示差异：

clear; clc;

disp('Test for computing with loading');

if exist('data.mat', 'file')
    delete('data.mat');
end

n_tests = 10000;
data = {};
for i=1:n_tests
    data{end+1} = rand(1, 4096);
end

% disp('Saving data');
% save('data.mat', 'data');
% clear('data');
% 
% disp('Loading data');
% load('data.mat', '-mat');

for i=1:n_tests
    tic;
    for j=1:n_tests
        d = sum((data{i} - data{j}) .^ 2);
    end
    time = toc;
    disp(['#' num2str(i) ' computed in ' num2str(time) ' s']);
end

在此代码中，没有保存或加载 MAT 文件。 i 上一次迭代的平均时间为 0.75 秒。当我取消注释行以保存/加载文件时，i 上的一次迭代的计算大约需要 6.2 秒（不考虑保存/加载时间）。差别是慢 8 倍！

我在 Windows 7 64 位上使用 MATLAB 7.12.0 (R2011a) 64 位，并且 MAT 文件使用版本 v7.3 保存。

会不会和MAT文件的压缩有关？或者缓存变量？ 有什么办法可以预防/避免这种情况吗？

Answer 1

我也知道这个问题。我认为这也与 matlab 中内存管理效率低下有关 - 而且我记得它在交换方面表现不佳。
一个 150MB 的文件可以轻松容纳大量数据 - 可能比快速分配的数据还要多。

我刚刚使用 信息对您的示例进行了快速计算数学工作
在您的情况下，total_size = n_tests*121 + n_tests*(1*4096* 8) 约为 313MB。

首先，我建议将它们保存为格式 7（而不是 7.3）——我注意到读取这种新格式的性能非常差。仅此一点就可能是您速度放缓的原因。

就我个人而言，我通过两种方式解决了这个问题：

1. 将数据拆分为较小的集合，然后使用在需要时加载数据或动态创建数据的函数（可以通过类优雅地完成）
2. 将数据移动到数据库中。 SQLite 和 MySQL 都很棒。两者都可以有效地处理更大的数据集（以 TB 而非 GB 为单位）。 SQL 语言可以非常高效地快速获取要操作的子集。

Answer 2

我使用 Windows 64 位、matlab 64 位 2014b 测试此代码。

不保存和加载的情况下，计算时间约为0.22s，
用'-v7'保存数据文件然后加载，计算时间约为0.2s。
使用“-v7.3”保存数据文件然后加载，计算时间约为4.1s。
所以和MAT文件的压缩有关。