对大量矩阵进行并行化或向量化所有对抗操作？

Question

我有大约 5,000 个矩阵，它们具有相同的行数和不同的列数 (20 x ~200)。这些矩阵中的每一个都必须在动态规划算法中与其他矩阵进行比较。

在这个问题中，我问如何快速进行比较并得到了涉及 2D 卷积的出色答案。串行地，迭代地应用该方法，

list = who('data_matrix_prefix*')
H = cell(numel(list),numel(list));  
for i=1:numel(list)
    for j=1:numel(list)
        if i ~= j
            eval([ 'H{i,j} = compare(' char(list(i)) ',' char(list(j)) ');']);
        end
    end
end

对于数据的小子集来说是快速的（例如，对于 9 个矩阵，9*9 - 9 = 72 次调用在 ~1 秒内进行，870 次调用在 ~2.5 秒内进行）。
然而，对所有数据进行操作需要近 2500 万次调用。
我还尝试使用 deal() 来创建一个完全由数据中的下一个元素组成的元胞数组，因此我可以在单个循环中使用 cellfun() ：

# who(), load() and struct2cell() calls place k data matrices in a 1D cell array called data.
nextData = cell(k,1);
for i=1:k
    [nextData{:}] = deal(data{i});
    H{:,i} = cellfun(@compare,data,nextData,'UniformOutput',false);
end

不幸的是，这实际上并没有更快，因为所有时间都在比较中()。这两个代码示例似乎都不适合并行化。我无法弄清楚如何对变量进行切片。
Compare() 是完全矢量化的；它专门使用矩阵乘法和 conv2() （我的印象是所有这些操作，包括 cellfun()，都应该在 MATLAB 中是多线程的？）。

有人看到（明确的）并行解决方案或更好的问题矢量化吗？

注意
我意识到我的两个例子都是低效的 - 如果第一个例子计算三角形元胞数组，速度会是原来的两倍，而第二个例子仍然在计算自我比较。但是，良好的并行化所节省的时间更像是 16 倍（如果我在每个人的机器上安装 MATLAB，则为 72 倍）。

旁白
还有一个内存问题。我使用了几次评估将 H 的每一列附加到文件中，名称如 H1、H2 等，然后清除 H_i。不幸的是，保存速度非常慢......

Answer 1

是

compare(a,b) == compare(b,a)

如果

compare(a,a) == 1

，则将循环更改

for i=1:numel(list)
    for j=1:numel(list)
    ...
    end
end

为

for i=1:numel(list)
    for j= i+1 : numel(list)
    ...
    end
end

并处理对称性和恒等性情况。这将使您的计算时间减少一半。

Answer 2

第二个示例可以轻松地切片以与并行处理工具箱一起使用。该工具箱将代码迭代分布在最多 8 个不同的本地处理器之间。如果你想在集群上运行代码，你还需要分布式计算工具箱。

%# who(), load() and struct2cell() calls place k data matrices in a 1D cell array called data.

parfor i=1:k-1 %# this will run the loop in parallel with the parallel processing toolbox
    %# only make the necessary comparisons
    H{i+1:k,i} = cellfun(@compare,data(i+1:k),repmat(data(i),k-i,1),'UniformOutput',false);

    %# if the above doesn't work, try this
    hSlice = cell(k,1);
    hSlice{i+1:k} = cellfun(@compare,data(i+1:k),repmat(data(i),k-i,1),'UniformOutput',false);
    H{:,i} = hSlice;
end

Answer 3

如果我理解正确的话，你必须执行 5000^2 矩阵比较？也许您应该考虑您的问题是由 5000^2 个任务组成，而不是尝试并行比较函数？ Matlab 并行计算工具箱支持基于任务的并行性。不幸的是，我在 PCT 方面的经验是大型线性代数类型问题的并行化，因此我无法告诉您更多信息。该文档无疑会给您带来更多帮助。