八度错误：在内存或尺寸之外，对于八度的索引类型而言太大

Question

我正在尝试以八度的方式运行以下代码。变量“数据”由864行和25333列组成。

clc; clear all; close all;

pkg load statistics

GEO = load("GSE59739.mat");
GEOT = tabulate(GEO.class)
data = GEO.data;
clear GEO

idx = kmeans(data,3,'Distance','cosine');
test1 = silhouette(data, idx, 'cosine');
xlabel('Silhouette Value')
ylabel('Cluster')

这是我尝试运行轮廓函数时遇到的错误： “错误：在内存或尺寸中，对于八度的索引类型而言太大”。关于如何解决它有什么想法吗？

Answer 1

看来问题不一定与您的数据有关，而是Actave的统计软件包实现了 pdist 。正如错误消息所说，它使用的扩展会导致具有超过系统限制的尺寸的数组。

在Octave 6.4.0和统计1.4.3上使用一些相同大小的虚拟数据贯穿您的示例，我得到：

pkg load statistics
data = rand(864,25333);
idx = kmeans(data,3,'Distance','cosine');
test1 = silhouette(data, idx, 'cosine');

error: out of memory or dimension too large for Octave's index type
error: called from
    pdist at line 164 column 14
    silhouette at line 125 column 16

pdist 是计算矩阵中任何两个行之间的“距离”的函数，使用几种方法之一。 silhouette 使用 cosine 度量标准调用，并且该计算部分发生错误：

pdist ，第163-166行 cosine 代码>块：

case "cosine"
        prod = X(:,Xi) .* X(:,Yi);
        weights = sumsq (X(:,Xi), 1) .* sumsq (X(:,Yi), 1);
        y = 1 - sum (prod, 1) ./ sqrt (weights);

第一行计算 prod 导致错误，因为x = data'为25333x864，xi和yi各自372816x1，并通过运行nchoosek（1：行（data），data），data），data（data），data（data），data）形成2）（生成372816组的所有2个元素组合1：864）。

x（：，xi）和x（：，yi）每个请求创建一行（x）x行（xi）阵列或25333x372816，或9,444,547,728元素，对于双重精度数据需要75,556,381,824 byttes或75.6gb。奇怪的是您的机器无法处理。

只需使用MATLAB 2022A核对，它就可以在几秒钟内运行这些行而无需任何内存错误，而Test1输出仅为864x1。因此，似乎这个过多的内存开销是八度的实现的特定问题，而不是该技术固有的问题。

我已经在，但现在答案似乎是“余弦”度量标准，也许还有其他人，根本无法与此大小的输入数据一起使用。

更新：截至2022年6月19日，该PDIST内存问题的解决方案已将其推向统计软件包存储库，并将包含在下一个主要软件包版本中。同时，可以在