如何在 python hcluster 中使用稀疏矩阵？

Question

我正在尝试在 python 中使用 hcluster 库。我没有足够的 python 知识来在 hcluster 中使用稀疏矩阵。请任何人帮助我。所以，我正在做的事情：

import os.path
import numpy
import scipy
import scipy.io 
from hcluster import squareform, pdist, linkage, complete 
from hcluster.hierarchy import linkage, from_mlab_linkage 
from numpy import savetxt 
from StringIO import StringIO 

data.dmp 包含矩阵看起来像：

  A B C D
A 0 1 0 1 
B 1 0 0 1 
C 0 0 0 0 
D 1 1 0 0 

并且仅包含矩阵的右上部分。我不知道如何正确地用英语拼写:)所以，所有数字都高于主对角线 所以 data.dmp 包含： 1 0 1, 0 1 , 0

f = file('data.dmp','r')  
s = StringIO(f.readline()).getvalue()
f.close()

matrix = numpy.asarray(eval("["+s+"]"))

由于我未知的原因，hcluster 使用反转值，例如，如果 A!=C，我使用 0，如果 A == D

sqfrm = squareform(matrix)
Y = pdist(sqfrm, metric="cosine")

链接 Y，

Z = linkage(Y, method="complete")

我使用 1所以，矩阵 Z是我需要的（如果我正确使用了 hcluster？）

但我有下一个问题：

1. 我想使用稀疏矩阵 大量的输入数据，因为是时候了 消耗生成输入数据 像现在一样，我需要将数据导入到 python 来自另一种语言，那就是 为什么我需要读取文本文件。请 好心，Python大师的建议如何 成功了吗？

2. 致使用过Python的人 hcluster，我需要处理巨大的 数据量，数百行， 可以在hcluster中做吗？ 这个算法确实产生了正确的结果 HAC？

感谢您的阅读，感谢您的帮助！

Answer 1

将每个输入表示为字典，从特征名称到值。字典中不存在零。

自己计算 Y 矩阵，而不是使用 hcluster.pdist。以下代码执行稀疏平方误差。平方误差相当于余弦距离如果您对所有特征向量进行 l2 归一化。

def sqrerr(repr1, repr2):
    """
    Compute the sqrerr between two reprs.
    The reprs are each a dict from feature to feature value.
    """
    keys = frozenset(repr1.keys() + repr2.keys())
    sqrerr = 0.
    for k in keys:
        diff = repr1.get(k, 0.) - repr2.get(k, 0.)
        sqrerr += diff * diff
    return sqrerr

您应该为要计算的每个 Y[i,j] 元素调用 sqrerr。

将 Y 设为方阵，并确保 Y[i,j] == Y[j,i]。使用方法 hcluster.squareform 将 Y 转换为适合 hcluster.linkage 的形式。