Question

回顾

• 什么是 S VD？
• SVD 有哪些应用？

额外的 SVD 应用

我最近遇到的一个有趣的 SVD 用法是为 Word2Vec 词嵌入消除偏见，来自 词嵌入中的量化和减少刻板印象 （Bolukbasi 等）。

Word2Vec 是 Google 发布的一个有用的库，它将单词表示为向量。 向量的相似性捕获了语义，并且可以找到类比，例如巴黎：法国::东京：日本。

来源： 词的向量表示

然而，这些嵌入可能隐式编码偏见，例如父亲：医生::母亲：护士，和男人：计算机程序员::女人：家庭主妇。

一种为空间消除偏见的方法涉及使用 SVD 来降低维数（ Bolukbasi 论文 ）。

你可以在词嵌入中阅读关于偏见的更多信息：

• 向量空间数学如何揭示隐藏在语言中的性别歧视 （麻省理工学院技术评论）
• ConceptNet：更好，更少刻板印象的词向量
• 从语料库中自动导出的语义必然包含人类偏见 （优秀且非常有趣的论文！）

考虑 SVD 的方法

• 数据压缩
• SVD 使用更小更好的特征替换大量特征
• 所有矩阵都是对角的（如果你使用基于域和范围的更改）

SVD 的视角

我们通常从矩阵的角度谈论 SVD，

但我们也可以用向量来思考它。 SVD 为我们提供了一组正交向量 和 。

是标量，称为奇异值。

问题：这个让你想起了什么？

答案

SVD 与特征分解之间的关系： A 的左奇异向量是 的特征向量。 A 的右奇异向量是 的特征向量。 A 的非零奇异值是 （和 ）的特征值的平方根。

SVD 是特征值分解的推广。 并非所有矩阵都具有特征值，但所有矩阵都具有奇异值。

让我们忘记 SVD，并讨论如何找到对称正定矩阵的特征值......

SVD 的扩展资源

• SVD：图像压缩和最小二乘法
• 使用 SVD 的图像压缩
• 非凡的 SVD
• 奇异值分解：矩阵的 SVD