Question

1. 潜在语义分析latent semantic analysis:LSA 的基本假设是：如果两个词多次出现在同一篇文档中，则这两个词具有语义上的相似性。

2.1 原理

1. 给定文档-单词 矩阵$\mathbf{D}$$ \mathbf D $

   $$\begin{array}{}\text{(4)}& \begin{array}{c}\mathbf{D}=\left[\begin{array}{ccccc}{w}_{1,1}& w_{1,2}& w_{1,3}& \cdots & w_{1,V}\\ w_{2,1}& w_{2,2}& w_{2,3}& \cdots & w_{2,V}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ w_{N,1}& w_{N,2}& w_{N,3}& \cdots & w_{N,V}\end{array}\right]\end{array}\end{array}$$

   其中$w_{i,j}$$ w_{i,j} $ 表示单词${\text{word}}_j$$ \text{word}_j $ 在文档${\mathcal{D}}_i$$ \mathcal D_i $ 中的权重，可以为：单词${\text{word}}_j$$ \text{word}_j $ 在文档${\mathcal{D}}_i$$ \mathcal D_i $ 中是否出现的0/1 值、单词${\text{word}}_j$$ \text{word}_j $ 在文档${\mathcal{D}}_i$$ \mathcal D_i $ 中出现的频次、或者单词${\text{word}}_j$$ \text{word}_j $ 在文档${\mathcal{D}}_i$$ \mathcal D_i $ 中的TF-IDF 值。

2. 定义${\overrightarrow{\mathbf{v}}}_j=(w_{1,j},w_{2,j},\cdots ,w_{N,j}{)}^T$$ \mathbf{\vec v}_j=(w_{1,j},w_{2,j},\cdots,w_{N,j})^T $ ， 它为矩阵$\mathbf{D}$$ \mathbf D $ 的第$j$$ j $ 列，代表单词${\text{word}}_j$$ \text{word}_j $ 的单词-文档向量，描述了该单词和所有文档的关系。

   • 向量内积${\overrightarrow{\mathbf{v}}}_p\cdot {\overrightarrow{\mathbf{v}}}_q$$ \mathbf{\vec v}_p\cdot \mathbf{\vec v}_q $ 描述了单词${\text{word}}_p$$ \text{word}_p $ 和单词${\text{word}}_q$$ \text{word}_q $ 在文档集合中的相似性。

   • 矩阵乘积${\mathbf{D}}^T\mathbf{D}\in {\mathbb{R}}^{V\times V}$$ \mathbf D^T\mathbf D \in \mathbb R^{V\times V} $ 包含了所有词向量内积的结果。

3. 定义${\overrightarrow{\mathbf{d}}}_i=(d_{i,1},d_{i,2},\cdots ,d_{i,V}{)}^T$$ \mathbf{\vec d}_i= (d_{i,1},d_{i,2},\cdots,d_{i,V})^T $ ，它为矩阵$\mathbf{D}$$ \mathbf D $ 的第$i$$ i $ 行，代表文档${\mathcal{D}}_i$$ \mathcal D_i $ 的文档-单词向量，描述了该文档和所有单词的关系。

   • 向量内积${\overrightarrow{\mathbf{d}}}_s\cdot {\overrightarrow{\mathbf{d}}}_t$$ \mathbf{\vec d}_s\cdot \mathbf{\vec d}_t $ 描述了文档${\mathcal{D}}_s$$ \mathcal D_s $ 和文档${\mathcal{D}}_t$$ \mathcal D_t $ 在文档集合中的相似性。

   • 矩阵乘积$\mathbf{D}{\mathbf{D}}^T\in {\mathbb{R}}^{N\times N}$$ \mathbf D\mathbf D^T \in \mathbb R^{N\times N} $ 包含了所有文档向量内积的结果。

4. 对矩阵$\mathbf{D}$$ \mathbf D $ 进行SVD 分解。假设矩阵$\mathbf{D}$$ \mathbf D $ 可以分解为：$\mathbf{D}=\mathbf{P}\mathbf{\Sigma }{\mathbf{Q}}^T$$ \mathbf D = \mathbf P \mathbf \Sigma \mathbf Q^T $ 。其中：

   • $\mathbf{P}\in {\mathbb{R}}^{N\times N},\mathbf{Q}\in {\mathbb{R}}^{V\times V}$$ \mathbf P \in \mathbb R^{N\times N},\mathbf Q \in \mathbb R^{V\times V} $ 为单位正交矩阵。

   • $\mathbf{\Sigma }\in {\mathbb{R}}^{N\times V}$$ \mathbf \Sigma \in \mathbb R^{N\times V} $ 为广义对角矩阵。

     $$\begin{array}{}\text{(5)}& \begin{array}{c}\mathbf{\Sigma }=\left[\begin{array}{ccccccc}{\sigma }_1& 0& \cdots & 0& 0& \cdots & 0\\ 0& {\sigma }_2& \cdots & 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_r& 0& \cdots & 0\\ 0& 0& \cdots & 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ 0& 0& 0& \cdots & 0& \cdots & 0\end{array}\right]\end{array}\end{array}$$

     其中${\sigma }_1\ge {\sigma }_2\ge \cdots \ge {\sigma }_r>0$$ \sigma_1\ge \sigma_2\ge\cdots\ge\sigma_r\gt 0 $ 称作奇异值。

5. SVD 分解的物理意义为：将文档按照主题分解。所有的文档一共有$r$$ r $ 个主题，每个主题的强度 （主题强度就是主题在数据集中出现的次数）分别为：${\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r$$ \sigma_1,\sigma_2,\cdots,\sigma_r $ 。

   • 第$i$$ i $ 篇文档${\mathcal{D}}_i$$ \mathcal D_i $ 由这$r$$ r $ 个主题组成，文档的主题概率分布（称作文档-主题向量）为：

     $$\begin{array}{}\text{(6)}& {\overrightarrow{\mathbf{p}}}^{(i)}=(P(i,1),P(i,2),\cdots ,P(i,r){)}^T\end{array}$$

   • 第$t$$ t $ 个主题由$V$$ V $ 个单词组成，主题的单词概率分布（称作主题-单词向量 ）为：

     $$\begin{array}{}\text{(7)}& {\overrightarrow{\mathbf{q}}}^{(t)}=(Q(t,1),Q(t,2),\cdots ,Q(t,V){)}^T\end{array}$$

   • 第$j$$ j $ 个单词由$r$$ r $ 个主题组成，单词的主题概率分布（称作 单词-主题 向量）为：

     $$\begin{array}{}\text{(8)}& {\overrightarrow{\mathbf{v}}}^{(j)}=(Q(1,j),Q(2,j),\cdots ,Q(r,j){)}^T\end{array}$$

   • 根据$\mathbf{D}=\mathbf{P}\mathbf{\Sigma }{\mathbf{Q}}^T$$ \mathbf D = \mathbf P \mathbf \Sigma \mathbf Q^T $ 有：

     $$\begin{array}{}\text{(9)}& \begin{array}{c}\mathbf{D}=\mathbf{P}{\left[\begin{array}{cccc}1& 0& \cdots & 0\\ 0& 1& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1\\ 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 0\end{array}\right]}_{N\times r}\left[\begin{array}{cccc}{\sigma }_1& 0& \cdots & 0\\ 0& {\sigma }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\sigma }_r\end{array}\right]{\left[\begin{array}{ccccccc}1& 0& \cdots & 0& 0& \cdots & 0\\ 0& 1& \cdots & 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & 1& 0& \cdots & 0\end{array}\right]}_{r\times V}{\mathbf{Q}}^T\end{array}\end{array}$$

     则该分解的物理意义为：文档-单词 矩阵 = 文档-主题 矩阵 x 主题强度 x 主题-单词 矩阵。

2.2 应用

1. 得到了文档的主题分布、单词的主题分布之后，可以获取文档的相似度和单词的相似度。

   • 文档${\mathcal{D}}_i$$ \mathcal D_i $ 和文档${\mathcal{D}}_j$$ \mathcal D_j $ 的相似度：

     $$\begin{array}{}\text{(10)}& sim({\mathcal{D}}_i,{\mathcal{D}}_j)=\frac{{\overrightarrow{\mathbf{p}}}^{(i)}\cdot {\overrightarrow{\mathbf{p}}}^{(j)}}{||{\overrightarrow{\mathbf{p}}}^{(i)}||\times ||{\overrightarrow{\mathbf{p}}}^{(j)}||}\end{array}$$

   • 单词${\text{word}}_i$$ \text{word}_i $ 和单词${\text{word}}_j$$ \text{word}_j $ 的相似度：

     $$\begin{array}{}\text{(11)}& sim({\text{word}}_i,{\text{word}}_j)=\frac{{\overrightarrow{\mathbf{v}}}^{(i)}\cdot {\overrightarrow{\mathbf{v}}}^{(j)}}{||{\overrightarrow{\mathbf{v}}}^{(i)}||\times ||{\overrightarrow{\mathbf{v}}}^{(j)}||}\end{array}$$

2. 虽然获得了文档的单词分布，但是并不能获得主题的相似度。因为$\mathbf{Q}$$ \mathbf Q $ 是正交矩阵，因此有：

   $$\begin{array}{}\text{(12)}& (Q(i,1),Q(i,2),\cdots ,Q(i,V){)}^T\cdot (Q(j,1),Q(j,2),\cdots ,Q(j,V){)}^T=0,i\ne j\end{array}$$

   则有：

   $$\begin{array}{}\text{(13)}& \begin{array}{c}sim({\text{topic}}_i,{\text{topic}}_j)=\frac{{\overrightarrow{\mathbf{q}}}^{(i)}\cdot {\overrightarrow{\mathbf{q}}}^{(j)}}{||{\overrightarrow{\mathbf{q}}}^{(i)}||\times ||{\overrightarrow{\mathbf{q}}}^{(j)}||}\\ =\frac{(Q(i,1),Q(i,2),\cdots ,Q(i,V){)}^T\cdot (Q(j,1),Q(j,2),\cdots ,Q(j,V){)}^T}{||{\overrightarrow{\mathbf{q}}}^{(i)}||\times ||{\overrightarrow{\mathbf{q}}}^{(j)}||}=0,i\ne j\end{array}\end{array}$$

   因此，任意两个主题之间的相似度为 0 。

3. 文档-主题向量由$\mathbf{P}$$ \mathbf P $ 决定。根据：$\mathbf{D}=\mathbf{P}\mathbf{\Sigma }{\mathbf{Q}}^T\to \mathbf{P}=\mathbf{D}\mathbf{Q}{\mathbf{\Sigma }}^{-1}\to {\mathbf{P}}^T={\mathbf{\Sigma }}^{-1}{\mathbf{Q}}^T{\mathbf{D}}^T$$ \mathbf D = \mathbf P \mathbf\Sigma \mathbf Q^T \rightarrow \mathbf P = \mathbf D\mathbf Q\mathbf \Sigma ^{-1} \rightarrow \mathbf P^T = \mathbf \Sigma ^{-1} \mathbf Q^T \mathbf D^T $ ，而文档-主题向量为$\mathbf{P}$$ \mathbf P $ 的行向量，也就是${\mathbf{P}}^T$$ \mathbf P^T $ 的列向量。文档-单词向量为$\mathbf{D}$$ \mathbf D $ 的行向量，也就是${\mathbf{D}}^T$$ \mathbf D^T $ 的列向量。

   因此对于一篇新的文档${\mathcal{D}}_s$$ \mathcal D_s $ ，假设其文档-单词向量为${\overrightarrow{\mathbf{w}}}_s$$ \mathbf{\vec w}_s $ ，则其文档-主题向量为：

   $$\begin{array}{}\text{(14)}& {\overrightarrow{\mathbf{p}}}^{(s)}={\mathbf{\Sigma }}^{-1}{\mathbf{Q}}^T{\overrightarrow{\mathbf{w}}}_s\end{array}$$

4. LSA 可以应用在以下几个方面：

   • 通过对文档的文档-主题向量 进行比较，从而进行基于主题的文档聚类或者分类。

   • 通过对单词的单词-主题向量进行比较，从而用于同义词、多义词进行检测。

   • 通过将query 映射到主题空间，进而进行信息检索。

2.3 性质

1. LSA 的本质是将矩阵$\mathbf{D}$$ \mathbf D $ 通过 SVD 进行降维，降维主要是由于以下原因：

   • 原始的文档-单词 矩阵$\mathbf{D}$$ \mathbf D $ 太大计算机无法处理，通过降维得到原始矩阵的一个近似。

   • 原始的文档-单词 矩阵$\mathbf{D}$$ \mathbf D $ 含有噪音，通过降维去掉原始矩阵的噪音。

   • 原始的文档-单词 矩阵$\mathbf{D}$$ \mathbf D $ 过于稀疏，通过降维得到一个稠密的矩阵。

2. LSA 的降维可以解决一部分同义词的问题，也可以解决一部分二义性的问题。

   • 经过降维，意义相同的同义词的维度会因降维被合并。

   • 经过降维，拥有多个意义的词，其不同的含义会叠加到对应的同义词所在的维度上。

3. LSA 的缺点：

   • 产生的主题维度可能存在某些主题可解释性差。即：它们并不代表一个人类理解上的主题。

   • 由于Bag of words:BOW 模型的局限性，它无法捕捉单词的前后顺序关系。

     一个解决方案是：采用二元词组或者多元词组。

   • LSA 假设单词和文档形成联合高斯分布。实际观察发现，它们是一个联合泊松分布。这种情况下，用pLSA 模型效果会更好。