Question

1. 向量空间模型主要用于文档的表达。

2. 向量空间模型假设单词和单词之间是相互独立的，每个单词代表一个独立的语义单元。实际上该假设很难满足：

   • 文档中的单词和单词之间存在一定关联性，单词和其前面几个单词、后面几个单词可能存在语义上的相关性，而向量空间模型忽略了这种上下文的作用。

   • 文档中存在很多的一词多义和多词同义的现象，每个单词并不代表一个独立的语义单元。

1.1 文档-单词 矩阵

1. 给定语料库$\mathbb{D}$$ \mathbb D $ 和词汇表$\mathbb{V}$$ \mathbb V $ ，定义文档-单词 矩阵为：

   $$\begin{array}{}\text{(1)}& \begin{array}{cccccc}& {\text{word}}_1& {\text{word}}_2& {\text{word}}_3& \cdots & {\text{word}}_V\\ \\ {\mathcal{D}}_1& 0& 0& 1& \cdots & 0\\ {\mathcal{D}}_2& 1& 0& 1& \cdots & 0\\ ⋮& ⋮& ⋮& ⋮& \ddots & ⋮\\ {\mathcal{D}}_N& 0& 1& 1& \cdots & 0\end{array}\end{array}$$

   令矩阵为$\mathbf{D}$$ \mathbf D $ ，则：$D(i,j)=1$$ D(i,j)=1 $ 表示文档${\mathcal{D}}_i$$ \mathcal D_i $ 中含有单词${\text{word}}_j$$ \text{word}_j $ ；$D(i,j)=0$$ D(i,j)=0 $ 表示文档${\mathcal{D}}_i$$ \mathcal D_i $ 中不含单词${\text{word}}_j$$ \text{word}_j $ 。

   于是文档${\mathcal{D}}_i$$ \mathcal D_i $ 表示为：${\mathcal{D}}_i\to (0,1,0,1,\cdots ,0{)}^T$$ \mathcal D_i \rightarrow (0,1,0,1,\cdots,0)^T $ ，其中文档${\mathcal{D}}_i$$ \mathcal D_i $ 中包含的单词对应的位置取值为1，其它位置取值为 0 。

2. 事实上，文档的上述表达并未考虑单词的顺序，也未考虑单词出现的次数。一种改进策略是考虑单词出现的次数，从而赋予文档-单词 矩阵以不同的权重：

   $$\begin{array}{}\text{(2)}& \begin{array}{c}\mathbf{D}=\left[\begin{array}{ccccc}{w}_{1,1}& w_{1,2}& w_{1,3}& \cdots & w_{1,V}\\ w_{2,1}& w_{2,2}& w_{2,3}& \cdots & w_{2,V}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ w_{N,1}& w_{N,2}& w_{N,3}& \cdots & w_{N,V}\end{array}\right]\end{array}\end{array}$$

   其中$w_{i,j}$$ w_{i,j} $ 表示单词${\text{word}}_j$$ \text{word}_j $ 在文档${\mathcal{D}}_i$$ \mathcal D_i $ 中的权重。

   • 如果单词${\text{word}}_j$$ \text{word}_j $ 在文档${\mathcal{D}}_i$$ \mathcal D_i $ 中未出现，则权重$w_{i,j}=0$$ w_{i,j}=0 $

   • 如果单词${\text{word}}_j$$ \text{word}_j $ 在文档${\mathcal{D}}_i$$ \mathcal D_i $ 中出现，则权重$w_{i,j}\ne 0$$ w_{i,j}\ne 0 $

3. 权重$w_{i,j}$$ w_{i,j} $ 有两种常用的选取方法：

   • 单词权重等于单词出现的频率TF：$w_{i,j}=TF({\mathcal{D}}_i,{\text{word}}_j)$$ w_{i,j} = TF(\mathcal D_i,\text{word}_j) $ 。

     • 函数$TF({\mathcal{D}}_i,{\text{word}}_j)$$ TF(\mathcal D_i,\text{word}_j) $ 返回单词${\text{word}}_j$$ \text{word}_j $ 在文档${\mathcal{D}}_i$$ \mathcal D_i $ 中出现的频数。

     • 其缺点是：一些高频词（如：我们，是，大家）以较大的权重出现在每个文档中，这意味着对每篇文档这些高频词是比较重要的。事实上对于绝大多数 NLP 任务，将这些词过滤掉不会有任何影响。

   • 单词权重等于单词的TF-IDF：$w_{i,j}=TF({\mathcal{D}}_i,{\text{word}}_j)\times IDF({\text{word}}_j)$$ w_{i,j} = TF(\mathcal D_i,\text{word}_j) \times IDF(\text{word}_j) $ 。

     • 函数$IDF({\text{word}}_j)$$ IDF(\text{word}_j) $ 是单词的逆文档频率：$IDF({\text{word}}_j)=\log \frac{N}{DF({\text{word}}_j)}$$ IDF(\text{word}_j) = \log \frac{N}{DF(\text{word}_j)} $ 。其中：$N$$ N $ 为语料库的文档数量，$DF({\text{word}}_j)$$ DF(\text{word}_j) $ 为出现单词${\text{word}}_j$$ \text{word}_j $ 的文档的数量，$\frac{DF({\text{word}}_j)}{N}$$ \frac {DF(\text{word}_j)}{N} $ 为单词${\text{word}}_j$$ \text{word}_j $ 出现在一篇文档中的概率。

     • TF-IDF 对于高频词进行降权。如果单词${\text{word}}_j$$ \text{word}_j $ 出现在大多数文档中，则$\frac{DF({\text{word}}_j)}{N}$$ \frac {DF(\text{word}_j)}{N} $ 较大，因此$IDF({\text{word}}_j)$$ IDF(\text{word}_j) $ 会较小。

4. TF-IDF 不仅考虑了单词的局部特征，也考虑了单词的全局特征。

   • 词频$TF({\mathcal{D}}_i,{\text{word}}_j)$$ TF(\mathcal D_i,\text{word}_j) $ 描述了单词${\text{word}}_j$$ \text{word}_j $ 在文档${\mathcal{D}}_i$$ \mathcal D_i $ 中的局部统计特征。

   • 逆文档频率$IDF({\text{word}}_j)$$ IDF(\text{word}_j) $ 描述了单词${\text{word}}_j$$ \text{word}_j $ 在语料库$\mathbb{D}$$ \mathbb D $ 中的全局统计特征。

1.2 相似度

1. 给定 文档-单词 矩阵，则很容易得到文档的向量表达：${\mathcal{D}}_i\to (w_{i,1},w_{i,2},\cdots ,w_{i,V}{)}^T$$ \mathcal D_i \rightarrow (w_{i,1},w_{i,2},\cdots,w_{i,V})^T $ 。

   给定文档${\mathcal{D}}_i,{\mathcal{D}}_j$$ \mathcal D_i,\mathcal D_j $ ，则文档的相似度为：

   $$\begin{array}{}\text{(3)}& similar({\mathcal{D}}_i,{\mathcal{D}}_j)=\cos ({\overrightarrow{\mathbf{w}}}_i,{\overrightarrow{\mathbf{w}}}_j)=\frac{{\overrightarrow{\mathbf{w}}}_i\cdot {\overrightarrow{\mathbf{w}}}_j}{||{\overrightarrow{\mathbf{w}}}_i||\cdot ||{\overrightarrow{\mathbf{w}}}_j||}\end{array}$$

   其中${\overrightarrow{\mathbf{w}}}_i=(w_{i,1},w_{i,2},\cdots ,w_{i,V}{)}^T,{\overrightarrow{\mathbf{w}}}_j=(w_{j,1},w_{j,2},\cdots ,w_{j,V}{)}^T$$ \mathbf{\vec w}_i= (w_{i,1},w_{i,2},\cdots,w_{i,V})^T,\quad \mathbf{\vec w}_j= (w_{j,1},w_{j,2},\cdots,w_{j,V})^T $ 。

   也可以使用其它方式的相似度，如$L_2$$ L_2 $ 距离相似度。