Question

1. 给定包含$N$$ N $ 篇文档的语料库$\mathbb{D}=\{{\mathcal{D}}_1,{\mathcal{D}}_2,\cdots ,{\mathcal{D}}_N\}$$ \mathbb D =\{\mathcal D_1,\mathcal D_2,\cdots,\mathcal D_N \} $ ，所有的单词来自于包含$V$$ V $ 个词汇的词汇表$\mathbb{V}=\{{\text{word}}_1,{\text{word}}_2,\cdots ,{\text{word}}_V\}$$ \mathbb V = \{\text{word}_1,\text{word}_2,\cdots,\text{word}_V\} $ ，其中$V$$ V $ 表示词汇表的大小 。

   每篇文档${\mathcal{D}}_i$$ \mathcal D_i $ 包含单词序列$({\text{word}}_{w_1^i},{\text{word}}_{w_2^i},\cdots ,{\text{word}}_{w_{n_i}^i})$$ (\text{word}_{w_1^i},\text{word}_{w_2^i},\cdots,\text{word}_{w_{n_i}^i} ) $ ，其中$w_j^i\in \{1,2,\cdots ,V\}$$ w_j^i \in \{1,2,\cdots,V\} $ 表示第$i$$ i $ 篇文档的第$j$$ j $ 个单词在词汇表中的编号，$n_i$$ n_i $ 表示第$i$$ i $ 篇文档包含$n_i$$ n_i $ 个单词。

   词的表达任务要解决的问题是：如何表示每个词汇${\text{word}}_v$$ \text{word}_v $ 。

2. 最简单的表示方式是one-hot 编码：对于词汇表中第$v$$ v $ 个单词${\text{word}}_v$$ \text{word}_v $ ，将其表示为${\text{word}}_v\to (0,0,\cdots ,0,1,0,\cdots ,0{)}^T$$ \text{word}_v \rightarrow (0,0,\cdots,0,1,0,\cdots,0)^T $ ，即第$v$$ v $ 位取值为1，剩余位取值为0 。

   这种表示方式有两个主要缺点：

   • 无法表达单词之间的关系：对于任意一对单词$({\text{word}}_i,{\text{word}}_j)$$ (\text{word}_i,\text{word}_j) $ ，其向量距离均为$\sqrt{2}$$ \sqrt 2 $ 。

   • 向量维度过高：对于中文词汇表，其大小可能达到数十万，因此one-hot 向量的维度也在数十万维。这对于存储、计算都消耗过大。

3. BOW:Bag of Words：词在文档中不考虑先后顺序，这称作词袋模型。