Question

1. fastText 是 Facebook AI Research 在 2016 年开源的文本分类器，其提出是在论文 《Bag of Tricks for Efficient Text Classification》 中。目前 fastText 作为文本分类的基准模型。

   fastText 的优点是：在保持分类效果的同时，大大缩短了训练时间。

   • 在 8个 数据集上，不同模型的测试误差：

     

   • 单个 epoch 的训练时间（char-CNN 、VDCNN 和 fastText ）：

     

2. fastText 的网络结构与 word2vec 的 CBOW 非常相似。区别在两个地方：

   • 输入：单篇文档的所有单词都作为网络的输入。因此这里的参数 C 是动态的，它等于当前文档的单词数量。

   • 输出：这里网络的输出是各类别的概率。通常文本分类的类别$K$$ K $ 远小于词典大小$V$$ V $ ，因此可以不必进行分层 softmax 和负采样。

   

3. 隐向量为所有输入单词映射结果的均值：

   $$\begin{array}{}\text{(110)}& \overrightarrow{\mathbf{h}}=\frac{1}{C}{\mathbf{W}}^T({\overrightarrow{\mathbf{x}}}_1+{\overrightarrow{\mathbf{x}}}_2+\cdots +{\overrightarrow{\mathbf{x}}}_C)=\frac{1}{C}({\overrightarrow{\mathbf{w}}}_{I_1}+{\overrightarrow{\mathbf{w}}}_{I_2}+\cdots +{\overrightarrow{\mathbf{w}}}_{I_C})\end{array}$$

   其中：$I_i$$ I_i $ 表示第$i$$ i $ 个输入单词在词汇表$\mathbb{V}$$ \mathbb V $ 中的编号，${\overrightarrow{\mathbf{w}}}_j$$ \mathbf{\vec w}_j $ 为矩阵$\mathbf{W}$$ \mathbf W $ 的第$j$$ j $ 行，它是对应输入单词的输入向量。

   单个样本的损失函数为（$k^{\ast }$$ k^* $ 为真实类别标签）：

   $$\begin{array}{}\text{(111)}& E=-u_{k^{\ast }}+\log \sum _{k=1}^K\exp (u_k)=-{\overrightarrow{\mathbf{w}}}_{k^{\ast }}^{\prime }\cdot \overrightarrow{\mathbf{h}}+\log \sum _{k=1}^K\exp ({\overrightarrow{\mathbf{w}}}_k^{\prime }\cdot \overrightarrow{\mathbf{h}})\end{array}$$

   定义每个输出单元的预测误差$e_k=\frac{\partial E}{\partial u_k}=y_k-t_k$$ e_k=\frac{\partial E}{\partial u_k}=y_k-t_k $ ，与CBOW 多个单词上下文的推导相同：

   • 更新${\mathbf{W}}^{\prime }$$ \mathbf W^\prime $ ：

     $$\begin{array}{}\text{(112)}& {\overrightarrow{\mathbf{w}}}_k^{\prime (new)}={\overrightarrow{\mathbf{w}}}_k^{\prime (old)}-\eta e_k\overrightarrow{\mathbf{h}},k=1,2,\cdots ,K\end{array}$$

     其中$\overrightarrow{\mathbf{h}}=\frac{1}{C}({\overrightarrow{\mathbf{w}}}_{I_1}+{\overrightarrow{\mathbf{w}}}_{I_2}+\cdots +{\overrightarrow{\mathbf{w}}}_{I_C})$$ \mathbf{\vec h}=\frac 1C (\mathbf{\vec w}_{I_1}+\mathbf{\vec w}_{I_2}+\cdots+\mathbf{\vec w}_{I_C}) $ 。

   • 更新$\mathbf{W}$$ \mathbf W $ ：

     $$\begin{array}{}\text{(113)}& {\overrightarrow{\mathbf{w}}}_{I_i}^{(new)}={\overrightarrow{\mathbf{w}}}_{I_i}^{(old)}-\frac{1}{C}\eta \overrightarrow{\mathbf{EH}},i=1,2,\cdots ,C\end{array}$$

     其中 ：

     • $\overrightarrow{\mathbf{EH}}={\mathbf{W}}^{\prime }\overrightarrow{\mathbf{e}}=\sum _{k=1}^K{e}_k{\overrightarrow{\mathbf{w}}}_k^{\prime }$$ \mathbf{\overrightarrow {EH}} = \mathbf W^\prime \mathbf{\vec e} =\sum_{k=1}^Ke_k \mathbf{\vec w}^{\prime }_k $ ，它是所有类别输出向量的加权和，其权重为$e_k$$ e_k $ 。

     • $I_i$$ I_i $ 为第$i$$ i $ 个输入单词在词表$\mathbb{V}$$ \mathbb V $ 中的编号。

4. 如果考虑词序则分类的效果还可以进一步提升，因此在 fastText 中可以引入 N-gram 特征。如：2-gram 合并文档中连续的2个单词作为特征。

5. fastText 生成的词向量嵌入的是分类的信息，而word2vec 生成的词向量更多的嵌入了通用语义信息。

   • fastText 词向量得到的相似度是基于分类类别的相似。如：商品评论情感分类任务中，好吃 和 好玩 是相似的，因为它们都是正向情感词。

   • word2vec 词向量得到的相似度是基于语义的相似。此时 好吃 和 美味 是相似的，因为这二者经常出现在类似的上下文中。