五、Simple-But-Tough-To-Beat Baseline For Sentence Embedding [2017]

发布于 2023-07-17 23:38:25 字数 61729 浏览 0 评论 0 收藏 0

word embedding 是自然语言处理和信息检索的基本构建模块。最近的工作试图计算能够捕获单词序列（短语、句子和段落）语义的 embedding ，其方法从简单的 word vectors 的组合，到复杂的架构（如 CNN, RNN）。最近，《Towards universal paraphrastic sentence embeddings》通过从标准的 word embedding 开始，并根据来自 Paraphrase pairs dataset: PPDB 的监督对其进行修改，通过训练一个简单的 word averaging model 来构建 sentence embedding ，从而学习了通用的、paraphrastic 的 sentence embedding 。这种简单的方法在文本相似性任务上比各种方法有更好的表现，可以作为文本分类任务的良好初始化。然而，来自 paraphrase dataset 的监督似乎很关键，因为他们报告说， initial word embedding 的简单地取均值的效果并不理想。
论文 《A Simple but Tough-to-Beat Baseline for Sentence Embeddings》 给出了一种新的 sentence embedding 方法：只需计算句子中 word vectors 的加权平均，然后把加权平均向量在句子的 word vectors 的第一个奇异向量上的投影移除（"common component removal" ）。这里，单词 $w$ $ w $ 的权重为： $a / (a + p (w))$ $ a/(a + p(w)) $ ，其中 $a$ $ a $ 为一个参数， $p (w)$ $ p(w) $ 为词频 word frequency 。这个权重被称作 smooth inverse frequency: SIF 。该方法在各种文本相似性任务上取得了明显优于 unweighted average 的性能，在其中大多数任务上甚至击败了《Towards universal paraphrastic sentence embeddings》中测试的一些复杂的监督方法，包括一些 RNN 和 LSTM 模型。该方法非常适用于 domain adaptation setting ，即把从不同语料库上训练好的 word vector 来计算不同任务的 sentence embedding 。它对加权方案也相当鲁棒：
- 使用从不同语料库中估计的词频不会损害性能。
- 参数 $a$ $ a $ 可以在较大范围内变化并且实现接近最佳的结果。
这里的核心在于移除第一个奇异向量上的投影，因为这会改善 word embedding 的各向异性问题。
相关工作：略。（技术过于古老，不用花时间研究相关工作）。

5.1 模型

我们简单回顾一下 《A latent variable model approach to PMI-based word embeddings》 中的用于文本的 latent variable generative model 。该模型将语料库的生成视为一个动态过程，第 $t$ $ t $ 个单词在第 $t$ $ t $ 步产生。该过程由一个 discourse vector ${\vec{c}}_{t} \in R^{d}$ $ \mathbf{\vec c}_t\in \mathbb R^d $ 的随机游走来驱动。vocabulary 中的每个单词 $w$ $ w $ 也有一个 $d$ $ d $ 维的emebdding 向量 ${\vec{v}}_{w} \in R^{d}$ $ \mathbf{\vec v}_w\in \mathbb R^d $ ，这些 embedding 向量就是模型的 latent variable 。discourse vector 代表了 “正在谈论的东西”。discourse vector ${\vec{c}}_{t}$ $ \mathbf{\vec c}_t $ 和 word embedding 向量 ${\vec{v}}_{w}$ $ \mathbf{\vec v}_w $ 之间的内积捕获了 discourse 和单词之间的相关性。在时刻 $t$ $ t $ ，观察到一个单词 $w$ $ w $ 的概率由 log-linear word production model 决定：
$\begin{matrix} (14) & Pr [w emitted at time t ∣ {\vec{c}}_{t}] \propto \exp ({\vec{c}}_{t} \cdot {\vec{v}}_{w}) \end{matrix}$
discourse vector ${\vec{c}}_{t}$ $ \mathbf{\vec c}_t $ 做缓慢的随机游走（意味着 ${\vec{c}}_{t + 1}$ $ \mathbf{\vec c}_{t+1} $ 是通过增加一个小的随机位移向量从 ${\vec{c}}_{t}$ $ \mathbf{\vec c}_t $ 中得到），所以附近的单词是在 similar discourse 下产生的。在 《A latent variable model approach to PMI-based word embeddings》 中显示，在一些合理的假设下，这个模型产生的行为（即，在 word-word 共现概率方面）符合 word2vec 和 Glove 等经验性工作。
random walk model 可以被 relaxed，即允许 ${\vec{c}}_{t}$ $ \mathbf{\vec c}_t $ 中偶尔出现大的jump 。因为一个简单的计算表明，它们对单词的共现概率的影响可以忽略不计。
实验报告表明，用这个模型计算出来的 word vector 与 Glove 和 word2vec(CBOW) 计算得到的 word vector 相似。
我们改进的 RandomWalk 模型：显然，很容易将 sentence embedding 定义为：给定一个句子 $s$ $ \mathbf s $ ，对支配这个句子的 discourse vector 做一个 MAP 估计。我们注意到，我们假设 discourse vector ${\vec{c}}_{t}$ $ \mathbf {\vec c}_t $ 在句子中的单词被 emitted 时不会有太大的变化，因此为了简单起见，我们可以用一个 discourse vector ${\vec{c}}_{s}$ $ \mathbf {\vec c}_s $ 代替句子 $s$ $ \mathbf s $ 中所有的 discourse vector ${\vec{c}}_{t}$ $ \mathbf {\vec c}_t $ 。在 《A latent variable model approach to PMI-based word embeddings》 中， ${\vec{c}}_{s}$ $ \mathbf {\vec c}_s $ 的 MAP 估计值是句子中所有单词的 embedding 的均值（最多可乘以标量）。
在本文中，为了更 realistic 的建模，我们对模型做了如下改变。该模型有两种类型的 “平滑项”，它们是为了说明这样的事实：有些单词是脱离上下文出现的、以及有些高频词（例如 "the" 、"and " 等）在任何 discourse 中都经常出现。
- 首先，我们在对数线性模型中引入一个附加项 $α p (w)$ $ \alpha p(w) $ ，其中 $p (w)$ $ p(w) $ 是单词的unigram 概率（在整个语料库中）， $α$ $ \alpha $ 是一个标量。这样，即使 word vector ${\vec{v}}_{w}$ $ \mathbf{\vec v}_w $ 与 ${\vec{c}}_{s}$ $ \mathbf{\vec c}_s $ 的内积结果很小，该单词 $w$ $ w $ 也能出现。
- 其次，我们引入了一个 common discourse vector ${\vec{c}}_{0} \in R^{d}$ $ \mathbf {\vec c}_0\in \mathbb R^d $ ，作为 most frequent discourse 的修正项，其中 most frequent discourse 通常与句法有关。
具体而言，给定 discourse vector ${\vec{c}}_{s}$ $ \mathbf {\vec c}_s $ ，一个单词 $w$ $ w $ 在句子 $s$ $ \mathbf s $ 中被观察到的概率为：
$\begin{matrix} (15) & \begin{matrix} Pr [w emitted in sentence s ∣ {\vec{c}}_{s}] \propto α p (w) + (1 - α) \frac{\exp ({\tilde{\vec{c}}}_{s} \cdot {\vec{v}}_{w})}{Z_{{\tilde{c}}_{s}}} \\ {\tilde{\vec{c}}}_{s} = β {\vec{c}}_{0} + (1 - β) {\vec{c}}_{s}, {\vec{c}}_{0} ⊥ {\vec{c}}_{s} \end{matrix} \end{matrix}$
其中： $α, β$ $ \alpha,\beta $ 都是标量的超参数； $Z_{{\tilde{c}}_{s}} = \sum_{w \in V} \exp ({\tilde{\vec{c}}}_{s} \cdot {\vec{v}}_{w})$ $ Z_{\tilde c_s} = \sum_{w\in \mathcal V} \exp\left(\tilde{\mathbf{\vec c}}_s\cdot \mathbf{\vec v}_w\right) $ 为归一化项。
我们看到，该模型允许一个与 discourse ${\vec{c}}_{s}$ $ \mathbf{\vec c}_s $ 无关的单词 $w$ $ w $ 被观察到，原因有二：来自 $α p (w)$ $ \alpha p(w) $ 的机会、如果 $w$ $ w $ 与 common discourse vector ${\vec{c}}_{0}$ $ \mathbf{\vec c}_0 $ 相关。
上式的物理意义：单词的词频越大，则被观察到的概率越大（由 $α p (w)$ $ \alpha p(w) $ 项所驱动）；单词与 discourse vector 越相关，则则被观察到的概率越大（由 ${\tilde{\vec{c}}}_{s} \cdot {\vec{v}}_{w}$ $ \tilde{\mathbf{\vec c}}_s\cdot \mathbf{\vec v}_w $ 项所驱动）。
注意，由于 ${\vec{c}}_{0}$ $ \mathbf{\vec c}_0 $ 是全局共享的，因此这要求每一个 ${\vec{c}}_{s}$ $ \mathbf{\vec c}_s $ 的方向与 ${\vec{c}}_{0}$ $ \mathbf{\vec c}_0 $ 是正交的。
计算 sentence embedding：sentence embedding 被定义为 ${\vec{c}}_{s}$ $ \mathbf{\vec c}_s $ 的最大似然估计。( 在这个 case 中，MLE 与MAP 相同，因为先验分布是均匀的。) 我们借用 《A latent variable model approach to PMI-based word embeddings》 的关键建模假设，即单词 ${\vec{v}}_{w}$ $ \mathbf{\vec v}_w $ 的分布大致均匀，这意味着归一化项 $Z_{c}$ $ Z_{c} $ 在各个方向大致相同。因此，假设 $Z_{{\tilde{c}}_{s}}$ $ Z_{\tilde c_s} $ 在各个方向也大致相同。因此句子 $s$ $ \mathbf s $ 的生成概率为：
$\begin{matrix} (16) & p [s ∣ {\vec{c}}_{s}] = \prod_{w \in s} p (w ∣ {\vec{c}}_{s}) = \prod_{w \in s} [α p (w) + (1 - α) \frac{\exp ({\tilde{\vec{c}}}_{s} \cdot {\vec{v}}_{w})}{Z}] \end{matrix}$
令：
$\begin{matrix} (17) & f_{w} ({\tilde{\vec{c}}}_{s}) = \log [α p (w) + + (1 - α) \frac{\exp ({\tilde{\vec{c}}}_{s} \cdot {\vec{v}}_{w})}{Z}] \end{matrix}$
根据泰勒展开公式：
$\begin{matrix} (18) & f_{w} ({\tilde{\vec{c}}}_{s}) ≃ f_{w} (\vec{0}) + \nabla f_{w} (\vec{0}) \cdot {\tilde{\vec{c}}}_{s} = constant + \frac{(1 - α) / (α Z)}{p (w) + (1 - α) / (α Z)} \times ({\tilde{\vec{c}}}_{s} \cdot {\vec{v}}_{w}) \end{matrix}$
因此在单位球上， ${\tilde{\vec{c}}}_{s}$ $ \tilde{\mathbf{\vec c}}_s $ 的最大对数似然估计值（忽略归一化）为：
$\begin{matrix} (19) & \arg max \sum_{w \in s} f_{w} ({\tilde{\vec{c}}}_{s}) \propto \sum_{w \in s} \frac{a}{p (w) + a} {\vec{v}}_{w}, a = \frac{1 - α}{α Z} \end{matrix}$
也就是说，MLE 近似于句子中单词的向量的加权平均。注意，对于词频较高的单词 $w$ $ w $ ，权重 $a / (p (w) + a)$ $ a/(p(w) + a) $ 较小，所以这自然会导致高频词的权重下降。
在实际应用中， $a$ $ a $ 是通过超参数调优来获得，而不是通过理论计算而得到。
为了估计 ${\vec{c}}_{s}$ $ \mathbf{\vec c}_s $ ，我们通过计算一组句子的 ${\tilde{\vec{c}}}_{s}$ $ \tilde{\mathbf{\vec c}}_s $ 的第一主成分 first principal component 来估计方向 ${\vec{c}}_{0}$ $ \mathbf{\vec c}_0 $ 。换句话说，final sentence embedding 是通过对 ${\tilde{\vec{c}}}_{s}$ $ \tilde{\mathbf{\vec c}}_s $ 移除它在第一主成分上的投影而得到的。
Sentence Embedding 算法：
- 输入：word embedding ${{\vec{v}}_{w} : w \in V}$ $ \left\{\mathbf{\vec v}_w:w\in \mathcal V\right\} $ ，句子集合 $S$ $ \mathcal S $ ，参数 $a$ $ a $ ，估计的词频 ${p (w) : w \in V}$ $ \{p(w):w\in \mathcal V\} $ 。
- 输出：sentence embedding ${{\vec{v}}_{s} : s \in S}$ $ \left\{\mathbf{\vec v}_s: \mathbf s\in \mathcal S\right\} $ 。
- 算法步骤：
  - 对于 $S$ $ \mathcal S $ 中的每个句子 $s$ $ \mathbf s $ ，计算：
    $\begin{matrix} (20) & {\vec{v}}_{s} \leftarrow \frac{1}{| s |} \sum_{w \in s} \frac{a}{a + p (w)} {\vec{v}}_{w} \end{matrix}$
  - 将 $S$ $ \mathcal S $ 中的每个句子 $s$ $ \mathbf s $ 的 ${\vec{v}}_{s}$ $ \mathbf{\vec v}_s $ 按列拼接，得到句子 $X \in R^{d \times | S |}$ $ \mathbf X\in \mathbb R^{d\times |\mathcal S|} $ 。令 $\vec{u}$ $ \mathbf{\vec u} $ 为 $X$ $ \mathbf X $ 的 first singular vector （是一个单位向量）。
  - 对于 $S$ $ \mathcal S $ 中的每个句子 $s$ $ \mathbf s $ ，计算：
    $\begin{matrix} (21) & {\vec{v}}_{s} \leftarrow {\vec{v}}_{s} - (\vec{u} {\vec{u}}^{⊤}) {\vec{v}}_{s} \end{matrix}$
    因为 $\vec{u}$ $ \mathbf{\vec u} $ 是单位向量，因此 ${\vec{v}}_{s}$ $ \mathbf{\vec v}_s $ 在 $\vec{u}$ $ \mathbf{\vec u} $ 上的投影为： $({\vec{v}}_{s} \cdot \vec{u}) \times \vec{u}$ $ \left(\mathbf{\vec v}_s\cdot \mathbf{\vec u} \right) \times \mathbf{\vec u} $ 。它等价于 $(\vec{u} {\vec{u}}^{⊤}) {\vec{v}}_{s}$ $ \left(\mathbf{\vec u} \mathbf{\vec u}^\top \right)\mathbf{\vec v}_s $ 。