Question

1. 递归、卷积、注意力机制以不同的方式纳入关于位置的信息。RNN 通过 hidden state${\overrightarrow{\mathbf{h}}}_t$$ \mathbf{\vec h}_t $ 从而沿着时间维度（通过序列结构）来捕获相对位置和绝对位置。非递归模型不一定按顺序考虑 input elements ，因此可能需要显式地编码位置信息，从而能够使用 sequence order 。

   一种常见的方法是使用 position encoding ，它与输入元素相结合，从而将位置信息暴露给模型。这些 position encoding 可以是位置的确定性函数、或者 learned representation 。CNN 在每个卷积的 kernel size 范围内固有地捕获相对位置，然而它们已经被证明仍然受益于 position encoding 。

   对于既不采用卷积、也不采用递归的 Transformer 来说，纳入位置信息的 explicit representation 是一个特别重要的考虑，因为该模型完全不受 sequence ordering 的影响。因此， atention-based model 已经使用了 position encoding 、或基于距离的biased attention weight 。

   在论文 《Self-Attention with Relative Position Representations》 中，作者提出了一种有效的方法，将 relative position representation 纳入 Transformer 的自注意力机制中。论文的方法可以被看作是 Transformer 的自注意力机制的扩展，其中考虑来自相同输入的任何两个元素之间的任意关系。

2. 相关工作：

   • Self-Attention：给定输入序列$X=({\overrightarrow{\mathbf{x}}}_1,\cdots ,{\overrightarrow{\mathbf{x}}}_n)$$ X = \left(\mathbf{\vec x}_1,\cdots,\mathbf{\vec x}_n\right) $ ，其中${\overrightarrow{\mathbf{x}}}_i\in {\mathbb{R}}^{d_x}$$ \mathbf{\vec x}_i\in \mathbb R^{d_x} $ 为第$i$$ i $ 个元素，$d_x$$ d_x $ 为元素的维度。self-attention layer 包含$H$$ H $ 个 attention head ，每个 head 将输入序列$X$$ X $ 投影到一个新的序列$Z^{(h)}=({\overrightarrow{\mathbf{z}}}_1^{(h)},\cdots ,{\overrightarrow{\mathbf{z}}}_n^{(h)})$$ Z^{(h)} = \left(\mathbf{\vec z}_1^{(h)},\cdots,\mathbf{\vec z}_n^{(h)}\right) $ ，其中${\overrightarrow{\mathbf{z}}}_i^{(h)}\in {\mathbb{R}}^{d_z}$$ \mathbf{\vec z}_i^{(h)}\in \mathbb R^{d_z} $ 是第$h$$ h $ 个 head 得到的第$i$$ i $ 个元素，$d_z$$ d_z $ 为元素的维度。

     ${\overrightarrow{\mathbf{z}}}_i$$ \mathbf{\vec z}_i $ 的计算过程为：

     $$\begin{array}{}\text{(4)}& \begin{array}{c}{\overrightarrow{\mathbf{z}}}_i=\sum _{j=1}^n{\alpha }_{i,j}{\mathbf{W}}^V{\overrightarrow{\mathbf{x}}}_j\\ e_{i,j}=\frac{\left({\mathbf{W}}^Q{\overrightarrow{\mathbf{x}}}_i\right)\cdot \left({\mathbf{W}}^K{\overrightarrow{\mathbf{x}}}_j\right)}{\sqrt{d_z}},{\alpha }_{i,j}=\frac{\exp (e_{i,j})}{\sum _{k=1}^n\exp (e_{i,k})}\end{array}\end{array}$$

     其中：${\mathbf{W}}^Q,{\mathbf{W}}^K,{\mathbf{W}}^V\in {\mathbb{R}}^{d_z\times d_x}$$ \mathbf W^Q,\mathbf W^K,\mathbf W^V\in \mathbb R^{d_z\times d_x} $ 为待学习的投影矩阵。

30.1 模型

1. 我们提出对自注意力的扩展，从而考虑输入元素之间的 pairwise relationship 。在这个意义上，我们将 input 建模为一个 labeled, directed, fully-connected graph 。输入元素${\overrightarrow{\mathbf{x}}}_i$$ \mathbf{\vec x}_i $ 和${\overrightarrow{\mathbf{x}}}_j$$ \mathbf{\vec x}_j $ 之间的边通过向量${\overrightarrow{\mathbf{a}}}_{i,j}^V,{\overrightarrow{\mathbf{a}}}_{i,j}^K\in {\mathbb{R}}^{d_a}$$ \mathbf{\vec a}_{i,j}^V, \mathbf{\vec a}_{i,j}^K\in \mathbb R^{d_a} $ 来表达，其中$d_a$$ d_a $ 为向量维度（我们使用$d_a=d_z$$ d_a = d_z $ ）。学习两种不同的 edge representation 的动机是，${\overrightarrow{\mathbf{a}}}_{i,j}^V,{\overrightarrow{\mathbf{a}}}_{i,j}^K$$ \mathbf{\vec a}_{i,j}^V, \mathbf{\vec a}_{i,j}^K $ 分别用于以下公式，而无需额外的线性变换：

   $$\begin{array}{}\text{(5)}& {\overrightarrow{\mathbf{z}}}_i=\sum _{j=1}^n{\alpha }_{i,j}({\mathbf{W}}^V{\overrightarrow{\mathbf{x}}}_j+{\overrightarrow{\mathbf{a}}}_{i,j}^V),e_{i,j}=\frac{\left({\mathbf{W}}^Q{\overrightarrow{\mathbf{x}}}_i\right)\cdot ({\mathbf{W}}^K{\overrightarrow{\mathbf{x}}}_j+{\overrightarrow{\mathbf{a}}}_{i,j}^K)}{\sqrt{d_z}}\end{array}$$

   其中：我们分别修改了${\overrightarrow{\mathbf{z}}}_i$$ \mathbf{\vec z}_i $ 和$e_{i,j}$$ e_{i,j} $ 的公式，从而考虑边信息。 edge representation 可以在不同的 attention head 之间共享。

   这个扩展对于一些任务来说可能是很重要的，在这些任务中，一个给定的 attention head 所选择的 edget type 的信息对于下游的 encoder layer 或 decoder layer 是有用的。然而，正如实验部分所探讨的，这对于机器翻译任务来说可能是不必要的。

   我们通过简单加法纳入 edge representation 的主要动机是为了高效的实现。

   相对位置信息与两个元素相关，因此相对位置信息在计算 attention 期间加入。而绝对位置信息仅与元素本身有关，因此绝对位置信息在 input 期间加入。

2. Relative Position Representation：由于序列是线性结构，因此 edge 可以捕获输入元素之间的 relative position difference 的信息。我们所考虑的最大相对位置的绝对值被截断为$k$$ k $ 。我们假设：精确的相对位置信息在超过一定距离后就没有用了。截断最大距离也使模型能够泛化到训练期间没有看到的序列长度。因此，我们考虑$2k+1$$ 2k+1 $ 个 unique edge label ：

   $$\begin{array}{}\text{(6)}& \begin{array}{c}{\overrightarrow{\mathbf{a}}}_{i,j}^K={\overrightarrow{\mathbf{w}}}_{\text{clip}(j-i,k)}^K,{\overrightarrow{\mathbf{a}}}_{i,j}^V={\overrightarrow{\mathbf{w}}}_{\text{clip}(j-i,k)}^V\\ \text{clip}(x,k)=\{\begin{array}{ll}x,& \text{if}|x|\le k\\ k,& \text{else if}x>k\\ -k,& \text{else}x\le -k\end{array}\end{array}\end{array}$$

   然后我们学习 relative position representation：

   $$\begin{array}{}\text{(7)}& {\mathbf{W}}^K=({\overrightarrow{\mathbf{w}}}_{-k}^K,\cdots ,{\overrightarrow{\mathbf{w}}}_k^K)\in {\mathbb{R}}^{(2k+1)\times d_a},{\mathbf{W}}^V=({\overrightarrow{\mathbf{w}}}_{-k}^V,\cdots ,{\overrightarrow{\mathbf{w}}}_k^V)\in {\mathbb{R}}^{(2k+1)\times d_a}\end{array}$$

3. 高效的实现：

   • 由于需要考虑任意两个元素之间的相对位置信息，因此对于长度为$n$$ n $ 的输入序列，空间复杂度为$O(h{n}^2{d}_a)$$ O(hn^2d_a) $ 。我们通过在每个 head 之间共享 relative position representation ，将其空间复杂性降低到$O(n^2{d}_a)$$ O(n^2d_a) $ 。此外，还可以跨不同序列来共享 relative position representation 。假设 batch size 为$b$$ b $ ，那么一个 batch 的自注意力的空间复杂度从$O(bhn{d}_z)$$ O(bhnd_z) $ 增加到$O(bhn{d}_z+n^2{d}_a)$$ O(bhnd_z+n^2d_a) $ 。假设$d_a=d_z$$ d_a = d_z $ ，那么空间复杂度增加了$\frac{n}{bh}$$ \frac{n}{bh} $ 倍。

     考虑到最大相对位置的绝对值被截断为$k$$ k $ ，因此空间复杂度降低到$O(hnk{d}_a)$$ O(hnkd_a) $ 。

   • 对于一个 batch 中的所有序列、head、position ，Transformer 使用并行的矩阵乘法从而高效地计算 self-attention 。在没有 relative position representation 的情况下，每个$e_{i,j}$$ e_{i,j} $ 可以使用$bh$$ bh $ 个并行乘法来实现，每个乘法都是一个$n\times d_z$$ n\times d_z $ 的矩阵乘以另一个$d_z\times n$$ d_z\times n $ 的矩阵。对于一个特定的 head 和序列，每个矩阵乘法计算所有位置的$e_{i,j}$$ e_{i,j} $ 。这要求每个位置跨不同的函数来共享相同的 representation 。

     即：$\mathbf{Z}=\text{softmax}\left(\frac{({\mathbf{W}}^Q\mathbf{X}{)}^{\mathrm{\top }}({\mathbf{W}}^K\mathbf{X})}{\sqrt{d_z}}\right){\mathbf{W}}^V\mathbf{X}$$ \mathbf Z = \text{softmax}\left(\frac{(\mathbf W^Q\mathbf X)^\top (\mathbf W^K\mathbf X)}{\sqrt {d_z}}\right) \mathbf W^V\mathbf X $ ，其中$\mathbf{X}\in {\mathbb{R}}^{d\times n}$$ \mathbf X\in \mathbb R^{d\times n} $ 为序列中所有输入向量拼接而成。

     然而在我们的 relative position representation 中，不同 position pair 的 representation 是不同的。这使得我们无法在一次矩阵乘法中计算所有 position pair 的所有$e_{i,j}$$ e_{i,j} $ 。这可以将$e_{i,j}$$ e_{i,j} $ 拆分为两部分来解决：

     $$\begin{array}{}\text{(8)}& e_{i,j}=\frac{\left({\mathbf{W}}^Q{\overrightarrow{\mathbf{x}}}_i\right)\cdot \left({\mathbf{W}}^K{\overrightarrow{\mathbf{x}}}_j\right)+\left({\mathbf{W}}^Q{\overrightarrow{\mathbf{x}}}_i\right)\cdot {\overrightarrow{\mathbf{a}}}_{i,j}^K}{\sqrt{d_z}}\end{array}$$

     第一项与传统的 Transformer 相同，第二项包含 relative position representation 。

     对于第二项，我们可以通过 tensor reshape 从而计算$n$$ n $ 个并行的矩阵乘法，每个矩阵乘法涉及一个$bh\times d_z$$ bh\times d_z $ 的矩阵和另一个$d_z\times n$$ d_z\times n $ 的矩阵的乘法。每个矩阵乘法计算所有 head 和 batch 对$e_{i,j}$$ e_{i,j} $ 的贡献，对应于一个特定的位置。

     相同的方法可以用于计算${\overrightarrow{\mathbf{z}}}_i$$ \mathbf{\vec z}_i $ 。对于我们的机器翻译实验，结果是 steps/second 降低了 7% 左右。

     如果不这么做，可能会降低更多。然而论文没有给出对比数据。

30.2 实验

1. 数据集：WMT 2014 机器翻译任务。

   • WMT 2014 English-German 数据集，包括大约 4.5M 个 sentence pair 。

   • 2014 WMT English-French 数据集，包括大约 36M 个 sentence pair 。

2. 配置：

   • 我们使用 32768 大小的 word-piece vocabulary 。

   • 我们按相近长度对 sentence pair 进行 batch ，并将每个 batch 的 input tokens 和 output tokens 限制在 4096/GPU 。 每个 training batch 包含大约 25,000 个 source tokens 和 25,000 个 target tokens 。

   • 我们使用 Adam 优化器，${\beta }_1=0.9,{\beta }_2=0.98,ϵ={10}^{-9}$$ \beta_1=0.9, \beta_2=0.98, \epsilon = 10^{-9} $ 。对于学习率，我们使用和 Transformer 相同的 warmup 策略（4k 个step 的预热）和 decay 策略。

   • 在训练过程中，我们采用了 0.1 的 label smoothing 。

   • 评估时，我们使用 beam size = 4 的 beam search，惩罚系数为$\alpha =0.6$$ \alpha = 0.6 $ 。

   • 对于 base 模型：

     • 我们使用了 6 个encoder layer 和 6 个 decoder layer ，$d_x=512,d_z=64$$ d_x=512, d_z = 64 $ ， attention head 数量为 8 ，feed forward inner-layer 维度为$1024$$ 1024 $ ，以及 dropout rate = 0.1 。

     • 当使用 relative position encoding 时，我们截断距离为$k=16$$ k=16 $ ，并在每个 layer 和 head 使用 unique edge representation 。

     • 我们在 8 个 K40 GPU 上训练了 100k 步，并且没有使用 checkpoint averaging 。

   • 于 big 模型：

     • 我们使用了 6 个encoder layer 和 6 个 decoder layer ，$d_x=1024,d_z=64$$ d_x=1024, d_z = 64 $ ， attention head 为 16 ，feed forward inner-layer 维度为$4096$$ 4096 $ ，对于 EN-DE 数据集使用 dropout rate = 0.3 ，对于 EN-FR 数据集使用 dropout rate = 0.1 。

     • 当使用 relative position encoding 时，我们截断距离为$k=8$$ k=8 $ ，并在每个 layer 使用 unique edge representation 。

     • 我们在 8 个 p100 GPU 上训练了 300k 步，并对最后 20 个 checkpoint 进行了平均，每隔 10 分钟保存一次 checkpoint 。

3. baseline：使用正弦 position encoding 的 Transformer 。

4. 实验结果如下表所示，可以看到：

   • 对于 English-to-German ，我们的方法比 baseline 分别提高了 0.3 BLEU 和 1.3 BLEU 。

   • 对于 English-to-French ，我们的方法比 baseline 分别提高了 0.5 BLEU 和 0.3 BLEU 。

   在我们的实验中，我们没有观察到同时包含 sinusoidal position encoding 和 relative position representation 的任何好处（相对于仅包含 relative position representation ）。

   relative position representation 的效果提升不多，并且更难并行化，因此性价比不高？

   

5. 消融实验：这里的所有实验都使用了没有任何 absolute position representation 的 base 模型配置。BLEU score 是在 newstest2013 WMT English-to-German 任务中使用验证集计算的。

   • 我们评估了不同的$k$$ k $ （距离截断阈值）对模型效果的影响，如下表所示。可以看到，对于$k\ge 2$$ k\ge 2 $ ，BLEU score 似乎没有什么变化。由于我们使用多个 encoder layer ，精确的 relative position 信息可能会传播到距离$k$$ k $ 之外。

     

   • 我们还评估了是否包含${\overrightarrow{\mathbf{a}}}_{i,j}^V$$ \mathbf{\vec a}^V_{i,j} $ 和${\overrightarrow{\mathbf{a}}}_{i,j}^K$$ \mathbf{\vec a}^K_{i,j} $ 的影响，如下表所示。然而，这里仅代表翻译任务的结果，还需要进一步的工作来确定在其它任务上的结果。