旋转位置编码

1. Transformer为什么需要位置编码

因为 transformer 结构本身是和位置编码无关的： $Y=\Tau(X)=F(A(X))$ ，其中 $A ()$ 是 attention 变换，只进行了矩阵变换，跟位置无关， $F ()$ 是前馈网络变换，也跟位置无关。

高阶语义向量不仅仅是由周围 token 的语义向量组合表达而成，还需要加上每个 token 所处的位置。比如我们在句子前面加上
$< c l s >$ 来学习整个句子的语义向量，如果没有位置编码的话下面两个句子 $< c l s >$ token 得到的语义向量是完全一样的。

像是 RNN 和 CNN 结构天然就有序列的位置信息。

2. 如何加入位置编码

2.1. 直接修改输入

在 $X_i \to Q_i,K_i,V_i$ 之前直接加入位置的embedding： $X'_i = X_i+P_i$ 。优点是简单，缺点是外推困难，对于超过序列最大长度的位置无法表示。用在BERT和GPT中。

典型的方式比如自定义绝对位置编码：

在这里插入图片描述

2.2. 修改Attention

从直觉上来说语义信息关注的是不同 token 之间的相对位置信息，上面的绝对位置编码不够直接，所以引入相对位置编码。
在这里插入图片描述
通过 attention 过程引入位置信息说白了就是在计算 token 之间的相关性矩阵时通过引入某种带有位置信息的操作使得算出来的相关性矩阵里带有相对位置信息。

下面从数学的角度和工程的角度来讲解，可以认为是先通过数学推出了用什么函数修改 attention，然后从工程的角度证明这个函数是有效的。

2.2.1 从数学的角度推理

假设我们引入函数 $f ()$ ，它有两个参数，一个是 token 的 embedding 信息，一个是这个 token 的位置信息。比如 $f (q, m)$ ，其中 $q$ 是某个token 的 embedding， $m$ 是它的位置信息，但是此时 $f (q, m)$ 里面是绝对位置信息。Attention 的核心运算是内积，所以我们希望的内积的结果带有相对位置信息，因此假设存在恒等关系（其中 $q$ 和 $k$ 是两个不同位置的 token 的 embedding， $m$ 和 $n$ 是对应的位置信息）：

在这里插入图片描述

这样的话只要能求解出满足上式的函数 $f ()$ 就可以将相对位置信息在 attention 阶段引入了，只要 $f ()$ 确定了， $g ()$ 也就可以确定了。

要求解一个函数，首先我们可以设定一些简单的，符合直觉的初始条件：

在这里插入图片描述

我们先考虑二维情形，然后借助复数来求解。在复数中有 $q,k>=Re[qk^*]$ ， $R e []$ 代表复数的实部，所以有：

在这里插入图片描述

其中 $f^*(k, n)$ 表示 $f (k, n)$ 的共轭。

简单起见，我们假设存在复数 $g (q, k, m - n)$ ，使得 $f(q, m)f^*(k, n) = g(q, k, m-n)$ ，然后设：

在这里插入图片描述

注： $R_{f(q, m)}$ 是复数 $f (q, m)$ 的模， $\Theta_{f(q,m)}$ 是是复数 $f (q, m)$ 的辐角，在苏剑林老师的博客里因为排版问题可能会造成误识。

带入式 (4) 中得到：

在这里插入图片描述

详细的推导如下：

$m)f^*(k, n)=R_{f(q, m)}e^{i\theta_{f(q,m)}}R_{f(k, n)}e^{-i\theta_{f(k,n)}}=R_{f(q, m)}R_{f(k, n)}e^{i(\theta_{f(q,m)-\theta_{f(k,n)}})}=g(q, k, m-n)=R_{g(q, k, m-n)}e^{i\theta_{g(q,k,m-n)}}$

对于第一个方程，代入 $m = n$ 得到：

在这里插入图片描述

最后一个等号源于初始条件 $f (q, 0) = q$ 和 $f (k, 0) = k$ 。我们假设 $R_{f(q, m)}=||q||,R_{f(k,m)}=||k||$ ，即不依赖于 $m$ （因为我们是要构造出符合假设的函数 $f ()$ ，所以无论怎么假设都可以，只要最后能构造出来就行，这样的话假设条件越简单越好）。

公式 (6) 中的第二个等式带入 $m = n$ 得到：

在这里插入图片描述

这里的 $\Theta_{q},\Theta_{k}$ 是 $q, k$ 本身的辐角，最后一个等号同样源于初始条件。根据上式得到 $\Theta_{f(q,m)}-\Theta_{q}=\Theta_{f(k,m)}-\Theta_{k}$ ，所以 $\Theta_{f(q,m)}-\Theta_{q}$ 应该是一个只与 $m$ 相关，跟 $q$ 无关的函数，记为 $\varphi(m)$ ，即 $\Theta_{f(q,m)}=\Theta_{q}+\varphi(m)$ 。接着代入 $n = m - 1$ ，整理得到：
在这里插入图片描述