一文搞懂NLP框架之RNN、LSTM、Transformer结构原理！

NLP领域中，特征提取可谓是经历了显著的“变迁”与发展。回首过往，RNN曾以其独特的序列建模能力一度引领潮流，如今正如同明日黄花，逐步淡出历史舞台。紧接着，LSTM以解决长时依赖问题的独特设计展现出强大的生命力，虽已非最前沿，却仍老骥伏枥，若能进一步优化，其潜力不可小觑。

而今，Transformer架构如日中天，凭借自注意力机制彻底革新了特征提取的方法，已在NLP诸多任务中发挥着中流砥柱的作用。

本文笔者将深入浅出剖析RNN、LSTM以及Transformer的核心结构原理，一起见证算法是怎样做到一浪更比一浪强的。

RNN

为什么会出现RNN?

要搞明白这个问题，我们是不是可以先回想一下，在RNN之前的模型还有什么可改进点？

没错，从这里着手，问题就将会迎刃而解了。细想BP、CNN(卷积神经网络)，可以当做能够拟合任意函数的黑盒子，只要训练数据足够，给定特定的x，就能得到期望的y。结构图如下：

在这里插入图片描述

但是不难发现，它们都只能单独的处理一个个的输入，前一个输入和后一个输入是完全没有关系的。而我们实际应用中肯定有需要处理序列信息的任务吧，即就是前面的输入和后面的输入是有关系的。

例如，当我们理解某句话意思时，孤立的理解每个词肯定是不够的，而是需要处理这些词连接起来的整个序列，“词本无意，意由境生”，也正是此意。还有，处理视频的时候，当前也不能只单独的分析每一帧，而是要分析这些帧连接起来的整个序列。

为了解决一些这样类似的问题，能够更好的处理序列的信息，RNN就诞生了。

RNN解释

我们通常所说的RNN实际上有两种，一种是Recurrent Neural Networks，即循环神经网络，一种是Recursive Neural Networks，即递归神经网络。

循环神经网络，是一种时间上进行线性递归的神经网络，用于处理序列数据。

相比于传统的神经网络，它可以处理序列变化的数据。比如某个词汇的含义根据上下文内容不同而有所不同，RNN则可以很好地解决这类问题。

递归神经网络(Recursive Neural Networks)被视为循环神经网络的推广，它是一种在结构上进行递归的神经网络，常用于NLP中的序列学习，它的输入数据本质不一定是时序的，但结构却往往更加复杂。

我们这里只说循环神经网络RNN。

首先来看一个简单的RNN，它由输入层、一个隐藏层和一个输出层组成：

在这里插入图片描述

如果将W的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。

x是一个向量，它表示输入层的值。
s是一个向量，它表示隐藏层的值（这里隐藏层面画了一个节点，你也可以想象这一层其实是多个节点，节点数与向量s的维度相同）。
U是输入层到隐藏层的权重矩阵。
o也是一个向量，它表示输出层的值。
V是隐藏层到输出层的权重矩阵。

那么，现在我们来看看W是什么。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x，还取决于上一次隐藏层的值s。而权重矩阵W就是隐藏层上一次的值作为这一次的输入的权重。

具体如下图所示。可以清楚的看到，上一时刻的隐藏层是如何影响当前时刻的隐藏层的。

在这里插入图片描述

当然我们也可以将上面的图按时间线展开，循环神经网络也可以画成下面的样子：

在这里插入图片描述

现在就可以清晰看出，该网络在 $t$ 时刻接收输入 $x_t$ ，隐藏层的值 $s_t$ 由上一时刻的 $s_{t-1}$ 和 $x_t$ 的权重矩阵W决定。

公式表示如下：

$O_t = g(V*S_t)$

$S_t = f(U*X_t+W*S_{t-1})$

f即为RNN的激活函数，通常是tanh。用代码表示RNN如下：

class RNN:
   def step(self, x):
      self.h = np.tanh(np.dot(self.W_hh, self.h) + np.dot(self.W_xh, x)) #更新隐藏层
      y = np.dot(self.W_hy, self.h) #获得输出
   return y

RNN结构

根据输入输出长度的不同，可以将RNN结构分为如下图所示五类。

在这里插入图片描述

one-to-one

在这里插入图片描述

最基本的单层网络，本质也即是全连接神经网络。输入是x，经过变换Wx+b和激活函数f得到输出y。

one-to-many

输入是一个单独的值，输出是一个序列。此时，有两种建模方式：

只在其中的某一个序列进行计算，以序列第一个进行输入计算为例：

在这里插入图片描述

把输入信息X作为每个阶段的输入：

在这里插入图片描述

通常用于图像生成文字(输入的X就是图像的特征，输出的y序列就是一段句子，例如看图说话等)、图像生成语音或音乐等领域。

many-to-one

输入是一个序列，输出是一个单独的值。此时，通常只在最后一个h上进行输出变换就可以了。

在这里插入图片描述

这种结构通常用来处理序列分类问题。如输入一段文字判别它所属的类别，输入一个句子判断其情感倾向，输入一段视频并判断它的类别等等。

many-to-many

最经典的RNN结构，输入输出都是等长的序列数据。

假设输入为X=(x1, x2, x3, x4)，每个x是一个单词的词向量。

在这里插入图片描述

为了建模序列问题，RNN引入了隐状态h（hidden state）的概念，h可以对序列形的数据提取特征，接着再转换为输出。先从h1的计算开始看：

在这里插入图片描述

h2的计算和h1类似。要注意的是，在计算时，每一步使用的参数U、W、b都是一样的，也就是说每个步骤的参数都是共享的，这是RNN的重要特点。

在这里插入图片描述

依次计算剩下来的（使用相同的参数U,W,b）：

在这里插入图片描述

这里为了方便起见，只画出序列长度为4的情况，实际上，这个计算过程可以无限地持续下去。得到输出值的方法就是直接通过h进行计算：

在这里插入图片描述

正如之前所说，一个箭头就表示对对应的向量做一次类似于f(Wx+b)的变换，这里的这个箭头就表示对h1进行一次变换，得到输出y1。

剩下的输出类似进行（使用和y1同样的参数V和c）：

在这里插入图片描述

这也就是最经典的RNN结构，它的输入是x1, x2, …xn，输出为y1, y2, …yn，也就是说，**输入和输出序列必须要是等长的。**由于这个限制的存在，经典RNN的适用范围比较小，但也有一些问题适合用经典的RNN结构建模，如：

计算视频中每一帧的分类标签。因为要对每一帧进行计算，因此输入和输出序列等长。

many-to-many

还有一种many-to-one结构，输入、输出为不等长的序列。

这种结构是Encoder-Decoder，也叫Seq2Seq，是RNN的一个重要变种。原始的many-to-many的RNN要求序列等长，然而我们遇到的大部分问题序列都是不等长的，如机器翻译中，源语言和目标语言的句子往往并没有相同的长度。

为此，Encoder-Decoder结构先将输入数据编码成一个上下文语义向量c。 其中，语义向量c可以有多种表达式，具体如下：

$①c=h_4$

$②c=q(h_4)$

$③c=q(h_1,h_2,h_3,h_4)$

其中，最简单的方法就是把Encoder的最后一个隐状态赋值给c(①)，另外还可以对最后的隐状态做一个变换得到c(②)，也可以对所有的隐状态做变换(③)。

拿到c之后，再用另一个RNN网络对其进行解码，这部分网络称为Decoder。Decoder的RNN可以与Encoder的一样，也可以不一样。具体做法就是将c当做之前的初始状态h0输入到Decoder中：

在这里插入图片描述

也可以将c当做每一步的输入。

在这里插入图片描述

由于Encoder-Decoder结构不限制输入和输出的序列长度，因此应用的范围非常广泛，如机器翻译、文本摘要、阅读理解、语音识别等。

RNN缺陷

同普通卷积神经网络类似的是，RNN的优化也使用的是反向传播，不过是带时序的版本，即BPTT(Backpropagation Through Time)，它与BP的原理完全一样，只不过计算过程与时间有关。

与普通的反向传播算法一样，它重复地使用链式法则，区别在于损失函数不仅依赖于当前时刻的输出层，也依赖于下一时刻。所以参数W在更新梯度时，必须考虑当前时刻的梯度和下一时刻的梯度，传播示意图如下：

在这里插入图片描述

而计算梯度时，t时刻的导数会传播到t-1，t-2，… ，1时刻，这样就有了连乘的系数。

连乘一直带来了两个问题：梯度爆炸和消失。 而且，在前向过程中，开始时刻的输入对后面时刻的影响越来越小，这就是长距离依赖问题。这样依赖，RNN就失去了“记忆”能力。

为了缓解这些问题，LSTM便应运而生。

LSTM

为什么会出现LSTM？

这个在上一章节末刚刚谈到的，因为RNN会导致"梯度消失"和"梯度爆炸"问题，学习能力有限，在实际任务中的效果很难达到预期。为了增强RNN的学习能力，缓解网络的梯度消失等问题，LSTM（Long short-term memory, LSTM）神经网络便横空出世了。它可以对有价值的信息进行长期记忆，不仅减小循环神经网络的学习难度，并且由于其增加了长时记忆，在一定程度上也缓解了梯度消失的问题。（注：梯度爆炸的问题用一般的梯度裁剪方法就可以解决）。

LSTM VS RNN

RNN都具有一种重复神经网络模块的链式的形式，在标准的RNN中，这个重复的模块只有一个非常简单的结构，例如一个tanh层。

在这里插入图片描述

而在LSTM中的重复模块中，不同于RNN，这里有四个神经网络层，以一种非常特殊的方式进行交互：

在这里插入图片描述

LSTM核心解释

LSTM通过“门”结构来删除或者增加信息到细胞状态cell state。这个cell state承载着之前所有状态的信息，每到新的时刻，就有相应的操作来决定舍弃什么旧信息以及添加什么新信息。这个状态与隐藏层状态h不同，在更新过程中，它的更新是缓慢的，而隐藏层状态h的更新是迅速的。

LSTM的网络结构图如下，输入包括 $h_{t-1}$ ， $x_t$ ，输出 $h_t$ ，状态为 $c_{t-1}$ , $c_t$ 。

在这里插入图片描述

遗忘门与遗忘阶段

遗忘门决定从上一时刻的状态 $c_{t-1}$ 中丢弃哪些信息。它通过将上一状态的输出 $h_{t-1}$ 和当前状态输入信息 $x_t$ 作为输入，经过一个Sigmoid激活函数，生成一个在[0,1]范围内的遗忘因子。当遗忘门输出为0时，表示完全丢弃对应部分的细胞状态；输出为1时，则表示完全保留。这个阶段完成了对上一个节点cell state进行选择性忘记。

在这里插入图片描述

输入门与选择记忆阶段

输入门决定哪些新的信息应当加入到细胞状态中。同样地，将上一状态的输出 $h_{t-1}$ 和当前状态输入信息 $x_t$ 作为输入，通过sigmoid函数生成一个在[0,1]之间的保留因子it，表示信息应保留的程度。同时，还有一个“候选细胞状态”通过上一状态的输出 $h_{t-1}$ 、当前状态输入信息 $x_t$ 以及tanh激活函数生成，这个候选状态包含了新的潜在信息。

新的细胞状态 $C_t$ 是上一时刻细胞状态经过遗忘门过滤后的信息 $f_t*C{t-1}$ 与当前时刻经过输入门过滤后的信息 $i_t*C_t$ 的加权和，这样就实现了对历史信息的选择性保留和新信息的选择性添加。它将用于产生下一状态的隐藏层 $h_t$ ，也就是当前单元的输出。

在这里插入图片描述

输出门与输出阶段

输出门决定如何将当前细胞状态 $C_t$ 转换为当前时刻的隐藏状态 $h_t$ ，即要将何种信息输出给下一个时间步或其他层使用。它同样通过Sigmoid函数处理 $h_{t-1}$ 和 $x_t$ 得到一个在[0,1]范围内的输出因子 $O_t$ 。
然后，细胞状态 $C_t$ 先经过tanh函数压缩到[-1,1]范围内并提取有用信息，再与输出门的输出结果 $O_t$ 相乘，最终生成LSTM block当前时刻的隐藏状态 $h_t$ 。

在这里插入图片描述

LSTM缺陷

LSTM的门结构能够有效减缓长序列问题中可能出现的梯度消失或爆炸，虽然并不能杜绝这种现象，但在更长的序列问题上表现优于传统RNN。

但是，LSTM内部结构相对较复杂, 因此训练效率在同等算力下较传统RNN低很多。

Transformer

为什么会出现Transformer?

对RNN和LSTM进行一番分析之后，不难看出，二者还共同存在一个问题：

效率：均需要逐个词处理，后一个词要等到前一个词的隐藏状态输出以后才能开始处理，而不能完全并行地处理序列中的词。

终于，2017年Google在神作《Attention is all you need》提出了Transformer架构，通过自注意力机制彻底摆脱了RNN的时间顺序约束，实现了完全并行化的序列处理。

Transfromer是一个N进N出的结构，也就是说每个Transformer单元相当于一层的RNN层，接收一整个句子所有词作为输入，然后为句子中的每个词都做出一个输出。但是与RNN不同的是，Transformer能够同时处理句子中的所有词，并且任意两个词之间的操作距离都是1，这么一来就很好地解决了上面提到的RNN的效率问题和距离问题。

Transformer精髓

Transformer的关键创新在于其自注意力机制（Self-Attention Mechanism），这是其架构的核心基石。它允许模型在生成当前词的表示时，不仅考虑当前位置的信息，还能充分考虑整个输入序列所有词的上下文信息，并对其进行加权融合。这样使得，模型可以更好地捕捉词语之间的依赖关系和长距离依赖。

注意力机制的计算效率通过使用矩阵运算和并行计算得到提高。

除此之外，Transformer还结合了残差连接（Residual Connections）和层归一化（Layer Normalization）技术，这两种技术的引入极大提升了模型训练的稳定性和收敛速度。

以机器翻译任务为例，下面这句话中，通过理解上下文可以看出，it指代的是The animal，而Tranformer就能很好地帮我们得出这个结论。

在这里插入图片描述