在RNN详解及其实战中，简单讨论了为什么需要RNN这类模型、RNN的具体思路、RNN的简单实现等问题。同时，在文章结尾部分我们提到了RNN存在的梯度消失问题，及之后的一个解决方案：LSTM。因此，本篇文章主要结构如下：

1. LSTM 理解及简单实现
2. LSTM 实战
3. 经典 RNN 与 LSTM 对比
4. 关于梯度消失

LSTM 理解

其实，将 LSTM 与 RNN 说成两个并不可取， LSTM 依然归属于 RNN 之下，相比于使用线性回归方式来处理序列问题， LSTM 其实是设计了一个模块来取代线性回归算法。

LSTM(Long Short-Term Memory)，翻译过来是长短期记忆法，其核心思想可以说非常的简单：既然 RNN 只能保存短期的记忆，那我增加一个长期记忆，不就可以解决这个问题了名？因此，LSTM提出了长期记忆和短期记忆，通过调整长期记忆和短期记忆之间的比例，来维持长期记忆的可靠，降低 RNN 的梯度消失问题。可以看到下方结构图中，模型输入由两个升级到三个，分别是当前节点状态 ${\mathbf{X}}_t$，长期记忆：${\mathbf{C}}_{t-1}$，短期记忆 ${\mathbf{H}}_{t-1}$。输出状态依然是两个：节点当前状态 ${\mathbf{C}}_t$，和节点当前隐藏状态 ${\mathbf{H}}_t$。

那LSTM 是如何实现对长短记忆的控制呢？
这就不得不提众人所知的三个门：

• 遗忘门：控制保留多少上一时刻的单元节点到当前节点
• 记忆门：控制将当前时刻的多少信息记忆到节点中
• 输出门：控制输出多少信息给当前输出

我们在分析三个门之前，我们先了解 门 这一概念。

门

从简化图中可以看到， 门的感觉类似于电路中的一个开关，当开关按下，信息通过，而开关抬起，信息不再通过。实际也如此类似，门是一个全连接层，输入为一个向量，输出为一个位于 [0,1] 之间的值。
我们来设计一个非常简单的遗忘门：每次学习状态之后，都遗忘一定的已学习内容，注意，这里的遗忘门与 LSTM 的遗忘门无关，单纯理解 门 这一概念。

# 一个线性层 用来计算遗忘多少
gate_linear = nn.Linear(hidden_size, 1)
# 一个线性层 用来学习
study_linear = nn.Linear(hidden_size, hidden_size)
# 此刻 h_t 是上一时刻状态
# 输出为 0 - 1 的值
gate = gate_linear(h_t)
# h_t 经过 study_linear 进行学习
_h_t = study_linear(h_t)
# 在输出结果之前，经过 gate 导致内容受损，遗忘了一定的学习内容
h_t = gate * （_h_t）

可以看到，如果 $gate$ 值为 0，则历史信息均会被遗忘，而如果值为1，则历史信息则会被完全保留，而 gate_linear 网络中的超参数会不断的学习，因此一个可以学习的开关门就出现了。

但是，$gate$ 作为一个浮点型的数据，对于 临时结果矩阵变量 $\_h\_t$ 而言，其遗忘控制是全局的，也就是，当 $gate$ 为 0 时， 其最终结果 $h\_t$ 为全 0 矩阵。因此我们应该注意： LSTM 中并不采用这样的大闸门，而是采用对每个变量进行分别控制的小水龙头(神经网络激活函数 nn.Sigmode )

而在 LSTM 中，门主要使用 $Sigmod$ 神经网络(再次注意，并非是激活函数，而是 Sigmod 神经网络)来完成。

下方是一个示例代码：

hidden_size = 5
sigmoid = nn.Sigmoid()
# 隐藏状态 为了方便计算，假定全 1
hidden_emb = torch.ones(hidden_size, hidden_size)
# 中间某一层神经网络
model = nn.Linear(hidden_size，hidden_size)
# 获取该层输出,此时尚未被门限制
mid_out = model(hidden_emb)
# 获取一个门 -- 注意：并非一定由该变量所控制
# 比如：也可以由上一时刻的隐藏状态控制
# 代码为： gate = sigmoid(hidden_emb)
gate = sigmoid(mid_out) 
# 得到最终输出
final_out = gate * mid_out

在有了对门的基础知识后，接下来对遗忘门、记忆门、输出门进行分别分析。

遗忘门

遗忘门涉及部分如下图所示：

其中，下方蓝色表示三个门共用的输入部分，均为 [${\mathbf{h}}_{t-1}$,${\mathbf{X}}_t$],需要注意，这里由于三个门之间并不共享权重参数，因此公示虽然接近，但是一共计算了三次，遗忘门被标记为 $f_t$, 列出遗忘门公式为：
$$f_t=\sigma ({\mathbf{W}}_{\mathbf{f}}\ast [{\mathbf{h}}_{t-1},{\mathbf{X}}_t]+{\mathbf{b}}_{\mathbf{f}})$$
输出结果为取值范围为 [ 0, 1 ] 的矩阵，主要功能是控制与之相乘的矩阵的遗忘程度。
将 $f_t$ 与输入的上一长期状态 $C_{t-1}$ 相乘：
$$C_t^{\prime }=f_t\ast C_{t-1}$$

一部分的 $C_{t-1}$ 就这样被遗忘了。

记忆门

记忆门涉及部分如下所示：

从图中可以看到，记忆门中相乘的两个部分均由 ${\mathbf{h}}_{t-1}$ 与 ${\mathbf{X}}_t$ 得到，
其中，左侧控制记忆多少的部分，与遗忘门公式基本一致：
$$i_t=\sigma ({\mathbf{W}}_{\mathbf{i}}\ast [{\mathbf{h}}_{t-1},{\mathbf{X}}_t]+{\mathbf{b}}_{\mathbf{i}})$$
与遗忘门相通，输出结果为取值范围为 [ 0, 1 ] 的矩阵，主要功能是控制与之相乘的矩阵的记忆程度。
而右侧，则更换了激活函数，由 $sigmoid$ 变成了 $tanh$：
$$\widetilde{C_t}=\tanh ({\mathbf{W}}_{\mathbf{c}}\ast [{\mathbf{h}}_{t-1},{\mathbf{X}}_t]+{\mathbf{b}}_{\mathbf{c}})$$
该公式负责的部分可以看做负责短期隐藏状态的更新，取值范围为 [ -1, 1 ]。

最终记忆门更新公式如下:
$$\widetilde{C_t^{\prime }}=i_t\ast \widetilde{C_t}$$

可以说 $\widetilde{C_t^{\prime }}$ 是保留了一定内容的短期状态

状态更新

在通过遗忘门获取到了被遗忘一定内容的长期状态 $C_t^{\prime }$ 和 保留了一定内容的短期状态 $\widetilde{C_t^{\prime }}$ 之后，可以通过加法直接结合

$$C_t=C_t^{\prime }+\widetilde{C_t^{\prime }}$$

输出门

输出门是三个门中最后一个门，当数据到达这里的时候，我们主要控制将长期状态中的内容 $C_t$ 保存一定内容到 $h_t$ 中，这里不再赘述
$$o_t=\sigma ({\mathbf{W}}_{\mathbf{o}}\ast [{\mathbf{h}}_{t-1},{\mathbf{X}}_t]+{\mathbf{b}}_{\mathbf{o}})$$

$$h_t=o_t\ast \tanh (C_t)$$

模型总结

可以看到，所有公式的核心部分都是如此的相似：
$${\mathbf{W}}_{\mathbf{c}}\ast [{\mathbf{h}}_{t-1},{\mathbf{X}}_t]+{\mathbf{b}}_{\mathbf{c}}$$
而这部分其实又只是简单的线性函数，所以 LSTM 比 RNN 高级的地方其实并不在于某一条公式，而是它调整了数据之间的流动，按照一定的比例进行融合，弱化了长距离下的梯度消失问题。

最后总的来看，LSTM 其实就是一个升级版本的的 RNN，他额外初始化了一个状态 $C$， 用来保存长期的记忆，控制远距离上的参数权重。而输出也基本类似于此。

LSTM 实战

实验说明

实验数据集采用 IMDB 数据集。主要由电影评论构成，长度不均，但是长度在 1000 左右的数据属于常见数据。数据集样本均衡，数共计 50000 个样本，训练和测试各有 25000 个样本，同时训练和测试的正负比例均为 1:1。

根据我们对 RNN 的了解，这样的长度是很难学习到有效的知识的，所以很适合比较 RNN 与 LSTM 之间的区别。

为了方便代码复现，在实现中借助了 torchtext 来完成数据下载及加载。

为了证明模型真的有学习到一定的内容，所以对比实验中部分参数可能存在部分区别，可以在本地调整到同一参数进行细致的对比实验。

模型实现

分析一下由我实现的 LSTM 模型，并以此了解 LSTM 模型。

# 定义基础模型
class LSTM(nn.Module):
    def __init__(self, input_size, hidden_size, num_classes):
        """
        args:
            input_size: 输入大小
            hidden_size: 隐藏层大小
            num_classes: 最后输出的类别，在这个示例中，输出应该是 0 或者 1
        """
        super(LSTM, self).__init__()
        self.input_size = input_size
        self.hidden_size = hidden_size
        self.num_layers = num_layers
        self.fc_i = nn.Linear(input_size + hidden_size, hidden_size)
        self.fc_f = nn.Linear(input_size + hidden_size, hidden_size)
        self.fc_g = nn.Linear(input_size + hidden_size, hidden_size)
        self.fc_o = nn.Linear(input_size + hidden_size, hidden_size)
        self.sigmoid = nn.Sigmoid()
        self.tanh = nn.Tanh()
        self.fc_out = nn.Linear(hidden_size, num_classes)
    def forward(self, x):
        # 初始化隐藏状态 -- 短期记忆
        h_t = torch.zeros(x.size(0), x.size(1), self.hidden_size).to(x.device)
        # 初始化隐藏状态 -- 长期记忆
        c_t = torch.zeros(x.size(0), x.size(1), self.hidden_size).to(x.device)
        # 输入与短期记忆相拼接
        combined = torch.cat((x, h_t), dim=2)
        # 记忆门 -- 输出矩阵内容为 0-1 之间的数字
        i_t = self.sigmoid(self.fc_i(combined))
        # 遗忘门 -- 输出矩阵内容为 0-1 之间的数字
        f_t = self.sigmoid(self.fc_f(combined))
        #
        g_t = self.tanh(self.fc_g(combined))
        #  输出门 -- 输出矩阵内容为 0-1 之间的数字
        o_t = self.sigmoid(self.fc_o(combined))
        # 长期状态 =  遗忘门 * 上一时刻的长期状态 + 记忆门* 当前记忆状态
        c_t = f_t * c_t + i_t * g_t
        # 隐藏状态 = 输出门 * 长期状态
        h_t = o_t * self.tanh(c_t)
        # 降维操作 
        h_t = F.avg_pool2d(h_t, (h_t.shape[1],1)).squeeze()
        # 
        out = self.fc_out(h_t)
        return out 

超参数及参数说明

MyLSTM 与 nn.LSTM

名称	值
learning_rate	0.001
batch_size	32
epoch	6(3)
input_size	64
hidden_size	128
num_classes	2

此时：
MyLSTM 参数量: 99074
nn.LSTM 参数量: 99328

由于我实现的 MyLSTM 与 nn.LSTM 有 254 的参数差，我本人并没能分析出来差别。 nn.LSTM 在实验时大概率比我的 MyLSTM 迭代更快，所以容易较早的过拟合，所以将其训练 epoch 砍半，也就是说 MyLSTM 使用 6 epoch 进行训练，而 nn.LSTM 使用 3 epoch 进行训练。两者可以达到基本相近的效果

另外在代码实现中 nn.LSTM 后面加了一个 nn.Linear 来实现二分类，参数量为 258， 所以 MyLSTM 和 LSTM 相差参数总量为 512。

nn.RNN

名称	值
learning_rate	0.0001
batch_size	32
epoch	12-18
input_size	64
hidden_size	128
num_classes	2

此时：
nn.RNN 参数量: 25090

由于实验样本长度在 1000 上下， RNN 显示出来了极大的不稳定性，其中， 相较于 LSTM 更容易梯度爆炸、训练 epoch 更多、学习率需要调低等等问题，尽管如此依然不能保证稳定的良好结果。

举例来说，某学生学习阅读理解，要求根据文章内容回答文章的情感倾向，但是学生只喜欢看最后一句话，每次都根据最后一句话来回答问题，那么他基本上是等于瞎猜的，只能学到一点浅薄的知识。

实验结果

MyLSTM	nn.LSTM	nn.RNN
0.86	0.80	0.67

关于梯度问题

• RNN问题中，总的梯度是不会消失的。即便梯度越传越弱，那也是远处的梯度逐渐消失，而近距离的梯度不会消失，因此，梯度总和不会消失。RNN 梯度消失的真正含义是：梯度被近距离梯度所主导，导致模型难以学到远距离的依赖关系。

• LSTM 上有多条信息流路径，其中，元素相加的路径的梯度流是最稳定的，而其他路径上与基本的 RNN 相类似，依然存在反复相乘问题。

• LSTM 刚刚提出时不存在遗忘门。这时候历史数据可以在这条路径上无损的传递，可以将其视为一条 高速公路，类似于 ResNet 中的残差连接。

• 但是其他路径上， LSTM 与 RNN 并无太多区别，依然会爆炸或者消失。由于总的远距离梯度 = 各个路径的远距离梯度之和，因此只要有一条路的远距离梯度没有消失，总的远距离梯度就不会消失。可以说，LSTM 通过这一条路拯救了总的远距离梯度。

• 同样，总的远距离梯度 = 各个路径的远距离梯度之和，虽然高速路上的梯度流比较稳定，但是其他路上依然存在梯度消失和梯度爆炸问题。因此，总的远距离梯度 = 正常梯度 + 爆炸梯度 = 爆炸梯度，因此 LSTM 依然存在梯度爆炸问题。 但是由于 LSTM 的道路相比经典 RNN 来说非常崎岖， 存在多次激活函数，因此 LSTM 发生梯度爆炸的概率要小得多。实践中通常通过梯度剪裁来优化问题。