本文通过整理李宏毅老师的机器学习教程的内容，简要介绍 RNN（recurrent neural network）的网络结构及训练过程。

RNN 网络结构, 李宏毅

RNN

RNN 的特点在于存储功能，即可以记忆前面时刻的信息。

最简单的 RNN 结构如下：

当然，网络结构可以很深，多少层都可以：

如果存储的是隐藏层（hidden layer）的值，则称为 Elman Network；
如果存储的是输出值，则称为 Jordan Network：

据说 Jordan Network 的表现更好，因为所存储的是输出值，其中包含了优化目标的信息。

RNN 可以是双向的：

LSTM（Long Short-Term Memory）

LSTM 单元的结构简图如下：

其内部的具体结构如下：

需要注意的是，遗忘门（forget gate）这个称呼与我们的直觉相反，即打开时数据保留，关闭时数据清除。

将上述 LSTM 单元视为神经网络中的神经元，即可构成网络结构，其输入数量是普通神经元的 4 倍：

在实际计算过程中，输入数据在进入三个门之前会分别乘三个矩阵：

下图为前后两个时刻的输入数据之间的关系，可以看出，实际的 LSTM 输入数据还要加上前一时刻的隐藏层（hidden layer）的输出 $h^t$，以及前一时刻的存储数据 $c^t$（该操作称为 peephole）：

LSTM 不会只有一层，现在通常都会有至少五六层，其层级之间的连接结构如下：

现在通常讲的 RNN 都是 LSTM。

Keras 框架支持三种 RNN：

• LSTM
• GRU：少了一个门的 LSTM，会把输入门（input gate）和遗忘门（forget gate）联动起来，其中一个打开，则另一个关闭，这样相当于减少了三分之一的参数，但据说表现跟 LSTM 差不多
• SimpleRNN：前一节介绍的最基本的 RNN
  
  

训练过程

以句法分析为例，优化目标为最小化交叉熵（cross entropy）：

训练过程中，更新参数的方法叫 BPTT（backpropagation through time），即考虑时间信息的反向传播法。

此外，在训练过程中，RNN 的 total loss 容易出现很大的波动：

这是因为，RNN 的 error surface 会有比较陡峭的地方，解决该问题的技巧是对梯度（gradient）做裁剪（clipping）：

前述波动的来源并不是 sigmoid 函数，因为如果换成 ReLU 函数也会很差，所以激活函数并不是这里的关键点。

从一个最简单的例子可以看出，问题出在权重参数的变化会在后续时刻被不断放大，即便在学习率（learning rate）很小时也是一样：

然而，LSTM 可以解决梯度消失（gradient vanishing）的问题，也就是 error surface 很平坦的问题，因此可以把学习率设置得比较小，但是并不能解决 error surface 很崎岖的问题（gradient explode）：

LSTM 能够解决梯度消失问题的原因，是存储数据不会被随时清除，因此也需要保证遗忘门在多数时间是开启的。

另外两种解决梯度消失问题的方法是 Clockwise RNN 和 SCRN：

值得一提的是，一篇 Hinton 推荐的论文提到，当使用单位矩阵（identity matrix）初始化参数、并使用 ReLU 函数作为激活函数时，普通 RNN 的表现效果会很好，甚至超过 LSTM。但是如果是通常的训练方式，即使用随机矩阵初始化参数，ReLU 函数的表现效果就不如 sigmoid 函数。