一、简介

循环神经网络（Recurrent Neural Network）是深度学习领域中一种非常经典的网络结构，在现实生活中有着广泛的应用。以槽填充（slot filling）为例，如下图所示，假设订票系统听到用户说：“我想在 6 月 1 日抵达上海。”，系统有一些槽（slot）：目的地和到达时间，系统要自动知道这边的每一个单词是属于哪一个槽，比如“上海”属于目的地槽，“6 月 1 号”属于到达时间槽。

这个问题可以用一个前馈神经网络（feedforward neural network）解决，如下图所示，输入是一个单词，把“上海”变成一个向量，“丢”到这个神经网络里面。要把一个单词丢到一个神经网络里面去，就必须把它变成一个向量。

把单词变成一个向量，我们又需要用到我们之前介绍过很多次的独热编码（向量的大小是词
典大小。每一个维度对应词典的一个单词。对应单词的维度为 1，其他为 0。）

这里会有一个问题：因为很多单词可能都没有见过，所以需要在独热编码里面多加维度，用一个维度代表 other，如下图所示。如果不是在词表中，有的单词就归类到 other 里面去。

我们可以用每一个单词的字母来表示它的向量，比如单词是 apple，apple 里面有出现 app、ple、ppl，在这个向量里面对应到 app、ple、ppl 的维度就是 1，其他都为 0。

假设把单词表示为向量，把这个向量丢到前馈神经网络里面去，在该任务里面，输出是一个概率分布，该概率分布代表着输入单词属于每一个槽的概率，比如“上海”属于目的地的概率和“上海”属于出发地的概率。

但是前馈网络会有问题，如下图所示，假设用户 1 说：“在 6 月 1 号抵达上海”。用户 2 说：“在 6 月 1 号离开上海”，这时候“上海”就变成了出发地。

但是对于神经网络，输入一样的东西，输出就应该是一样的东西。在例子中，输入“上海”，输出要么让目的地概率最高，要么让出发地概率最高。不能一会让出发地的概率最高，一会让目的地概率最高。

如果神经网络有记忆力的，它记得它看过“抵达”，在看到“上海”之前；或者它记得它已经看过“离开”，在看到“上海”之前。通过记忆力，它可以根据上下文产生不同的输出。如果让神经网络是有记忆力，其就可以解决输入不同的单词，输出不同的问题。

二、循环神经网络（RNN）

这种有记忆的神经网络称为循环神经网络。在 RNN 里面，每一次隐藏层的神经元产生输出的时候，该输出会被存到记忆元（memory cell）（可简称为单元），图中的蓝色方块表示记忆元。

下一次有输入时，这些神经元不仅会考虑输入 x1, x2，还会考虑存到记忆元里的值。x1, x2以及存在记忆元里的值 a1, a2 都会影响神经网络的输出。

举个例子，假设下图中的神经网络所有的权重都是 1（w=1），所有的神经元没有任何的偏置（bias）（b=0）。假设所有的激活函数都是线性的（y=x），输入是序列 [1, 1]T, [1, 1]T, [2, 2]T, · · · ，所有的权重都是 1。
把这个序列输入到神经网络里面去会发生什么事呢？要使用这个循环神经网络的时候，必须要给记忆元初始值，设初始值都为是 0。输入第一个 [1, 1]T，对左边的神经元（第一个隐藏层），其除了接到输入的 [1, 1]T，还接到了记忆元 (0 跟 0)，输出就是 2。
简单解释一下计算过程：激活函数全是y=x，左边的神经元的输出等于两个输入经过激活函数得到的y，再加上两个记忆元中记录的值。

同理，右边神经元的输出为 2，第二层隐藏层输出（第一个隐藏层通过激活函数也是y=x，两个y相加）为 4。
接下来循环神经网络会将绿色神经元的输出存在记忆元里去，所以记忆元里面的值被更新为2。

如下图所示，接下来再输入 [1, 1]T，接下来绿色的神经元输入为 [1, 1]T、[2, 2]T，输出为 [6, 6]T，第二层的神经元输出为 [12, 12]T。所以因为循环神经网络有记忆元，就算输入相同，输出也可能不一样。

同样的过程，[6, 6]T 存到记忆元里去，接下来输入是 [2, 2]T，输出为 [16, 16]T；第二层隐藏层为 [32, 32]T。在做循环神经网络时，它会考虑序列的顺序，输入序列调换顺序之后输出不同。

三、RNN架构

还是用之前的例子，用户说：“我想在 6 月 1 日抵达上海”，“抵达”就变成了一个向量“丢”到神经网络里面去，神经网络的隐藏层的输出为向量 a1，a1产生“抵达”属于每一个槽填充的概率 y1。

接下来 a1 会被存到记忆元里面去，“上海”会变为输入，这个隐藏层会同时考虑“上海”这个输入和存在记忆元里面的 a1，得到 a2。根据 a2 得到y2，y2 是属于每一个槽填充的概率。（三次使用的相同的神经网络）

有了记忆元以后，输入同一个单词，希望输出不同的问题就有可能被解决。
如下图所示，同样是输入“上海”这个单词，但是因为红色“上海”前接了“离开”，绿色“上海”前接了“抵达”，“离开”和“抵达”的向量不一样，隐藏层的输出会不同，所以存在记忆元里面的值会不同。
虽然 x2的值是一样的，因为存在记忆元里面的值不同，所以隐藏层的输出会不同，所以最后的输出也就会不一样。