【循环神经网络】RNN介绍

在人工神经网络中，”浅层网络”是指具有一个输入层、一个输出层和最多一个没有循环连接的隐藏层的网络。随着层数的增加，网络的复杂性也在增加。更多的层或循环连接通常会增加网络的深度，并使其能够提供不同级别的数据表示和特征提取，称为“深度学习”。循环神经网络（Recurrent Neural Network, RNN）是一类有监督的机器学习模型，由具有一个或多个反馈回路的人工神经元组成，反馈回路使得网络具备记忆能力，可以存储一部分之前的信息，适用构建时间序列分析、文本情感分析等模型。本文主要阐述简单人工神经网络存在的局限，并介绍 RNN 的基本结构。

一、ANN 存在的局限

在人工神经网络中，”浅层网络”是指具有一个输入层、一个输出层和最多一个没有循环连接的隐藏层的网络。随着层数的增加，网络的复杂性也在增加。更多的层或循环连接通常会增加网络的深度，并使其能够提供不同级别的数据表示和特征提取，称为“深度学习”。

然而对于输入或输出是序列的问题， ANN 存在着如下局限：

1）输入、输出是固定长度，无法适应可变长度的问题，例如文本生成；

2）不是共享权重，无法共享不同位置的特征，且随着网络深度的增加，训练难度也随之增大。

二、RNN 的基本结构

循环神经网络（Recurrent Neural Network, RNN）是一类有监督的机器学习模型，由具有一个或多个反馈回路的人工神经元组成。反馈回路是随时间或序列的循环（在 RNN 中称之为时间）。

在单层感知器中，神经元需要完成两个阶段的计算，分别为对输入进行线性组合，以及非线性激活。激活函数通常为 sigmoid、ReLU 等函数。单层感知器网络任意时刻的输出，仅取决于当前时刻的输入，与时间无关。

假设网络的初始输出为 0，将网络上个时刻的输出连接到输入端，就得到带反馈回路的神经网络。网络不同时刻的输入、线性组合与激活值使用下标进行区分。

在循环神经网络中，通常使用 $h_t$ 表示网络状态（ $h$ 代表 hidden layer）。让网络上个时刻的激活值 $a_{t-1}$ 作为网络当前的状态 $h_t$ ，并输出网络当前的状态值，就得到了最简单的 RNN 网络。可以看到，RNN 任意时刻的输出，不仅取决于当前输入，还跟网络当前的状态有关。