BP神经网络的反向传播算法

BP神经网络（Backpropagation Neural Network）是一种常用的多层前馈神经网络，通过反向传播算法进行训练。反向传播算法的核心思想是通过计算损失函数对每个权重的偏导数，从而调整权重，使得网络的预测输出与真实输出之间的误差最小。下面是反向传播算法的公式推导过程：

1. 前向传播（Forward Propagation）

假设我们有一个三层神经网络（输入层、隐藏层和输出层），并且每层的激活函数为 sigmoid 函数。

- 输入层： $\mathbf{x} = (x_1, x_2, \ldots, x_n)$
- 隐藏层： $\mathbf{h} = (h_1, h_2, \ldots, h_m)$
- 输出层： $\mathbf{y} = (y_1, y_2, \ldots, y_k)$

各层之间的权重分别为：
- 输入层到隐藏层的权重： $\mathbf{W}^{(1)}$
- 隐藏层到输出层的权重： $\mathbf{W}^{(2)}$

对于第 j 个隐藏层神经元，其输入为：

$z_j^{(1)} = \sum_{i=1}^n W_{ji}^{(1)} x_i + b_j^{(1)}$

其输出为：

$h_j = \sigma(z_j^{(1)})$

对于第 $l$ 个输出层神经元，其输入为：

$z_l^{(2)} = \sum_{j=1}^m W_{lj}^{(2)} h_j + b_l^{(2)}$

其输出为：

$y_l = \sigma(z_l^{(2)})$

其中， $\sigma(z)$ 是激活函数（sigmoid 函数）：

$\sigma(z) = \frac{1}{1 + e^{-z}}$

2. 计算损失函数（Loss Function）

假设损失函数为均方误差（MSE）：

$L = \frac{1}{2} \sum_{l=1}^k (y_l - \hat{y}_l)^2$

其中， $\hat{y}_l$ 是网络的预测输出， $y_l$ 是真实输出。

3. 反向传播（Backpropagation）

反向传播的目标是计算损失函数对每个权重的偏导数，并根据梯度下降法更新权重。

3.1 输出层的误差项

首先计算输出层的误差项：

$\delta_l^{(2)} = \frac{\partial L}{\partial z_l^{(2)}} = \frac{\partial L}{\partial \hat{y}_l} \cdot \frac{\partial \hat{y}_l}{\partial z_l^{(2)}}$

由于：

$\frac{\partial L}{\partial \hat{y}_l} = \hat{y}_l - y_l$
$\frac{\partial \hat{y}_l}{\partial z_l^{(2)}} = \hat{y}_l (1 - \hat{y}_l)$

所以：

$\delta_l^{(2)} = (\hat{y}_l - y_l) \hat{y}_l (1 - \hat{y}_l)$

3.2 隐藏层的误差项

接下来计算隐藏层的误差项：

$\delta_j^{(1)} = \frac{\partial L}{\partial z_j^{(1)}} = \sum_{l=1}^k \frac{\partial L}{\partial z_l^{(2)}} \cdot \frac{\partial z_l^{(2)}}{\partial h_j} \cdot \frac{\partial h_j}{\partial z_j^{(1)}}$

其中：

$\frac{\partial z_l^{(2)}}{\partial h_j} = W_{lj}^{(2)}$
$\frac{\partial h_j}{\partial z_j^{(1)}} = h_j (1 - h_j)$

所以：

$\delta_j^{(1)} = \left( \sum_{l=1}^k \delta_l^{(2)} W_{lj}^{(2)} \right) h_j (1 - h_j)$

3.3 更新权重

根据梯度下降法更新权重：

$W_{lj}^{(2)} \leftarrow W_{lj}^{(2)} - \eta \frac{\partial L}{\partial W_{lj}^{(2)}} = W_{lj}^{(2)} - \eta \delta_l^{(2)} h_j$
$W_{ji}^{(1)} \leftarrow W_{ji}^{(1)} - \eta \frac{\partial L}{\partial W_{ji}^{(1)}} = W_{ji}^{(1)} - \eta \delta_j^{(1)} x_i$