👨‍🎓作者简介：一位即将上大四，正专攻机器学习的保研er
🌌上期文章：机器学习&&深度学习——Dropout
📚订阅专栏：机器学习&&深度学习
希望文章对你们有所帮助

这一部分包括了很多概率论和数学的知识，而书上的推导很少，这边会做个比较细致的讨论，数学基础不行就去补，不能拖，深入浅出的感觉是最让人感到心情愉悦的。

梯度消失和梯度爆炸

一个具有L层、输入x和输出o的深层网络。每一层l由f定义，变换的参数权重为W^(l)，其隐藏变量为h^(l)（令h⁽⁰⁾=x）。则我们的网络可以定义为：
$$h^{(l)}=f_l(h^{(l-1)})因此o=f_L○...○f_1(x)$$
若所有隐藏向量和输入都是向量，我们可以将o关于任何一组参数W^{(l)}的梯度写为：
$${\partial }_h(L-1)h^{(L)}\cdot ...\cdot {\partial }_h(l)h^{(l+1)}{\partial }_w(l)h^{(l)}$$
换言之，该梯度是一个L-l个矩阵M^(L)·…·M^(l+1)与梯度向量v^{l}的乘积。
这么多的乘积放在一起会出现严重的问题：可能会造成梯度的不稳定。要么是梯度爆炸：参数更新过大，破坏了模型的稳定收敛；要么是梯度消失：参数更新过小，在每次更新时几乎不会移动，导致模型无法学习。

梯度消失

sigmoid就是一个造成梯度消失的常见原因，我们可以绘制sigmoid函数以及它的导数函数观察：

import torch
from d2l import torch as d2l

x = torch.arange(-8.0, 8.0, 0.1, requires_grad=True)
y = torch.sigmoid(x)
y.backward(gradient=torch.ones_like(x))  # 参与的参数是非标量的时候，就需要指定gradient为和x形状相同的全1向量（矩阵）

d2l.plot(x.detach().numpy(), [y.detach().numpy(), x.grad.numpy()],
         legend=['sigmoid', 'gradient'], figsize=(4.5, 2.5))
d2l.plt.show()

如上图，当sigmoid函数的输入很大或者很小时梯度会消失。此外，当反向传播通过许多层时，除非函数的输入接近于0，否则整个成绩的梯度都可能会消失。因此，更稳定的ReLU系列函数已经成为从业者的默认选择（虽然在神经科学的角度看起来不太合理）。

梯度爆炸

梯度爆炸可能同样令人烦恼。 为了更好地说明这一点，我们生成100个高斯随机矩阵，并将它们与某个初始矩阵相乘。 对于我们选择的尺度（方差σ²=1），矩阵乘积发生爆炸。当这种情况是由于深度网络的初始化所导致时，我们没有机会让梯度下降优化器收敛。

import torch

M = torch.normal(0, 1, size=(4, 4))
print('一个矩阵\n', M)
for i in range(100):
    M = torch.mm(M, torch.normal(0, 1, size=(4, 4)))

print('乘以100个矩阵后\n', M)

一个矩阵
tensor([[ 2.2266, 0.1844, -0.1071, -0.7712],
[-0.1580, -0.3028, -0.9375, -0.2922],
[ 0.0616, -1.1593, 1.8516, 1.6285],
[ 0.2703, -0.5483, -0.6187, -1.2804]])
乘以100个矩阵后
tensor([[ 1.3260e+25, -6.2655e+25, 1.2841e+25, 1.5429e+25],
[ 1.5770e+24, -7.4518e+24, 1.5273e+24, 1.8351e+24],
[ 8.5330e+23, -4.0321e+24, 8.2638e+23, 9.9294e+23],
[ 5.7656e+24, -2.7244e+25, 5.5837e+24, 6.7091e+24]])

让训练更加稳定

而如何让我们的训练更加稳定呢？也就是要避免掉梯度消失和梯度爆炸问题。
目标：让梯度值在合理范围内，如[1e-6,1e3]
将乘法变加法：ResNet，LSTM
归一化：梯度归一化，梯度裁剪
合理的权重和激活函数（这是我们的重点）

参数初始化

减轻上面问题的一种方法就是进行参数初始化，优化期间的注意以及适当的正则化也可以使得训练更加的稳定。

讨论（各种概率论思维推导）

我们现在做一个假设：
（1）假设w都是独立同分布的，那么：
$$E[w_{i,j}^t]=0，D[w_{i,j}^t]={\gamma }_t^2$$
（2）h^t-1独立于w^t（也就是层的权重与输入是无关的）
我们大胆假设此时没有激活函数，那么
$$h^t=W^t{h}^{t-1}，这里W^t\in R^{n_t\times n_{t-1}}$$
则容易推出：
$$E[h_i^t]=E[\sum _j{w}_{i,j}^t{h}_j^{t-1}]=\sum _{j}E[w_{i,j}]E[h_j^{t-1}]=0（独立同分布的推广）$$
此时我们分别计算正向方差与反向方差，并且让他们都相同。

正向方差
$$\begin{gathered} D[h_i^t]=E[(h_i^t{)}^2]-E[h_i^t{]}^2=E[(\sum _j{w}_{i,j}^t{h}_j^{t-1}{)}^2]（前面假设过独立同分布那么E[h_i^t]=0） \\ =E[\sum _j(w_{i,j}^t{)}^2(h_j^{t-1}{)}^2+\sum _{j\ne k}{w}_{i,j}^t{w}_{i,k}^t{h}_j^{t-1}{h}_k^{t-1}]（这里就是(a+b+c+...{)}^2的计算方式） \\ 由于独立同分布，所以\sum _{j\ne k}{w}_{i,j}^t{w}_{i,k}^t{h}_j^{t-1}{h}_k^{t-1}=0，则 \\ 上式=\sum _{j}E[(w_{i,j}^t{)}^2]E[(h_j^{t-1}{)}^2] \\ =\sum _j(E[(w_{i,j}^t{)}^2]-E[w_{i,j}^t{]}^2)(E[(h_j^{t-1}{)}^2]-E[h_j^{t-1}{]}^2)（构造出D） \\ =\sum _{j}D[w_{i,j}^t]D[h_j^{t-1}]=n_{t-1}{\gamma }_t^{2}D[h_j^{t-1}] \end{gathered}$$
我们让t层输入的反差与输出的方差都是相同的，那么可以推出：
$$n_{t-1}{\gamma }_t^2=1（其中n_{t-1}代表第t层输入的规模）$$
其他层也是同理的。

反向方差
而反向和正向的情况就类似了，可以这么推导：
$$\frac{\partial l}{\partial h^{t-1}}=\frac{\partial l}{\partial h^t}{W}^t$$
分别取转置，得：
$$(\frac{\partial l}{\partial h^{t-1}}{)}^T=(W^t{)}^T(\frac{\partial l}{\partial h^t}{)}^T$$
依旧假设：
$$E[\frac{\partial l}{\partial h_i^{t-1}}]=0$$
则
$$D[\frac{\partial l}{\partial h_i^{t-1}}]=n_t{\gamma }_t^{2}D[\frac{\partial l}{\partial h_j^t}]$$
这时我们可以推出：
$$n_t{\gamma }_t^2=1（其中n_t代表第t层输出的规模）$$
其他层也是同理的。

照着上面的方式推下去，我们最终整合起来的结论是
$$n_{t-1}{\gamma }_t^2=1和n_t{\gamma }_t^2=1$$
显然我们要满足上面的式子，当且仅当：
$$n_{t-1}=n_t$$
这并不容易满足，因为我们很难说对于一层中，我们的输入和输出的规模（神经元的数量）是相同的。
接下来就会谈到Xavier初始化，将会用另外一种方式来解决这一问题。

默认初始化

在前面的学习中，我们初始化权重值的方式都是使用正态分布来。而如果我们不指定初始化方法的话，框架会使用默认的随机初始化方法（比如Linear就会提供，具体原理可以自行去了解），简单问题用默认初始化还是很有效的。

Xavier初始化

回到之前的讨论，我们已知很难同时满足
$$n_{t-1}{\gamma }_t^2=n_t{\gamma }_t^2=1$$
我们推广到每一层，即为：
$$n_{in}{\sigma }^2=n_{out}{\sigma }^2=1$$
虽然难以满足输入和输出规模相同，但是我们可以先将两个式子相加并调整：
$${\sigma }^2(n_{in}+n_{out})/2=1\to \sigma =\sqrt{\frac{2}{(n_{in}+n_{out})}}$$
对于上面的式子，我们就可以有两种采样方式：
（1）Xavier初始化从均值为0，方差为
$${\sigma }^2=\frac{2}{n_{in}+n_{out}}$$
的高斯分布中采样权重，即为
$$正态分布N(0,\sqrt{\frac{2}{n_{in}+n_{out}}})$$
（2）从均匀分布从抽取权重时的方差，我们先注意一个定理：
$$均匀分布U(-a,a)的方差为\frac{a^2}{3}$$
此时我们将其带入到σ²的条件中，将得到初始化值域：
$$均匀分布U(-\sqrt{\frac{6}{n_{in}+n_{out}}},\sqrt{\frac{6}{n_{in}+n_{out}}})$$