激活函数的特点
- 非线性。引入非线性能提升模型的表达能力
- 可微分。如果激活函数不可微，那就无法使用梯度下降方法更新参数
- 非饱和性。饱和指在某些区间上激活函数的梯度接近于零，使参数无法更新
- 取值范围有界。这样可以使网络更稳定，即使有很大的输入，激活函数的输出也不会太大
- 计算简单。复杂的激活函数会降低训练速度
常用激活函数
1、Sigmoid
公式
优点
- 适用于将预测概率作为输出的模型
- 梯度平滑
- 可微
缺点
- 存在饱和区间，在该区间内，梯度可能会消失
- 指数运算，计算量较大
- 函数输出不以零为均值，模型收敛较慢
2、Tanh
公式
优点
- 解决了非零均值问题
缺点
- 存在饱和区间，且饱和区间比sigmoid的更大
- 指数运算，计算量较大
3、ReLU
公式
优点
- 在正区间解决了梯度消失问题
- 计算速度快
- 将小于0的输入置零，从某种程度上防止过拟合
缺点
- 非零均值
- 当输入为负时，ReLU完全失效
- 某些神经元可能永远不会被激活
4、Leaky ReLU
公式
优点
- 针对Relu函数中存在的Dead Relu Problem，Leaky Relu函数在输入为负值时，给予输入值一个很小的斜率，在解决了负输入情况下的0梯度问题的基础上，也很好的缓解了Dead Relu问题
- 该函数的输出为负无穷到正无穷，即leaky扩大了Relu函数的范围
缺点
- 理论上来说，该函数具有比Relu函数更好的效果，但是大量的实践证明，其效果不稳定，故实际中该函数的应用并不多
5、ELU
公式
优点
- 解决了Dead ReLU Problem问题
- 该函数在负数域存在饱和区域，从而对噪声具有一定的鲁棒性
缺点
- 计算量较大
- 在实践中同样没有较ReLU更突出的效果，故应用不多
6、Softplus
公式
优点
- 类似于ReLU
缺点
- 导数小于1，可能存在梯度消失的问题
- 计算量较大
7、SiLU
公式
优点
- 继承了ReLU无上界和有下界的特点
- 相比ReLU又增加了平滑和非单调的特点
缺点
- 引入了指数函数，增加了计算量
8、ReLU6
公式
出现原因
- ReLU6就是把ReLU的最大输出为限制为6（变成有上、下界），这使得模型在移动端设备（dtype=float16/int8，低精度）应用时也能有很好的数值分辨率。如果对ReLU激活范围不加限制，当激活值非常大时，低精度的设备无法很好地描述如此大范围的数值，从而带来精度损失
9、Mish
公式
优点
- 无上界、有下界
- 增加了平滑和非单调的特点
缺点
- 引入了指数函数，增加了计算量
