激活函数是人工神经网络中的一个关键组件，负责引入非线性，从而使神经网络能够学习和表示复杂的非线性关系。没有激活函数，神经网络中的所有计算都是线性变换，而线性模型的表达能力有限，无法处理复杂的任务。
激活函数的作用
-
引入非线性：通过将线性输入映射到非线性输出，使神经网络具备表示复杂函数的能力。
-
控制输出范围：激活函数常将输出限制在某个范围内，如 [0,1] ，有助于稳定训练过程。
-
提供梯度信息：激活函数对输入的导数用于反向传播，通过调整参数来优化网络性能。
常见激活函数
（一）ReLU（Rectified Linear Unit）
公式：
特点：
-
输出范围：[0,+∞）
-
优点：计算简单，高效；缓解了梯度消失问题。
-
缺点：可能导致“神经元死亡”（Dead Neurons）问题，尤其是输入为负时。即当权重更新导致某些神经元输出恒为0时，这些神经元可能永远不被激活。
（二）Sigmoid
公式：
特点:
-
输出范围：(0,1)
-
非线性且平滑，对输入做“压缩”，将其映射到 (0,1)区间。
特点:
-
输出范围：(0,1)(0, 1)(0,1)
-
常用于二分类问题的输出层。
-
优点：平滑，可解释为概率。
-
缺点：梯度在接近 0 和 1 时趋近于 0（梯度消失问题）。
（三）Tanh（Hyperbolic Tangent）
公式：
特点：
-
输出范围：(−1,1)(-1, 1)(−1,1)。
-
优点：输出均值接近 0，适合深层网络的梯度传播。
-
缺点：和 Sigmoid 一样，容易出现梯度消失问题。
（四）LReLU（Leaky ReLU）
公式：
特点:
- 输出范围：[ -∞, +∞ )。
- 优点：解决了 ReLU 的“神经元死亡”问题。
- 缺点：引入了一个额外的超参数 α ，默认为 0.1。
（五）PReLU（Parametric ReLU）
公式：
特点：
-
是 Leaky ReLU 的扩展版本， 但斜率 α 是可学习的参数。
-
提高模型的灵活性和表现力。
（六）ELU（Exponential Linear Unit）
公式：
(α>0, 通常为 1)
特点：
-
输出范围：(−α,+∞)。
-
优点：缓解梯度消失问题；负输出使均值更接近 0。
（七）Softmax
公式：
特点：
-
用于多分类问题的输出层。
-
将输出归一化为概率分布。
（八）Swish
公式：
特点：
-
输出范围：(−∞,+∞)。
-
优点：平滑，可微；在某些任务中表现优于 ReLU。
-
缺点：计算稍复杂。
（九）GELU（Gaussian Error Linear Unit）
公式：
Φ(x) 为标准正态分布的累积分布函数
特点：
-
Swish 的一种改进。
-
常用于自然语言处理中的 Transformer 模型。
常用激活函数总结
隐藏层：常用 ReLU 或其变体（Leaky ReLU、PReLU、ELU）。
-
简单网络：可以尝试 ReLU 或 Leaky ReLU。
-
深度网络：推荐 Swish、GELU 或 ELU。
输出层：
-
二分类问题：Sigmoid。
-
多分类问题：Softmax。
-
回归问题：线性激活函数（或不使用激活函数）。
# 若文章对大噶有帮助的话，点个赞支持一下叭！
