【激活函数】SELU 激活函数

SELU (Scaled Exponential Linear Unit) SELU是对ELU激活函数的改进，通过引入自动标准化机制，使得神经网络的隐藏层在训练过程中可以自动地保持输出的均值和方差接近于1。

# 定义 SELU 激活函数
def selu(x, alpha=1.67326, lambda_=1.0507):
    return lambda_ * torch.where(x > 0, x, alpha * (torch.exp(x) - 1))

$f(x)=\lambda \cdot\left\{\begin{array}{ll}x & \text { if } x>0 \\ \alpha \cdot\left(e^x-1\right) & \text { if } x \leq 0\end{array}\right.$

其中， $\lambda$ 和 $\alpha$ 是两个常数，通常设置为：

$\lambda$ = 1.0507 和 $\alpha$ = 1.67326

自归一化：SELU激活函数引入了自标准化机制，使得神经网络的输出在训练过程中保持均值和方差接近于1。这有助于解决神经网络中的梯度爆炸和梯度消失问题，从而使得深层网络更容易训练。
适用范围： SELU对于输入的取值范围有一定的要求，通常在应用SELU时需要对输入进行归一化。
激活范围：SELU激活函数在输入为负数时具有指数增长，而在输入为正数时近似于线性。这种非线性特性使得SELU在某些情况下比ReLU等激活函数表现更好。

需要注意的是，SELU 激活函数在某些情况下可能并不适用于所有任务和网络结构。在使用 SELU时，还需要注意初始化参数的设置，因为它对于网络的输出分布有严格的要求。如果不合适地使用SELU，可能会导致网络输出的均值和方差不稳定，从而影响模型的性能。

论文链接：

[1706.02515] Self-Normalizing Neural Networks (arxiv.org)

更多深度学习内容请翻阅本人主页，下列是快速链接：

【激活函数】深度学习中你必须了解的几种激活函数 Sigmoid、Tanh、ReLU、LeakyReLU 和 ELU 激活函数（2024最新整理）-CSDN博客

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/296902.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！