激活函数总结(十九):激活函数补充
- 1 引言
- 2 激活函数
- 2.1 Inverse Square Root Unit (ISRU)激活函数
- 2.2 Inverse Square Root Linear Unit (ISRLU)激活函数
- 3. 总结
1 引言
在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid
、Tanh
、ReLU
、Leaky ReLU
、PReLU
、Swish
、ELU
、SELU
、GELU
、Softmax
、Softplus
、Mish
、Maxout
、HardSigmoid
、HardTanh
、Hardswish
、HardShrink
、SoftShrink
、TanhShrink
、RReLU
、CELU
、ReLU6
、GLU
、SwiGLU
、GTU
、Bilinear
、ReGLU
、GEGLU
、Softmin
、Softmax2d
、Logsoftmax
、Identity
、LogSigmoid
、Bent Identity
、Absolute
、Bipolar
、Bipolar Sigmoid
、Sinusoid
、Cosine
、Arcsinh
、Arccosh
、Arctanh
、LeCun Tanh
、TanhExp
、Gaussian
、GCU
、ASU
、SQU
、NCU
、DSU
、SSU
、SReLU
、BReLU
、PELU
、Phish
、RBF
、SQ-RBF
)。在这篇文章中,会接着上文提到的众多激活函数继续进行介绍,给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图:
2 激活函数
2.1 Inverse Square Root Unit (ISRU)激活函数
Inverse Square Root Unit(ISRU)是一种非线性激活函数,它在神经网络中用于引入非线性
变换。其数学表达式和数学图像分别如下所示:
I
S
R
U
(
x
)
=
x
1
+
a
x
2
ISRU(x) = \frac{x}{\sqrt{1+ax^2}}
ISRU(x)=1+ax2x
优点:
- 非线性性质: ISRU 激活函数引入了
非线性
性质,有助于神经网络模型捕捉数据中的复杂模式。 - 平滑性: ISRU 在输入值的范围内具有
连续和平滑
的性质,这对于梯度计算和反向传播有益。 - 参数调整: 通过
调整
参数 α,您可以自由地控制激活函数
的形状,使其适应不同的数据分布和任务需求。 - 避免梯度消失: 相对于一些激活函数,如 Sigmoid 和 Tanh,ISRU 在输入
较大的范围
内可以避免梯度消失
问题。
缺点:
- 计算复杂性: ISRU 涉及
平方根
的计算,这可能在计算上相对于一些简单的激活函数(如 ReLU)而言较为复杂。 - 参数调整: 调整参数 α 需要更多的
实验
和调优
,以找到最佳参数设置。 - 可解释性: ISRU 不是一个广泛使用的激活函数,因此可能需要更多的背景知识来
解释
其作用和效果。
该激活函数在当前环境下很少使用。。。。
2.2 Inverse Square Root Linear Unit (ISRLU)激活函数
Inverse Square Root Linear Unit(ISRLU)是一种非线性激活函数,它是 Rectified Linear Unit(ReLU
)的一种扩展。ISRLU 激活函数引入了一个可学习
的参数,使得在输入为负
时,激活函数的输出与输入之间存在非线性
关系。其数学表达式和数学图像分别如下所示:
I
S
R
L
U
(
x
)
=
{
x
1
+
a
x
2
,
if
x
<
0
x
,
if
x
≥
0
ISRLU(x) = \begin{cases} \frac{x}{\sqrt{1+ax^2}}, & \text{if } x < 0 \\ x, & \text{if } x \geq 0 \\ \end{cases}
ISRLU(x)={1+ax2x,x,if x<0if x≥0
优点:
- 非线性性质: ISRLU 激活函数在输入为
负
时引入了非线性
性质,有助于神经网络模型更好地捕捉数据中的复杂模式。 - 平滑性: ISRLU 在输入为负时是
平滑
的,这对于梯度计算和反向传播有益
。 - 自适应性: 参数 (
α
\alpha
α) 可以通过训练
适应
不同的数据分布,使 ISRLU 的负半部分
适应数据的特性。 - 避免梯度消失: 相对于一些激活函数,如 Sigmoid 和 Tanh,ISRLU 在输入
较大的范围
内可以避免梯度消失
问题。
缺点:
- 计算复杂性: ISRLU 涉及
平方根
的计算,这可能在计算上相对于一些简单的激活函数(如 ReLU)而言较为复杂。 - 参数调整: 调整参数 (
α
\alpha
α) 需要更多的
实验
和调优
,以找到最佳参数设置。 - 可解释性: ISRLU 不是一个
广泛使用
的激活函数,因此可能需要更多的背景知识来解释
其作用和效果。
该激活函数在当前环境下很少使用。。。。但是从其性质
上可以感觉到是一个不错的激活函数,可能会在某些应用中得到应用。。。。
3. 总结
到此,使用 激活函数总结(十九) 已经介绍完毕了!!! 如果有什么疑问欢迎在评论区提出,对于共性问题可能会后续添加到文章介绍中。如果存在没有提及的激活函数
也可以在评论区提出,后续会对其进行添加!!!!
如果觉得这篇文章对你有用,记得点赞、收藏并分享给你的小伙伴们哦😄。