1 引言

在前面的文章中已经介绍了介绍了一系列激活函数 (Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logsoftmax、Identity、LogSigmoid、Bent Identity、Absolute、Bipolar、Bipolar Sigmoid、Sinusoid、Cosine、Arcsinh、Arccosh、Arctanh、LeCun Tanh、TanhExp、Gaussian 、GCU、ASU、SQU、NCU、DSU、SSU)。在这篇文章中，会接着上文提到的众多激活函数继续进行介绍，给大家带来更多不常见的激活函数的介绍。这里放一张激活函数的机理图：
在这里插入图片描述

2 激活函数

2.1 S-shaped Rectified Linear Activation Unit（SReLU）激活函数

论文链接：https://arxiv.org/pdf/1512.07030.pdf

SReLU 是一种非线性激活函数，它是对传统的 ReLU（Rectified Linear Unit）的一种扩展和变体。SReLU 激活函数引入了偏移和斜率参数，使得它在一些场景中可能表现得更好。其数学表达式为和数学图像分别如下所示：
$\begin{cases} t_l + a_l (x-t_l), & \text{if } x \leq t_l \\ x, & \text{if } t_l < x < t_r \\ t_r + a_r (x-t_r), & t_r \leq x \\ \end{cases}$ 在这里插入图片描述
优点：

解决死亡神经元问题：与 ReLU 不同，SReLU引入了平移参数，使得在输入为负时也有非零输出，从而减少了死亡神经元问题的出现。这有助于提高网络的稳定性和收敛速度。
平滑和非线性： SReLU 在其 S 字形区域内是平滑且非线性的，可以更好地捕获数据中的复杂模式，这对于模型的性能至关重要。
自适应性：通过调整 SReLU 的平移参数，您可以根据数据的分布和任务需求对激活函数进行微调，使其适应不同的数据特性。
不敏感的参数： SReLU 不太受初始化参数的影响，因此初始化网络时不太容易出现问题。这使得训练过程更加稳定。
避免饱和现象：在 SReLU 的 S 形区域，梯度不会变得非常小，因此可以减少梯度消失问题。

缺点：

计算复杂性：与一些简单的激活函数（如 ReLU）相比，SReLU 涉及更多的参数和计算，可能在一些情况下导致计算复杂性增加。
参数调整： SReLU 需要调整四个额外的参数：平移参数和斜率。这可能需要更多的实验和调整，以找到最佳参数设置。

当前该系列激活函数很少使用。。。

2.2 Bipolar Rectified Linear Unit (BReLU)激活函数

论文链接： https://arxiv.org/pdf/1709.04054.pdf

Bipolar Rectified Linear Unit 是一种非线性激活函数，也称为 BReLU。与传统的 ReLU 及其变种不同，BReLU引入了极性反转来产生负值的输出。其数学表达式为和数学图像分别如下所示：
$\begin{cases} ReLU(x_i) & \text{if } i \text{ mod } 2 = 0 \\ -ReLU(-x_i) & \text{if } i \text{ mod } 2 \neq 0 \\ \end{cases}$ 在这里插入图片描述
优点：