Sigmoid

值域: 【0,1】
定义域：【负无穷,正无穷】
特殊点记忆： 经过 [0 , 0.5]
关键点[0,0.5]处的导数是 0.025

相关导数：

softplus函数

值域: (0,无穷大】
定义域：【负无穷,正无穷】
特殊点记忆： 经过 [0 , 1]
关键点[0,1]处的导数是 0.5,是sigmoid函数在x=0时的值

其中：

相关的导数性质：

关键点[0,1]处的导数是 0.5,是sigmoid函数在x=0时的值

tanh

$$\tanh (x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

值域: 【-1,1】
定义域：【负无穷,正无穷】
特殊点记忆： 经过 [0 , 0]
关键点[0,0]处的导数是 1

相关导数：
$$\frac{d}{dx}\tanh (x)=1-{\tanh }^2(x)$$
关键点[0,0]处的导数是 1

ReLu(x)

这个很简单
$$max(0,x)$$

Leaky-Relu

$$max(\alpha \ast x,x)$$

当$\alpha =0.1$时：

ELU

ELU是结合了sigmoid的左侧软饱和性和ReLU的右侧无饱和性而提出的一种新的激活函数。从上面图中不难看到这一特点。右侧线性部分使得ELU可以缓解梯度消失问题，而左侧软饱和性能让ELU对输入变化或噪声更鲁棒。而且ELU的输出均值接近于0，所以没有严重的偏移现象，所以收敛速度更快。但是计算复杂了些

SiLu/ Swish

SiLU（Sigmoid Linear Unit）函数的 LaTeX 表达式是：

$$SiLU(x)=x\cdot \sigma (x)$$

其中，$\sigma (x)$ 表示 sigmoid 函数，即 $\sigma (x)=\frac{1}{1+e^{-x}}$。

SiLU 函数的值域是 $(-\infty ,\infty )$，因为该函数在输入值 $x$ 的正负范围内都有输出。

SiLU 函数的导数表达式是：

$$(SiLU(x){)}^{\prime }=\sigma (x)+x\cdot \sigma (x)\cdot (1-\sigma (x))$$

这里的导数表达式是基于 SiLU 函数的定义和求导法则计算得出的。

需要注意的是，SiLU 函数是一种较为新型的激活函数，与传统的 sigmoid 和 ReLU 函数相比，它在某些任务上可能具有更好的性能表现。

相对于ReLU函数，SiLU函数在接近零时具有更平滑的曲线，并且由于其使用了sigmoid函数，可以使网络的输出范围在0和1之间。这使得SiLU在一些应用中比ReLU表现更好，例如在语音识别中使用SiLU比ReLU可以取得更好的效果。

导数：

Mish

Mish激活函数的LaTeX表达式是：

$$Mish(x)=x\cdot \tanh (\ln (1+e^x))$$

Mish激活函数的值域是$(-\infty ,\infty )$，与SiLU函数类似，它在输入值$x$的正负范围内都有输出。

关于Mish激活函数的导数，其LaTeX表达式相对复杂。根据导数的定义和链式法则，我们可以推导出：

$$(Mish(x){)}^{\prime }=\tanh (\ln (1+e^x))+\frac{4e^x}{(1+e^x{)}^2}$$

需要注意的是，Mish激活函数是一种相对较新的激活函数，被提出用于改善神经网络的性能。它具有一些有趣的特性，例如非单调性和自门控性质，这使得它在某些任务上可能具有更好的性能表现。与SiLU相比，Mish在一些实验中被证明能够取得更好的结果。

导数图：

引用原始论文，Mish 是“通过系统分析和实验发现并使 Swish 更加有效”。 就目前来说Mish可能是
最好的激活函数，但请原始论文仅在计算机视觉任务上对其进行了测试。

伽玛函数

beta函数

Ref

huaxiaozhuan