SwiGLU
SiLU 函数是一种神经网络中的激活函数，全称是 Sigmoid Linear Unit, 也被称为 Swish 函数。它由 Google Brain 在 2017 年提出，是一种非线性激活函数，能够有效地对神经网络的输入进行非线性变换。
定义
f ( x ) = x ∗ σ ( x ) f(x) = x * \sigma (x) f(x)=x∗σ(x)
其中： σ ( x ) = 1 1 + e − x \sigma(x) = \frac{1}{1+e^{-x}} σ(x)=1+e−x1
SiLU 函数的特点如下：
- 正数区域内，SiLU 函数的输出与 ReLU 函数的输出相同。
- 在负数区域内，SiLU 函数的输出与 sigmoid 函数的输出相同。
- SiLU 函数在整个定义域内都是可微的，这使得在反向传播过程中的梯度计算更加稳定。
- SiLU函数不是单调递增的，而是在x≈−1.28时达到全局最小值−0.28，这可以起到一个隐式正则化的作用，抑制过大的权重
图形如下
pytorch SILU用示例
m = nn.SiLU()
input = torch.randn(2)
output = m(input)
