神经网络中使用的激活函数有什么用？

🎁👉点击进入文心快码 Baidu Comate 官网，体验智能编码之旅，还有超多福利！🎁

🔍【大厂面试真题】系列，带你攻克大厂面试真题，秒变offer收割机！

❓今日问题：神经网络中使用的激活函数有什么用？

❤️一起看看文心快码Baidu Comate给出的答案吧！如果这个问题你也会，也可以在评论区写出你的答案哦～

@Comate

神经网络中使用的激活函数具有重要作用，它们能够给神经网络加入一些非线性因素，使得神经网络能够很好地解决比较复杂的问题。如果没有激活函数，神经网络中的每一层的输出只是承接了上一层输入函数的线性变换，无论神经网络有多少层，输出都是输入的线性组合，这将极大限制神经网络的表达能力。

常见的激活函数包括以下几种：

恒等函数：也称为线性激活函数，其输出与输入相等，表达式为f(z) = I(z)=z。这种函数在神经网络中并不常用，因为它不能引入非线性。

Sigmoid函数：能够把输入的连续实值变换为0和1之间的输出。如果是非常大的负数，那么输出就是0；如果是非常大的正数，输出就是1。表达式为f(z) = 1/(1+exp(-z))。

Tanh函数：将输入值映射到-1和1之间。与sigmoid相比，它的输出均值是0，这在某些情况下可能更有利。其表达式为f(z) = tanh(z)。

ReLU（Rectified Linear Unit）函数：是一种常用的非线性激活函数，当输入值小于0时，输出为0；当输入值大于0时，输出等于输入值。表达式为f(z) = max(0,z)。ReLU函数简单且计算效率高，能够加速神经网络的训练。

Leaky ReLU函数：为了解决ReLU函数在负数区域的问题（即“死亡ReLU”），人们提出了Leaky ReLU函数。该函数在负数区域有一个小的正斜率，使得即使输入是负数，神经元也不会完全停止工作。其表达式一般为f(x) = { az（z<0）,z (z>0)}，其中a是一个较小的正数，如0.01。

Swish激活函数：是一种较新的激活函数，表达式为f(x)=x·sigmoid(βx)，其中β是个常数或可训练的参数。Swish具备无上界有下界、平滑、非单调的特性，有实验证明Swish在深层模型上的效果优于ReLU。

这些激活函数各有特点，在选择时需要考虑具体的应用场景和需求。