σ ( x ) = 1 1 + e − x \sigma(x)=\frac1{1+e^{-x}} σ(x)=1+e−x1
sigmoid函数好处
1.
σ
(
x
)
\sigma(x)
σ(x)的域值是[0,1] ，在(-∞, +∞)单调递增，很符合概率分布函数的特点
2.以
σ
(
x
)
\sigma(x)
σ(x)为分布函数的概率密度函数在远离零点的位置概率趋近于0，这样比较符合现实生活中的一些规律，即在一定基准线上下浮动，大部分在基准线
3.不同于高斯分布，
σ
(
x
)
\sigma(x)
σ(x)比较容易求导，即
σ
(
x
)
′
=
σ
(
x
)
(
1
−
σ
(
x
)
)
\sigma(x)^{'}=\sigma(x)(1-\sigma(x))
σ(x)′=σ(x)(1−σ(x))对计算机比较友好
4.
σ
(
x
)
\sigma(x)
σ(x)同样也可以伸缩变换和平移，如
σ
(
x
)
=
u
1
+
e
−
x
\sigma(x)=\frac{u}{1+e^{-x}}
σ(x)=1+e−xu
u是上限阈值
