训练神经网络1

1，激活函数（activation functions）

激活函数是神经网络之于线性分类器的最大进步，最大贡献，即，引入了非线性。

1，1 Sigmoid

sigmoid函数的性质：

        结合指数函数的图像可知，当x<0时，-x>0，指数函数随着x的减小而增大，当x=-10时，几乎exp(-(-10)）=exp(10)，约等于2W2，如果x再继续小下去sigmoid的分母就变成无穷大了，此时sigmoid趋近于0。即，当x<0时，随着x越来越小，sigmoid函数越来越趋近于0。

        反之，当x>0时，-x<0，指数函数随着x的增大而减小，当x=10时，几乎exp(-(10)）=exp(-10)，约等于0，如果x再增加下去sigmoid的分母就变成1了，此时sigmoid趋近于1/1=1。即，当x>0时，随着x越来越大，sigmoid函数越来越趋近于1。

 sigmoid函数的缺点：

梯度消失

在计算损失函数L关于x的梯度时，不论上游梯度传过来的是什么，sigmoid函数的本地梯度为：

因此，当x过大时，sigmoid的值为1，1-sigmoid为0，则，本地梯度为0。当x过小时，sigmoid的值为0，同样会导致本地梯度为0。如此一来，损失函数L就无法通过梯度下降法去更新W。

当然sigmoid函数还有其他问题，但相对于梯度消失这个最为严重的问题，可忽略不计。