全连接神经网络
全连接神经网络的结构
整体结构
神经网络：类似神经元，前一层可以不断地传递给下一层。
神经网络模型由多个单元结构组成。
单元结构
单元结构的数学公式： a = h ( w x + b ) a=h(wx+b) a=h(wx+b)
h(x)：激活函数
- 比如sigmoid就是激活函数之一
- 隐藏层大多需要激活函数
激活函数
激活函数概述
激活函数是非线性的函数（图像不是直线的）。
非线性激活函数引入了非线性变换，使得神经网络可以逼近任意复杂的函数，从而更好地完成分类、回归和其他任务。增加神经网络的表达能力，使其能够学习和表示更加复杂的模式和关系。
激活函数必须是非线性的，因为如果激活函数是线性的话，无论神经网络有多少层，整个网络都可以被简化为单层网络。 a 31 = k x ; k = c 3 a_{31}=kx; k=c^3 a31=kx;k=c3 和 a 11 = c x a_{11}=cx a11=
