一、从机器学习到神经网络
1. 两层神经网络 - 多层感知机
2. 浅层神经网络特点
（1）需要数据量小、训练速度快；
（2）对复杂函数的表示能力有限，泛化能力受到制约。
Kurt Hornik 证明了理论上两层神经网络足以拟合任意函数，而且过去没有足够的数据和计算能力，因此之前的神经网络没有做的Deeper，仅局限于浅层。
3. 多层神经网络（深度学习）
随着网络层数增加，每一层神经元学习到的是前一层神经元更抽象的表示。利用更抽象的特征来对事物进行区分，可以获得更好的性能。
**思考：以下网络结构有多少个参数？**👇
二、神经网络训练
1. 正向传播
正向传播（推断）是根据输入，经过权重、激活函数计算出隐层，将输入的特征向量从低级特征逐步提取为抽象特征，直到得
