神经网络

• 神经网络：大量神经元节点按一定体系架构连接成的网状结构——大脑结构

• 神经网络的作用
  - 分类
  - 模式识别
  - 连续值预测

  • 建立输入与输出的映射关系

  生物神经元

  

  人工神经元

每个神经元都是一个结构相似的独立单位，接受前一层传来的数据，并将这些数据的加权和输入非线性作用函数中，最后将非线性作用函数的输出结果传递给后一层。

激活函数

导数

人工神经网络

“层”的通俗理解

前馈神经网络

人工神经网络的一种，无反馈，可用一个有向无环图表示。

Delta学习规则

一种有监督学习算法。根据神经元的实际输出与期望输出差别来调整连接权。

前馈神经网络的目标函数

梯度下降

输出层权重改变量

误差方向传播算法

误差传播迭代公式

简单的BP算例

随机梯度下降（SGD）

Mini-batch Gradient Descent

典型的机器学习步骤

特征对学习的影响

深度学习的特征

深度学习是对神经网络模型的拓展。

“连接主义”的兴衰史

深度学习与神经网络的区别