反向传播计算方法

简单的例子：

如何让 f 值更小，就是改变x、y、z，而损失函数也是这样，那么我们分别求偏导，则能得出每个值对结果的影响

链式法则

• 梯度是一步一步传的

  

复杂的例子：

神经网络整体架构

类生物神经元

左半边是生物学上的神经元，右半边是数学上的“神经元”，可以说是非常像。

整体架构

• input layer输入层：比如输入X，有多少个x即有多少个input，比如前面的猫有3千多像素点，那么就有3千多个“圈”进行input。

• hidden layer 1：指将X做了某些变换，且每个圈与前者的全部圈都连接，即是全连接，为什么多了1个圈，是表示可能会在原始特征的基础上做变换，变成4个特征。具体如：假设X输入的是年龄，第一圈表示对年龄做平方，第二个圈表示将年龄与其它值相加相乘等等。

• W1：input是3个，hidden layer 1是4个，那么夹在中间的W1就是[3,4]的权重矩阵。

• hidden layer 2：指在1的基础上再进行变换，防止如果hidden layer 1的效果不好，那么加多一层，进行再加工。

• W2：hidden layer 1是4个，hidden layer 2是4个，那么夹在中间的W2就是[4,4]的权重矩阵。

• output layer：输出结果。

• W3：hidden layer 2是4个，output layer 2是1个，那么夹在中间的W3就是[4,1]的权重矩阵。

整体大致公式：

• 基本架构：

  

• 继续堆叠一层：

  

• 神经网络的强大之处在于，用更多的参数来拟合复杂的数据

神经元个数对结果的影响

ConvNetJS demo: Classify toy 2D data

越多的神经元个数，切分的越明显

如1个神经元：

目的是区分绿色和红色的点，当只有1个神经元时，可以明显看到类似一刀切。

如10个神经元：

可以看到已经切分的非常明显了

另外：在机器学习中，如果数据是完全随机的情况，模型是无法分辨的，但神经网络可以。如下图

这就是神经网络的强大之处，越多神经元区分的越明显，不过也可能存在过拟合，因为太强大了。

正则化与激活函数

• 惩罚力度对结果的影响：

惩罚力度过小（左图），导致的结果是过拟合，有几个红色点明明应该更靠近绿色也被评定为红色。这些一般是训练集的情况，有标签能学到，但是在测试集可能就是灾难了。随着lambda的增大，切分的会相对平滑。

• 参数个数对结果的影响：

同样，神经元个数越多，也越容易过拟合

• 激活函数

做非线性变换，如Sigmoid、Relu、Tanh等

激活函数对比

• Sigmoid：

  

  其缺点是，靠两边的线过于平缓，无法计算梯度或者约等于0，那么值就不会进行更新或者前向传播，而我们恰恰需要传播来更新我们的W值（前面讲到）

• Relu：

  

  市面上绝大多数神经网络用的激活函数，这个是绝对会有梯度，不会出现梯度消失。

神经网络过拟合解决方法

• 不同的预处理结果会使模型的结果发生很大的差异：

  

  如常见的标准化

• 参数初始化：通常使用随机策略进行参数初始化

  

• DROP-OUT：在神经网络训练过程中，随机去掉部分神经元，以减少神经元的个数，并不是简单的去掉部分，而且每次训练都随机去掉部分。

  

  这样保证每次训练的神经网络都相对简单，每次训练可以DROP-OUT一部分神经元