拟合

 蓝色的圈代表数据，红色的线和绿色的线分别代表我们学习到的曲线。

绿色曲线相对红色曲线更加平滑。绿色曲线才是我们想要的，红色曲线从某种程度上讲是过拟合的，可以从图上看到他的误差是很小的，每个点的误差都是很小很小的。而绿色的曲线牺牲了一部分误差，使得曲线更加的平滑，这样的曲线才是我们所需要的。

什么是正则化

在原来的损失函数后加入正则化项

为什么加入正则化项可以解决过拟合问题？

解释一：降低参数w的大小范围来降低模型的复杂度，因此来解决过拟合问题。

解释二：在训练神经网络的时候，神经网络得到的w和b，它不是一个唯一确定的值，它可以有很多得到相同的损失函数值，对应的w和b不是唯一的，可以有很多得到相同的损失函数。通过正则化将w约束到一个理想的范围

为什么加入正则化项时只限制参数w而不限制b？

参数b只是一个偏移量，只是对拟合的曲线进行上下的平移，并没有改变曲线的形状。我们解决过拟合问题知识想让它的曲线变得更平滑一些。因此改变参数b并没有什么影响

L1正则化和L2正则化？

Dropout正则化

为什么dropout正则化可以解决过拟合问题？

 通过减少参数的数目降低模型的复杂度。

不会过度依赖任意一个输入神经元，不会给任意一个神经元赋予过大的权重，因此权重w变小，相当于起一个L正则化的作用。