简介

我只是一个小白,很多东西写不好,也不是很懂只是记一下笔记对自己的映像更深,也希望有人能够指导我学习(谢谢!)

优化算法的方法

(1)修改学习速率,还有各种(可变)参数
		1.尝试减少特征的数量
		2.尝试获得更多的特征
		3.尝试增加多项式特征
		4.尝试减少正则化程度𝜆
		5.尝试增加正则化程度𝜆
(2) 获取更多的训练集

(3) 通过看代价函数的 走势.

(4) 修改训练集和测试集的比例

(5)模型选择的方法为：
1. 使用训练集训练出 10 个模型
2. 用 10 个模型分别对交叉验证集计算得出交叉验证误差（代价函数的值）
3. 选取代价函数值最小的模型
4. 用步骤 3 中选出的模型对测试集计算得出推广误差（代价函数的值）

诊断偏差和方差

(1)有时候,在训练集上的验证,效果是很好的 就是训练误差小,验证集的效果不是很好.
(2)有些时候直接训练的结果效果就不好.

训练集误差和交叉验证集误差近似时：偏差/欠拟合
交叉验证集误差远大于训练集误差时：方差/过拟合

1. 获得更多的训练实例——解决高方差
2. 尝试减少特征的数量——解决高方差
3. 尝试获得更多的特征——解决高偏差
4. 尝试增加多项式特征——解决高偏差
5. 尝试减少正则化程度 λ——解决高偏差
6. 尝试增加正则化程度 λ——解决高方差

神经网络的方差和偏差：
使用较小的神经网络，类似于参数较少的情况，容易导致高偏差和欠拟合，但计算代
价较小使用较大的神经网络，类似于参数较多的情况，容易导致高方差和过拟合，虽然计算
代价比较大，但是可以通过正则化手段来调整而更加适应数据。
通常选择较大的神经网络并采用正则化处理会比采用较小的神经网络效果要好。