2.2.3 判定梯度下降是否收敛 + α学习率的选择
2.1、 判定梯度下降是否收敛
有两种方法，如下图：
- 方法一：
- 如图，随着迭代次数的增加，J(W,b)损失函数不断下降
- 当 iterations = 300 之后，下降的就不太明显了 / 基本是一条直线了。 这时我们就说，==> “梯度下降已经收敛了”
- 方法二：
- 设置一个阈值 ε，这里我们让ε = 0.001 （自己设置的，但有的时候也掌握不好这个值是多少）。当J（w,b）下降值 < ε 时，我们就认为他已经收敛了
- 最后：还是推荐方法一
2.2 如何设置学习率 α
1、常见的情况：
- 情况一：说明 代码出现bug / α学习率选择太大了
- 情况二：学习率α太大了
- 情况三：这是一个正常的情况，但是当 迭代次数过多 也可能说明α学习率选择较小
- 情况四：学习率太大了/代码的问题，你把每次更新w 写成w = w +… 应该是减法
2、选择 α 学习率的方法：
- 首先选择从 0.0001 0.01 0.1 1 10 依次去尝试，当发现学习率α的值过大时（J（W,b）损失函数发生上弹）。
- 再进行从最后一次正常的α值（出现损失函数J(w,b)上弹之前的值），依次迭代乘3去尝试
- 最后选择一个比较好的值
**第一步：**首先选择从 0.0001 0.01 0.1 1 10 依次去尝试，当发现学习率α的值过大时（J（W,b）损失函数发生上弹）。
第二步：再进行从最后一次正常的α值（出现损失函数J(w,b)上弹之前的值），依次迭代乘3去尝试。 然后可以以此类推。最后收敛后，选择最合适的α值。
