问题预览/关键词

1. 什么是梯度下降收敛？
2. 哪些方法可以检测梯度下降是否收敛？
3. 什么是学习曲线？
4. 曲线上升代表什么？什么原因造成的？
5. 如何检测梯度下降是否收敛？
6. 多少次迭代，梯度下降会收敛？
7. 什么是自动收敛测试？

笔记

1.梯度下降收敛

详见4.1。参数通过迭代逐渐更新，最终趋于稳定，达到或接近成本函数的最小值的过程。

2.检测收敛的方法。

• 画学习曲线图。
• 自动收敛测试。

3.学习曲线

横轴为梯度下降迭代次数，纵轴为成本函数值。有助于了解每次梯度下降迭代，成本函数的变化。

4.曲线上升

表示成本函数随迭代次数增加，通常学习率选择过大，或者代码有bug。

5.检测梯度下降收敛

迭代次数在400次，曲线接近变平，意味梯度下降已收敛。

6.多少次迭代会让梯度下降收敛

根据场景而定，有时需要迭代30次。有时需要迭代一千次或一万次。

7.自动收敛测试

选择一个ε值，如果梯度下降一次迭代中成本函数减小的值小于ε，则表示收敛。由于不好选择ε值，所以一般还是使用学习曲线图，更为直观。

总结

当梯度下降收敛时，意味着我们可以停止训练了。通过画出学习曲线图，我们能够直观的看到，当曲线变平时，就代表经过它对应的迭代次数时，梯度下降就可以收敛了。如果曲线有问题，我们可以从学习率过大或代码有问题两方面考虑。