1.是什么:
2.回归问题的求解:
- 首先是根据之前的数据确定变量和因变量的关系
- 根据关系去预测目标数据
- 根据结果做出判断
2.1如何找到关系?
y’是根据模型生成的预测结果: y’=ax+b,而我们的目的是y’和y(正确的结果)之间的误差尽可能地小,也就是满足拟合条件。
拟合的判断:(y’-y)^2之和min
2.1.1损失函数:
例子:
如何缩小我们的损失函数的误差:
利用梯度下降法
3.梯度下降法:
-
梯度下降法的本质就是:寻找收敛的点
-
如何寻找收敛的点:在函数上的**(当前点pi),进行反方向以规定步长的方式进行搜索直至收敛**
步骤: -
对函数进行求导(得到方向),然后将当前pi点进行带入
-
然后将**指定步长值(a)**去乘以我们的第一步的方向值
-
最后将pi的值减去第二步得到的极值差**(方向值×步长)**
-
依次往复得到极值点
3.1梯度下降法求a和b:
一样的思路,1. 首先带入损失函数的公式中,将损失函数的公式转换为g(a,b)公式
2.然后带入当前a值,并对g(a,b)进行对a的求导(关于a函数的方向值)
3.然后将对a的方向值乘上路程值α,最后用当前a值相减即可
4.以上步骤重复直至一个极值点出现,代表a的极值找到,此时拟合效果最好
结果展示图: