最小二乘法是一种求解线性回归模型的优化方法,其目标是最小化数据点和拟合直线之间的残差平方和。这意味着最小二乘法关注的是找到一个直线,使得所有数据点与该直线的偏差的平方和最小。在数学公式中,如果y是实际值,y'是函数估计值,那么最小二乘法求解的是使sum((y-y')^2)最小的参数。
最小二乘法公式
设函数模型为 y = ax+b
此时只需要求参数是a 和 b
损失函数为
我们要求它的偏导数为零,从而得到参数的最优解。
对于上述关于a和b的线性方程组,我们可以用代数的方法或者矩阵的方法来求解它们 。