线性回归可以说是机器学习中最基本的问题类型了，这里就对线性回归的原理和算法做一个小结。

        对于线性回归的损失函数，我们常用的有两种方法来求损失函数最小化时候的θ参数：一种是梯度下降，一种是最小二乘法。

为了防止模型的过拟合，我们在建立线性模型的时候经常需要加入正则化项。

一般有L1正则化和L2正则化。

1. 线性回归的L1正则化通常称为Lasso回归，它和一般线性回归的区别是在损失函数上增加了一个L1正则化的项，L1正则化的项有一个常数系数α来调节损失函数的均方差项和正则化项的权重。

        Lasso回归可以使得一些特征的系数变小，甚至还是一些绝对值较小的系数直接变为0。增强模型的泛化能力。

2. 线性回归的L2正则化通常称为Ridge回归，它和一般线性回归的区别是在损失函数上增加了一个L2正则化的项，和Lasso回归的区别是Ridge回归的正则化项是L2范数，而Lasso回归的正则化项是L1范数。

        Ridge回归在不抛弃任何一个特征的情况下，缩小了回归系数，使得模型相对而言比较的稳定，但和Lasso回归比，这会使得模型的特征留的特别多，模型解释性差。Ridge回归的求解比较简单，一般用最小二乘法。