1 知识预警

1.1 线性代数

$(A^{\mathrm{T}}{)}^{\mathrm{T}}=A$$
$(A+B{)}^{\mathrm{T}}=A^{\mathrm{T}}+B^{\mathrm{T}}$
$(\lambda A{)}^{\mathrm{T}}=\lambda A^{\mathrm{T}}$
$(AB{)}^{\mathrm{T}}=B^{\mathrm{T}}{A}^{\mathrm{T}}$
$(A^{-1}{)}^{-1}=A$
$(AB{)}^{-1}=B^{-1}{A}^{-1}$

1.2 矩阵微积分

为了书写简便，我们通常把单个函数对多个变量或者多元函数对单个变量的偏导数写成向量和矩阵的形式，使其可以被当成一个整体处理．矩阵微积分（Matrix Calculus）是多元微积分的一种表达方式，即使用矩阵和向量来表示因变量每个成分关于自变量每个成分的偏导数。

标量关于向量的偏导数：对于M维向量$x\in \mathbb{R}$和函数$y=f(x)\in \mathbb{R}$，则关于$x$的偏导数为：

$$\frac{\partial y}{\partial \mathbf{x}}={\left[\frac{\partial y}{\partial x_1},\cdots ,\frac{\partial y}{\partial x_M}\right]}^{\top }\in {\mathbb{R}}^{M\times 1},$$
向量关于标量的偏导数：对于标量𝑥 ∈ ℝ和函数𝒚 = 𝑓(𝑥) ∈ ${\mathbb{R}}^N$，则𝒚关于𝑥 的
偏导数为
$$\frac{\partial \mathbf{y}}{\partial x}=\left[\frac{\partial y_1}{\partial x},\cdots ,\frac{\partial y_N}{\partial x}\right]\in {\mathbb{R}}^{1\times N}$$

向量关于向量的偏导数 对于 𝑀 维向量 𝒙 ∈ ℝ𝑀 和函数 𝒚 = 𝑓(𝒙) ∈ ℝ𝑁，则
𝑓(𝒙)关于𝒙的偏导数（分母布局）为

向量函数及其导数
$$\frac{\partial x}{\partial x}=I$$$$\frac{\partial Ax}{\partial x}=A^{\mathrm{T}}$$$$\frac{\partial x^{\mathrm{T}}A}{\partial x}=A$$

2 什么是回归分析？

回归分析这是一个来自统计学的概念。回归分析是指一种预测性的建模技术，主要是研究自变量和因变量的关系。通常使用线/曲线来拟合数据点，然后研究如何使曲线到数据点的距离差异最小。如果使用直线进行拟合，则为线性回归（一元线性回归、多元线性回归）；如果是对非线性关系进行建模，则为多项式回归。
例如，存在以下数据（左图）。然后我们拟合一条曲线$f(x)$右图，回归分析的目标就是要拟合一条曲线，让图中红色线段加起来的和最小。

3 线性回归

线性回归（Linear Regression）是回归分析的一种，是机器学习和统计学中最基础和最广泛应
用的模型，是一种对自变量和因变量之间关系进行建模的回归分析．自变量数量为1时称为简单回归，自变量数量大于1时称为多元回归。

1. 假设目标值（因变量）与特征值（自变量）之间线性相关，即满足一个多元一次方程，如：$f(x)=(w_1{x}_1+\dots +w_n{x}_n+b)$。

2. 然后构建损失函数。

3. 最后通过令损失函数最小来确定参数。（最关键的一步）

3.1 一元线性回归

一元线性回归（一元：只有一个未知自变量；线性：自变量$x$的次数都为1次）。

$$\begin{array}{r}f(x)=wx+b\end{array}$$
有$N$组数据，自变量$x=(x^{(1)},x^{(2)},\dots ,x^{(n)})$，因变量$y=(y^{(1)},y^{(2)},\dots ,y^{(n)})$，则训练集$\mathcal{D}=\{(x^{(n)},y^{(n)}){\}}_{n=1}^N$，然后我们假设它们之间的关系是：
$$\begin{array}{r}{\hat{y}}^{(n)}=f(x)=w{x}^{(n)}+b\end{array}$$
那么线性回归的目标就是如何让$f(x)$和$y$之间的差异最小，换句话说就是$a$，$b$取什么值的时候$f(x)$和$y$最接近。
这里我们得先解决另一个问题，就是如何衡量$f(x)$和$y$之间的差异。在回归问题中，均方误差是回归任务中最常用的性能度量。记$J(a,b)$为$f(x)$和$y$之间的差异，即预测值和真实值的差异：

给定一组包含N个训练样本的数据集$\mathcal{D}=\{(x^{(n)},y^{(n)}){\}}_{n=1}^N$，则假设函数为：

$$\begin{array}{rl}\mathcal{L}(w,b)& =\sum _{i=1}^N{\left(f(x^{(n)})-y^{(n)}\right)}^2\\ & =(w{x}^{(n)}+b-y^{(n)}{)}^2\end{array}$$
这里称$\mathcal{L}(w,b)$为损失函数，明显可以看出$\mathcal{L}(w,b)$是二次函数，所以有最小值。当$\mathcal{L}(w,b)$取最小值的时候，$f(x)$和$y$的差异最小，然后我们可以通过最小化$\mathcal{L}(w,b)$来确定$a$和$b$的值。求解该问题有很多方法，首先可以想到求偏导。

3.2 多元线性回归

现实中的数据可能是比较复杂的，自变量也可能不止一个，例如，影响房屋价格也很可能不止房屋面积一个因素，可能还有是否在地铁附近，房间数，层数，建筑年代等诸多因素，表示为$x=(x_1,x_2,...,x_D)$。不过，这些因素对房价影响的权重是不同的，因此，我们可以使用多个权重$w=(w_1,w_2,...,w_D)$来表示多个因素与房屋价格的关系：
$$\begin{array}{rl}\hat{y}=f(x)& =(w_1{x}_1+\dots +w_D{x}_D+b)\end{array}$$
给定一组包含$N$个训练样本的数据集$\mathcal{D}=\{(x^{(n)},y^{(n)}){\}}_{n=1}^N$，则假设函数为：
$$\begin{array}{rl}{\hat{y}}^{(n)}=f(x)& =(w_1{x}_1^{(n)}+w_2{x}_2^{(n)}+\dots +w_D{x}_D^{(n)}+b)\\ & =\sum _{d=1}^D{w}_d{x}_d^{(n)}+b\end{array}$$
写成向量形式：

$$\begin{array}{r}{\hat{y}}^{(n)}=f(x^{(n)})=w{x}^{(n)}+b\end{array}$$

为表示方便，重新定义向量$w:=w⨁b=\left[\begin{array}{c}{w}_1\\ w_2\\ ⋮\\ w_D\\ b\end{array}\right]$，$x:=x⨁1=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_D\\ 1\end{array}\right]$，写成增广向量的形式：

$$\begin{array}{r}\hat{y}=f(x)=w^{\mathrm{T}}x\end{array}$$

尽管公式$(7)$可以描述变量之间的关系，但是一般机器学习领域更喜欢使用公式$(9)$这样的向量乘法的形式。这不仅因为这样表示起来更简单，也是因为现代计算机对向量计算做了大量优化，无论是CPU还是GPU都喜欢向量计算，并行地处理数据，可以得到成百上千倍的加速比。需要注意的是，公式中不加粗的表示标量，加粗的表示向量或矩阵。

比一元线性回归更为复杂的是，多元线性回归组成的不是直线，是一个多维空间中的超平面，数据点散落在超平面的两侧。多元线性回归的损失函数仍然使用预测值-真实值的平方来计算，损失函数为所有样本点距离超平面的距离之和：

$$\begin{array}{rl}\mathcal{L}(w,b)& =\sum _{n=1}^N{\left(f(x^{(n)})-y^{(n)}\right)}^2\\ & =\sum _{n=1}^N(w_1{x}_1^{(n)}+w_2{x}_2^{(n)}++\dots +w_D{x}_D^{(n)}+b-y^{(n)}{)}^2\\ & =\sum _{n=1}^N{\left(\left(\sum _{d=1}^D{w}_d{x}_d^{(n)}+b\right)-y^{(n)}\right)}^2\\ & ⟺\frac{1}{2}\sum _{n=1}^N{\left(\left(\sum _{d=1}^D{w}_d{x}_d^{(n)}+b\right)-y^{(n)}\right)}^2\end{array}$$

写成矩阵形式，令$X=\left[\begin{array}{cccc}{x}_1^{(1)}& x_1^{(2)}& \dots & x_1^{(N)}\\ x_2^{(1)}& x_2^{(2)}& \dots & x_2^{(N)}\\ ⋮& ⋮& ⋮& ⋮\\ x_D^{(1)}& x_D^{(2)}& \dots & x_D^{(N)}\\ 1& 1& \dots & 1\end{array}\right]$，$X$的每一列代表一个样本，$y=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(N)}\end{array}\right]$则写成矩阵形式：
$$\begin{array}{rl}\mathcal{L}(w)& =\frac{1}{2}(X^{\mathrm{T}}w-y{)}^{\mathrm{T}}(X^{\mathrm{T}}w-y)\\ & =\frac{1}{2}||X^{\mathrm{T}}w-y|{|}^2\end{array}$$
目标是最小化损失函数式（15），这是一个无约束多元函数求极值问题，有梯度下降、牛顿法、共轭梯度法，智能优化算法（粒子群算法等、遗传算法、鲸鱼算法等），但首先想到的解法是求导令$\frac{\partial \mathcal{L}(w)}{\partial w}=0$：

$$\begin{array}{rl}\frac{\partial }{\partial w}\mathcal{L}(w)& =X(X^{\mathrm{T}}w-y)\\ & =X{X}^{\mathrm{T}}w-Xy=0\\ X{X}^{\mathrm{T}}w& =Xy\\ w& =(X{X}^{\mathrm{T}}{)}^{-1}Xy\end{array}$$

以上求偏导令=0的解法，就是最小二乘法，这里的二乘表示用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”）；“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小，是minimize最小化。

4 多项式回归