资料：https://zhuanlan.zhihu.com/p/653406161
预备知识
1、矩阵的求导
一、问题
- 想对一组数据进行线性回归，也就是用一条直线拟合数据（只要可以写成矩阵形式，未必是直线）。
1、变量形式
待拟合直线方程：
y
=
a
x
+
b
y = ax + b
y=ax+b
代价函数（二乘项）：
J
(
a
,
b
)
=
1
2
m
∑
i
=
0
m
[
(
a
x
i
+
b
)
−
y
i
]
2
J(a,b) = \frac{1}{2m}\sum_ {i=0}^m[(ax_i+b)-y_i]^2
J(a,b)=2m1i=0∑m[(axi+b)−yi]2
2、矩阵形式
待拟合方程：
Y
=
X
A
=
[
x
1
x
1
0
x
2
x
2
0
]
[
a
b
]
=
[
y
1
y
2
]
Y = XA = \left[\begin{array}{c} x_1 & {x_1}^0 \\ x_2 & {x_2}^0 \end{array}\right] \left[\begin{array}{c} a \\ b \end{array}\right] = \left[\begin{array}{c} y_1 \\ y_2 \end{array}\right]
Y=XA=[x1x2x10x20][ab]=[y1y2]
代价函数：
J
=
(
X
A
−
Y
)
T
∗
(
X
A
−
Y
)
J = (XA-Y)^T*(XA-Y)
J=(XA−Y)T∗(XA−Y)
二、最小二乘法推导
1、拆开代价函数并求导
2、整理上式
三、最小二乘法结论
四、最小二乘法例子
1、问题
待拟合方程： y = a x 2 + b x + c y=ax^2+bx+c y=ax2+bx+c
数据：
| x | y |
|---|---|
| 1 | 4 |
| 2 | 6.4 |
| 3 | 8 |
| 4 | 8.8 |
2、计算
[ a b c ] = ( [ 1 1 1 4 2 1 9 3 1 1 4 1 ] T [ 1 1 1 4 2 1 9 3 1 1 4 1 ] ) − 1 [ 1 1 1 4 2 1 9 3 1 1 4 1 ] T [ 4 6.4 8 8.8 ] = [ − 0.4 3.6 0.8 ] \left[\begin{array}{c} a \\ b \\ c \\ \end{array}\right] ={({ \left[\begin{array}{c} 1 & 1 & 1 \\ 4 & 2 & 1 \\ 9 & 3 & 1 \\ 1 & 4 & 1 \\ \end{array}\right]^T\left[\begin{array}{c} 1 & 1 & 1 \\ 4 & 2 & 1 \\ 9 & 3 & 1 \\ 1 & 4 & 1 \\ \end{array}\right]})}^{-1}\left[\begin{array}{c} 1 & 1 & 1 \\ 4 & 2 & 1 \\ 9 & 3 & 1 \\ 1 & 4 & 1 \\ \end{array}\right]^T\left[\begin{array}{c} 4 \\ 6.4 \\ 8 \\ 8.8 \\ \end{array}\right] = \left[\begin{array}{c} -0.4 \\ 3.6 \\ 0.8 \\ \end{array}\right] abc =( 149112341111 T 149112341111 )−1 149112341111 T 46.488.8 = −0.43.60.8
>> X=[1 1 1; 4 2 1;9 3 1;16 4 1]
X =
1 1 1
4 2 1
9 3 1
16 4 1
>> Y = [4;6.4;8;8.8]
Y =
4.0000
6.4000
8.0000
8.8000
>> A = inv(X.'*X)*X.'*Y
A =
-0.4000
3.6000
0.8000
