本文来自《老饼讲解-BP神经网络》https://www.bbbdata.com/
目录
- 一、什么是最小二乘法
- 1.1. 什么是最小二乘法
- 1.2. 最小二乘法的求解公式
- 二、最小二乘法求解公式的推导
最小二乘法是基本的线性求解问题之一，本文介绍最小二乘法的原理，和最小二法求解公式的推导
一、什么是最小二乘法
下面简单讲述最小二乘问题与最小二乘法求解公式。
1.1. 什么是最小二乘法
现有A，b，求一x，使得Ax与b的误差最小，即：
min
E
(
x
)
=
(
A
x
−
b
)
T
(
A
x
−
b
)
\displaystyle \text{min}\textbf{E}(x) =(Ax-b)^T(Ax-b)
minE(x)=(Ax−b)T(Ax−b)
该问题称为最小二乘问题
1.2. 最小二乘法的求解公式
最小二乘法问题的求解公式为：
x
=
(
A
T
A
)
−
1
A
T
b
x=(A^TA)^{-1}A^Tb
x=(ATA)−1ATb
二、最小二乘法求解公式的推导
推导思路很简单，只要令E(x)偏导为 0，再进行求解就可以。
最小二乘法求解公式-具体推导过程如下：
即有上述最小二乘法求解公式：
x
=
(
A
T
A
)
−
1
A
T
b
x=(A^TA)^{-1}A^Tb
x=(ATA)−1ATb
相关链接：
《老饼讲解-机器学习》：老饼讲解-机器学习教程-通俗易懂
《老饼讲解-神经网络》：老饼讲解-matlab神经网络-通俗易懂
《老饼讲解-神经网络》：老饼讲解-深度学习-通俗易懂
