递归的最小二乘大约出现在50年前。递归,就是在已经算出的结果的基础下,当新的数据到来时,不需要再对数据进行一次完整的运算,而是在已有结果的基础上做一些简单的调整,就能得到新的结果。使用递归的好处:
- 复杂度低,运算量小,效率高
- 在递归过程中,对数据的使用赋予了新的含义:数据有先有后,有新有旧,不能用同一种眼光看待它们,新的数据的更新更应该得到我们的重视,旧的数据慢慢淡出我们的处理范围,因为我们不能保证所处理的系统是平稳的,也不能保证系统的特性在很长的一段时间内保持不变,因此我们希望对数据进行某种筛选,实现对不平稳系统的跟踪。就像在以前Kalman滤波、LMS算法中一样,数据不平稳没有关系,新的数据会随时到来,我么会用某种方式将新的数据中的信息提取出来,并加以利用。同时旧的数据会在数据处理过程中慢慢消散。
秩一扰动(Rank-one Perturbation)
矩阵求逆公式
递归的最小二乘
QR分解与最小二乘
下面从另外一种角度分析最小二乘
从QR分解出发分析最小二乘与利用相关阵求逆分析最小二乘在本质上是不同的,前者没有做相关阵,因而对噪声的平滑能力比较弱,但是这样做有较好的数值稳定性(Numerical Stablity),原因是:
------------------------------------------------------------------------------------------------
因为文档中公式较多,不方便编辑,所以本文使用截图的方式展现。如需电子版文档,可以通过下面的链接进行下载。
链接http://generatelink.xam.ink/change/makeurl/changeurl/11776