目录
1. 最佳线性无偏估计的由来
2. 简单线性模型下一维参数的BLUE
3. 一般线性模型下一维参数的BLUE
4. 一般线性模型下多维参数的BLUE
4.1 以一维情况说明Rao论文中的结论
4.2 矢量参数是MVUE的本质是矢量参数中的每个一维参数都是MVUE
4.3 一般线性模型多维参数BLUE的具体证明过程
4.4 BLUE与最小二乘的关系
说明:此部分内容在2024版本的课程中没有提供,需要参考2023之前的课程:
第四讲_1_哔哩哔哩_bilibili
1. 最佳线性无偏估计的由来
利用极大似然等方法,在精确了解概率分布 的情况下,可以推导获得解析的估计公式。例如数据是独立同分布,且符合高斯分布时,可以通过联合概率密度函数求导的方法,获得极大似然估计:
上述估计函数与输入数据之间是一种线性关系,在高斯分布情况下,每个数据点的权重都是 。
我们希望估计与数据之间维持这种线性关系,如如下形式:
其中是待确定的线性系数。
如果估计函数是上述线性表达形式,这一类估计都称为是线性估计。
矢量表示下,可以写为:
其中:
,是采集到的n个点数据
,是线性估计待确定的系数
如果我们希望上述估计具有无偏的性质,即:
那么这一类估计就称为是线性无偏估计。
如果我们希望能够寻找到线性无偏估计中的最佳估计,这个最佳指的是估计的MSE最小,即在所有的线性无偏估计中寻找MSE最小的估计:
此时对应的就是最佳线性无偏估计,Best Linear Un-bias Estimator,简称BLUE。
2. 简单线性模型下一维参数的BLUE
最简单的数据采集与待估计的参数模型如下:
此时如果需要确保无偏性,那么满足:
求解BLUE的过程,从无偏性出发:
代入线性估计量,由于 是确定系数,不具备随机性,因此得到:
此时得到此模型下的约束条件:
接下来,观察最优性,即:
由于 是无偏的
其中可以定义自协方差矩阵:
因此:
此时,最优线性估计,转化为:
其中约束条件为:
上述具体BLUE的求解是下面复杂线性模型的特例,此处不单独求解,参照下一节。
3. 一般线性模型下一维参数的BLUE
更加一般的情况, 与待估计参数之间存在已知的一种线性关系,即:
其中 是系统模型已知的确定参数。上述线性采集模型是更加一般的情况,此时,我们仍然用一组线性系数去估计 ,即:
此时的无偏性使得待确定的系数满足:
即:
写成矢量形式,即:
其中: 为达到BLUE待确定的参数。 是系统模型中已知的参数。
此时,再考虑估计方差:
此时:
代入后,得到:
因此,线性情况下最优估计,等效为:
此时定义:
由于 的正定的,因此,本质上是求二次型 最小时,对应的 ,
显然,如果没有额外的限制条件,在时 的最小值为0,上述形成的估计是不合理的,因此引入无偏约束 下求最小值,数学语言描述为:
上述为约束优化问题,可以通过拉格朗日方法求解:
其中的 主要是为了计算形式上的简化,对整体结果不影响,对 求 的梯度,即:
因此:
代入约束条件:
得到:
此时:
对应的:
上述就是一般线性模型一维情况下的BLUE。
上述简单线性模型,即:
代入得到:
这就是上述简单模型下一维参数的BLUE估计表达式。
更加特殊的,如果上述模型中噪声 是独立的,那么:
其中:
代入上述公式,得到:
因此,此时的BLUE可以具体表示为:
此时可以发现,BLUE估计中每个观测值 的权重由 决定,当前观测值方差较大时,那么在BLUE估计中占的比重较小。
如果更加特殊情况,即 是不光独立,而且是同分布的,那么:
代入后得到:
此时,独立同分布下BLUE的估计表达式与高斯分布下MVUE估计量一致。但在BLUE的过程中,我们没有假设具体观测噪声的概率密度,只是假设了独立同分布及噪声的方差。
4. 一般线性模型下多维参数的BLUE
是多维情况,即:
此时: 不是矩阵,因此不能像一维情况下通过比较数据大小寻找最小值。对于矢量情况下的BLUE,可以参考Kay书上的证明,此处采用Rao 1989年的工作,说明上述求解过程,该过程与Kay书上的不一致。
4.1 以一维情况说明Rao论文中的结论
先从一维情况说明: , ,那么 是MVUE 当 , ,那么 ,即最小方差无偏估计和任意零均值的 是正交的。
其中:
首先证明
是MVUE估计量,因此,如果构建 是常数的估计量:
另外
上式需要恒成立,需要满足:
此时,仅在 情况下才能满足,因此,一定有 。
现在证明
任意,使得,此时:
此时,由于,,因此,此时:
因此,任意的MSE都超过 的MSE,因此是MVUE。
4.2 矢量参数是MVUE的本质是矢量参数中的每个一维参数都是MVUE
下面推广到矢量模式,待估计参数:
估计量:
如果 是 的MVUE,那么 是 的MVUE
证明:
如果存在另外估计量:
现在我们想验证: , 是否一定是小于等于0的
此时:
同理:
对于每一个分量, 是MVUE,因此
因此,分量的线性组合,也就存在:
也就是:
即:
因此, 是MVUE。
4.3 一般线性模型多维参数BLUE的具体证明过程
接下来推导矢量情况下下的BLUE,假设数据模型为:
其中, ,是m*1维矢量;一组观测数据 , 是每组数据的观测噪声; 是线性观测矩阵,模型建立后,属于已知参数, 是n*m维矩阵。
考虑线性估计:
其中,A是m*n维矩阵,使得:
可以发现 是矢量 的一个线性组合
在无偏约束下:
因此,得到:
现在就是要求 ,使得
现在用Rao的结论进行求解:
假设任意取 ,也是用 实现的一个线性估计:
且的期望为0,即:
因此:
说明 的每个行矢量都正交 矩阵的列矢量,将 转置,因此 的列矢量都正交 矩阵的列矢量,也就是 一定在 张成的正交补空间中。
具体可以参考矩阵的正交补空间:
【矩阵论笔记】正交补空间-CSDN博客
假设 是 空间的一组基矢量,即:
由于 ,也就是 的每个列矢量,都可以用e 线性组合表示,因此肯定存在矩阵 ,使得:
也就是:
因此:
利用Rao的结论,即此时:
其中:
即:
回顾上述问题,由于 ,因此 也是任意的, ,因此 也是任意的,也就是对于任意的 ,都成立 ,因此:
因此:
的行矢量都 的列矢量正交,因此 的行矢量又回到了 即:
即
也就是:
或者:
同时利用无偏估计约束,即
得到:
即:
代入后得到:
此时,得到矢量情况下的BLUE:
当 ,即模型中噪声是独立同分布(可以不知道具体分布)时的BLUE解:
学习最小二乘后,可以发现上述结果与最小二乘一致。
4.4 BLUE与最小二乘的关系
最小二乘数学模型:
,是待估计或者拟合参数,m*1维矢量;一组n个点的观测数据x , 是每组数据的观测噪声或者可以认为是拟合误差; 是线性观测矩阵,模型建立后,属于已知参数, 是n*m维矩阵。
最小二乘核心约束的是估计误差的平方和最小,即:
本质上, 是一个数,与上述矢量BLUE最后化中的 是矩阵难度上存在难度上的本质不同。
最小二乘的最优解比较简单,令:
对求偏导:
重要的矩阵求导,参考:
矩阵求导、几种重要的矩阵及常用的矩阵求导公式-CSDN博客
因此:
达到最小值时,一阶偏导为零,因此:
对比上述结果,可以发现最小二乘解属于BLUE,上述也是高斯马尔科夫定理的核心要点。