现代数字信号处理I--最佳线性无偏估计 BLUE 学习笔记

目录

1. 最佳线性无偏估计的由来

2. 简单线性模型下一维参数的BLUE

3. 一般线性模型下一维参数的BLUE

4. 一般线性模型下多维参数的BLUE

4.1 以一维情况说明Rao论文中的结论

4.2 矢量参数是MVUE的本质是矢量参数中的每个一维参数都是MVUE

4.3 一般线性模型多维参数BLUE的具体证明过程

4.4 BLUE与最小二乘的关系


说明:此部分内容在2024版本的课程中没有提供,需要参考2023之前的课程:


第四讲_1_哔哩哔哩_bilibili

1. 最佳线性无偏估计的由来

        利用极大似然等方法,在精确了解概率分布 的情况下,可以推导获得解析的估计公式。例如数据是独立同分布,且符合高斯分布时,可以通过联合概率密度函数求导的方法,获得极大似然估计:

        上述估计函数与输入数据之间是一种线性关系,在高斯分布情况下,每个数据点的权重都是

        我们希望估计与数据之间维持这种线性关系,如如下形式:

        其中是待确定的线性系数。

        如果估计函数是上述线性表达形式,这一类估计都称为是线性估计。

         矢量表示下,可以写为:

其中:

,是采集到的n个点数据

,是线性估计待确定的系数

        如果我们希望上述估计具有无偏的性质,即:

        那么这一类估计就称为是线性无偏估计。

        如果我们希望能够寻找到线性无偏估计中的最佳估计,这个最佳指的是估计的MSE最小,即在所有的线性无偏估计中寻找MSE最小的估计:

此时对应的就是最佳线性无偏估计,Best Linear Un-bias Estimator,简称BLUE。

2. 简单线性模型下一维参数的BLUE

        最简单的数据采集与待估计的参数模型如下:

        此时如果需要确保无偏性,那么满足:

        求解BLUE的过程,从无偏性出发:

代入线性估计量,由于 是确定系数,不具备随机性,因此得到:

此时得到此模型下的约束条件:

 接下来,观察最优性,即:

由于 是无偏的

 其中可以定义自协方差矩阵:

因此:

此时,最优线性估计,转化为:

其中约束条件为:

上述具体BLUE的求解是下面复杂线性模型的特例,此处不单独求解,参照下一节。

3. 一般线性模型下一维参数的BLUE

        更加一般的情况, 与待估计参数之间存在已知的一种线性关系,即:

其中 是系统模型已知的确定参数。上述线性采集模型是更加一般的情况,此时,我们仍然用一组线性系数去估计 ,即:

此时的无偏性使得待确定的系数满足:

即:

写成矢量形式,即:

 其中: 为达到BLUE待确定的参数。 是系统模型中已知的参数。

此时,再考虑估计方差:

此时:

代入后,得到:

因此,线性情况下最优估计,等效为:

此时定义:

由于 的正定的,因此,本质上是求二次型 最小时,对应的

显然,如果没有额外的限制条件,在 的最小值为0,上述形成的估计是不合理的,因此引入无偏约束 下求最小值,数学语言描述为:

上述为约束优化问题,可以通过拉格朗日方法求解:

其中的 主要是为了计算形式上的简化,对整体结果不影响,对 的梯度,即:

因此:

代入约束条件:

得到:

此时:

对应的:

上述就是一般线性模型一维情况下的BLUE。

上述简单线性模型,即:

代入得到:

这就是上述简单模型下一维参数的BLUE估计表达式。

更加特殊的,如果上述模型中噪声 是独立的,那么:

其中:

代入上述公式,得到:

因此,此时的BLUE可以具体表示为:

        此时可以发现,BLUE估计中每个观测值 的权重由 决定,当前观测值方差较大时,那么在BLUE估计中占的比重较小。

        如果更加特殊情况,即 是不光独立,而且是同分布的,那么:

代入后得到:

        此时,独立同分布下BLUE的估计表达式与高斯分布下MVUE估计量一致。但在BLUE的过程中,我们没有假设具体观测噪声的概率密度,只是假设了独立同分布及噪声的方差。

4. 一般线性模型下多维参数的BLUE

         是多维情况,即:

        此时: 不是矩阵,因此不能像一维情况下通过比较数据大小寻找最小值。对于矢量情况下的BLUE,可以参考Kay书上的证明,此处采用Rao 1989年的工作,说明上述求解过程,该过程与Kay书上的不一致。

4.1 以一维情况说明Rao论文中的结论

先从一维情况说明: , ,那么 是MVUE , ,那么 ,即最小方差无偏估计和任意零均值的 是正交的。

其中:

首先证明

是MVUE估计量,因此,如果构建 是常数的估计量:

另外

上式需要恒成立,需要满足:

此时,仅在 情况下才能满足,因此,一定有

现在证明

任意,使得,此时:

此时,由于,因此,此时:

因此,任意的MSE都超过  的MSE,因此是MVUE。

4.2 矢量参数是MVUE的本质是矢量参数中的每个一维参数都是MVUE

下面推广到矢量模式,待估计参数:

估计量:

如果 的MVUE,那么 的MVUE

证明:

如果存在另外估计量:

现在我们想验证: , 是否一定是小于等于0的

此时:

同理:

对于每一个分量, 是MVUE,因此

因此,分量的线性组合,也就存在:

也就是:

即:

因此, 是MVUE。

4.3 一般线性模型多维参数BLUE的具体证明过程

        接下来推导矢量情况下下的BLUE,假设数据模型为:

其中, ,是m*1维矢量;一组观测数据 是每组数据的观测噪声; 是线性观测矩阵,模型建立后,属于已知参数, 是n*m维矩阵。

考虑线性估计:

其中,A是m*n维矩阵,使得:

可以发现 是矢量 的一个线性组合

在无偏约束下:

因此,得到:

现在就是要求 ,使得

现在用Rao的结论进行求解:

假设任意取 ,也是用 实现的一个线性估计:

的期望为0,即:

因此:

说明 的每个行矢量都正交 矩阵的列矢量,将 转置,因此 的列矢量都正交 矩阵的列矢量,也就是 一定在 张成的正交补空间中。

具体可以参考矩阵的正交补空间:

【矩阵论笔记】正交补空间-CSDN博客

假设 空间的一组基矢量,即:

由于 ,也就是 的每个列矢量,都可以用e 线性组合表示,因此肯定存在矩阵 ,使得:

也就是:

因此:

利用Rao的结论,即此时:

其中:

即:

回顾上述问题,由于 ,因此 也是任意的, ,因此 也是任意的,也就是对于任意的 ,都成立 ,因此:

因此:

的行矢量都 的列矢量正交,因此 的行矢量又回到了 即:

也就是:

或者:

同时利用无偏估计约束,即

得到:

即:

代入后得到:

此时,得到矢量情况下的BLUE:

,即模型中噪声是独立同分布(可以不知道具体分布)时的BLUE解:

学习最小二乘后,可以发现上述结果与最小二乘一致。

4.4 BLUE与最小二乘的关系

        最小二乘数学模型:

,是待估计或者拟合参数,m*1维矢量;一组n个点的观测数据x 是每组数据的观测噪声或者可以认为是拟合误差; 是线性观测矩阵,模型建立后,属于已知参数, 是n*m维矩阵。

        最小二乘核心约束的是估计误差的平方和最小,即:

本质上, 是一个数,与上述矢量BLUE最后化中的 是矩阵难度上存在难度上的本质不同。

最小二乘的最优解比较简单,令:

求偏导:

重要的矩阵求导,参考:

矩阵求导、几种重要的矩阵及常用的矩阵求导公式-CSDN博客

因此:

达到最小值时,一阶偏导为零,因此:

对比上述结果,可以发现最小二乘解属于BLUE,上述也是高斯马尔科夫定理的核心要点。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/905552.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

QT(绘图)

目录 QPainter QPainter 的一些关键步骤和使用方法: QPainter 的一些常用接口: 1. 基础绘制接口 2. 颜色和画刷设置 3. 图像绘制 4. 文本绘制 5. 变换操作 6. 渲染设置 7. 状态保存与恢复 8. 其它绘制方法 示例代码1: 示例代码…

【js逆向学习】某多多anti_content逆向(补环境)

文章目录 声明逆向目标逆向分析逆向过程总结 声明 本文章中所有内容仅供学习交流使用,不用于其他任何目的,不提供完整代码,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的…

【安全解决方案】深入解析:如何通过CDN获取用户真实IP地址

一、业务场景 某大型互联网以及电商公司为了防止客户端获取到真实的ip地址,以及达到保护后端业务服务器不被网站攻击,同时又可以让公安要求留存网站日志和排查违法行为,以及打击犯罪的时候,获取不到真实的ip地址,发现…

Java | Leetcode Java题解之第524题通过删除字母匹配到字典里最长单词

题目&#xff1a; 题解&#xff1a; class Solution {public String findLongestWord(String s, List<String> dictionary) {int m s.length();int[][] f new int[m 1][26];Arrays.fill(f[m], m);for (int i m - 1; i > 0; --i) {for (int j 0; j < 26; j) {…

python爬虫抓取豆瓣数据教程

环境准备 在开始之前&#xff0c;你需要确保你的Python环境已经安装了以下库&#xff1a; requests&#xff1a;用于发送HTTP请求。BeautifulSoup&#xff1a;用于解析HTML文档。 如果你还没有安装这些库&#xff0c;可以通过以下命令安装&#xff1a; pip install requests…

Python实现深度学习模型预测控制(tensorflow)DL-MPC(Deep Learning Model Predictive Control

链接&#xff1a;深度学习模型预测控制 &#xff08;如果认为有用&#xff0c;动动小手为我点亮github小星星哦&#xff09;&#xff0c;持续更新中…… 链接&#xff1a;WangXiaoMingo/TensorDL-MPC&#xff1a;DL-MPC&#xff08;深度学习模型预测控制&#xff09;是基于 P…

简单的ELK部署学习

简单的ELK部署学习 1. 需求 我们公司现在使用的是ELK日志跟踪&#xff0c;在出现问题的时候&#xff0c;我们可以快速定为到问题&#xff0c;并且可以对日志进行分类检索&#xff0c;比如对服务名称&#xff0c;ip , 级别等信息进行分类检索。此文章为本人学习了解我们公司的…

神经网络进行波士顿房价预测

前言 前一阵学校有五一数模节校赛&#xff0c;和朋友一起参加做B题&#xff0c;波士顿房价预测&#xff0c;算是第一次自己动手实现一个简单的小网络吧&#xff0c;虽然很简单&#xff0c;但还是想记录一下。 题目介绍 波士顿住房数据由哈里森和鲁宾菲尔德于1978年Harrison …

Spark的集群环境部署

一、Standalone集群 1.1、架构 架构&#xff1a;普通分布式主从架构 主&#xff1a;Master&#xff1a;管理节点&#xff1a;管理从节点、接客、资源管理和任务 调度&#xff0c;等同于YARN中的ResourceManager 从&#xff1a;Worker&#xff1a;计算节点&#xff1a;负责利…

[java][基础]JSP

目标&#xff1a; 理解 JSP 及 JSP 原理 能在 JSP中使用 EL表达式 和 JSTL标签 理解 MVC模式 和 三层架构 能完成品牌数据的增删改查功能 1&#xff0c;JSP 概述 JSP&#xff08;全称&#xff1a;Java Server Pages&#xff09;&#xff1a;Java 服务端页面。是一种动态的…

常见问题 | 数字签名如何保障电子商务交易安全?

如何解决电商交易中数据泄露、交易欺诈等问题&#xff1f; 数字签名是一种类似于电子“指纹”的安全技术&#xff0c;它在电子商务中扮演着至关重要的角色。随着电子商务的迅猛发展&#xff0c;网上交易的数量不断增加&#xff0c;确保交易的安全性和完整性成为了亟待解决的问题…

【Python基础】

一、编程语言介绍 1、分类 机器语言 (直接用 0 1代码编写&#xff09;汇编语言 &#xff08;英文单词替代二进制指令&#xff09;高级语言 2、总结 1、执行效率&#xff1a;机器语言&#xff1e;汇编语言>高级语言&#xff08;编译型>解释型&#xff09; 2、开发效率&…

Java项目实战II基于Java+Spring Boot+MySQL的编程训练系统(源码+数据库+文档)

目录 一、前言 二、技术介绍 三、系统实现 四、文档参考 五、核心代码 六、源码获取 全栈码农以及毕业设计实战开发&#xff0c;CSDN平台Java领域新星创作者&#xff0c;专注于大学生项目实战开发、讲解和毕业答疑辅导。获取源码联系方式请查看文末 一、前言 在当今数字…

双指针习题篇(上)

双指针习题篇(上) 文章目录 双指针习题篇(上)1.移动零题目描述&#xff1a;算法原理&#xff1a;算法流程&#xff1a;代码实现&#xff1a; 2.复写零题目描述&#xff1a;算法原理&#xff1a;算法流程&#xff1a;代码实现&#xff1a; 3.快乐数题目描述&#xff1a;算法原理…

更安全高效的文件传输工具,Ftrans国产FTP替代方案可以了解

文件传输协议&#xff08;FTP&#xff09;&#xff0c;诞生于1971年&#xff0c;自20世纪70年代发明以来&#xff0c;FTP已成为传输大文件的不二之选。内置有操作系统的 FTP 可提供一个相对简便、看似免费的文件交换方法&#xff0c;因此得到广泛使用。 随着企业发展过程中新增…

Leetcode21:合并两个有效链表

原题地址&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 题目描述 将两个升序链表合并为一个新的 升序 链表并返回。新链表是通过拼接给定的两个链表的所有节点组成的。 示例 1&#xff1a; 输入&#xff1a;l1 [1,2,4], l2 [1,3,4] 输出&#xff1a;[1,1,2,3,4,4]示…

《Mini-internVL》论文阅读:OpenGVLab+清华/南大等开源Mini-InternVL | 1~4B参数,仅用5%参数实现90%性能

论文地址Mini-InternVL: A Flexible-Transfer Pocket Multimodal Model with 5% Parameters and 90% PerformanceGitHub仓库地址模型使用教程和权重下载地址 该论文发表于2024年10月份&#xff0c;截止2024年11月&#xff0c;引用数<10 文章目录 论文摘要1. 引用介绍2. 本文…

双目视觉标定——1原理与实践

0 前言 双目视觉定位是目前机器&#xff08;机器人&#xff09;等领域中使用得非常广泛的视觉定位技术&#xff0c;双目视觉是模拟人的视觉系统利用两个不同位置的摄像头的视差来确定物体的位置。由于有需要采集两个摄像头的图像共同参与计算&#xff0c;所以双目相机装配要求…

免杀对抗—DLL劫持白加黑隐写分离EDRSyscall-hook

前言 今天讲点比较高端的东西—DLL反射注入&#xff0c;首先什么是DLL文件&#xff0c;简答来说就是程序为了实现某个功能而调用的文件。举个例子&#xff0c;某个代码想要实现某个功能是不是会调用一些封装好的函数&#xff0c;exe同样如此&#xff0c;想要实现某个功能就会调…

故障诊断 | MTF-TLSSA-DarkNet-GRU-MSA迁移学习故障识别程序(t分布+莱维飞行改进麻雀优化)

故障诊断 | 故障诊断实例代码 目录 故障诊断 | 故障诊断实例代码效果一览基本介绍程序设计参考资料 效果一览 基本介绍 利用了迁移学习和多项技术改进&#xff0c;包括麻雀搜索法、DarkNet19、GRU、多头注意力机制等&#xff0c;以提高故障识别的准确性和效率 模型框架&#x…