回归分析中的异方差性

在简单线性回归或多元线性回归中,我们对误差项做了一些基本假设。

简单线性回归:
在这里插入图片描述
多元线性回归:
在这里插入图片描述

假设条件:

1.误差均值为零
2.误差具有恒定方差
3.误差不相关
4.误差呈正态分布

第2个假设称为同方差性,因此,违反这个假设称为异方差性。

同方差vs异方差

在这里插入图片描述

因此,简单地说,我们可以将异方差定义为回归模型中误差项或残差项的方差发生变化的条件。正如你在上图中看到的,在同方差的情况下,数据点是均匀分散的,而在异方差的情况下,数据点不是均匀分散的。

产生异方差的可能原因:

  1. 通常发生在最大和最小观测值之间有很大范围的数据集中,即当有异常值时。
  2. 未正确指定模型时。
  3. 如果观察结果与不同的尺度度量混合。
  4. 当使用不正确的数据转换来执行回归时。
  5. 偏度是回归量分布中的一种,也可能是其他一些来源。

异方差的影响:

  • 如上所述,线性回归的假设之一(假设2)是不存在异方差。打破这个假设意味着OLS(普通最小二乘)估计量不是最佳线性无偏估计量(BLUE),并且它们的方差不是所有其他无偏估计量中最低的。
  • 估计器不再是最佳/有效的。
  • 由于估计的回归系数的协方差矩阵的不一致性,假设检验(如t检验、F检验)不再有效。

用残差图识别异方差:

如前文所示,异方差在残差图中产生向外开口的漏斗或向外闭合的漏斗形状。

通过统计检验识别异方差:

异方差的存在也可以使用算法方法进行量化。有一些统计检验或方法可以用来确定异方差的存在或不存在。

  • Breusch-Pagan测试:它测试回归误差的方差是否依赖于自变量的值。在这种情况下,存在异方差性。
  • White 检验:White 检验确定回归模型中误差的方差是否为常数。为了检验恒定方差,我们进行辅助回归分析:这将来自原始回归模型的平方残差回归到包含原始回归量及其平方和叉积的一组回归量上。

异方差修正:

  1. 我们可以使用不同规范的模型。
  2. 加权最小二乘法是常用的统计方法之一。这是普通最小二乘和线性回归的推广,其中允许误差协方差矩阵不同于单位矩阵。
  3. 使用MINQUE:Minimum Norm Quadratic Unbiased Estimation(MINQUE)的理论包括三个阶段。首先,定义一个一般类的潜在的估计作为二次函数的观测数据,其中的估计涉及到一个向量的模型参数。其次,指定某些约束的估计量的期望属性,如无偏性。第三,选择最佳的估计量通过最小化的“范数”的大小的协方差矩阵的估计。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/400197.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

QML | 信号和信号处理器特性

信号和信号处理器特性 很多时候,应用程序的用户界面组件需要相互通信。例如,一个按钮需要知道用户是否进行了单击:当用户单击后,它可能会更改颜色来指示它状态的改变,或者执行一些逻辑代码实现一定的功能。同Qt一样,QML包含了相似的信号和信号处理器机制。 信号是发出事件…

逻辑回归为什么使用交叉熵而不用均方差?

逻辑回归为什么使用交叉熵而不用均方差?或者说逻辑回归的损失函数为什么不用最小二乘? 下面主要从两个角度进行阐述: 从逻辑回归的角度出发,逻辑回归的预测值是一个概率,而交叉熵又表示真实概率分布与预测概率分布的…

(C++) 详解内存地址空间

详解内存空间 0. 概述 一个C/C 程序,编译之后,形成的程序,在执行期间,内存中不仅存在一块区域用于存放代码,还有一些其他的区域用于使用,本节会详解C/C内部所使用的内存地址空间,关于各内存的…

每日OJ题_二叉树dfs③_力扣814. 二叉树剪枝

目录 力扣814. 二叉树剪枝 解析代码 力扣814. 二叉树剪枝 814. 二叉树剪枝 难度 中等 给你二叉树的根结点 root ,此外树的每个结点的值要么是 0 ,要么是 1 。 返回移除了所有不包含 1 的子树的原二叉树。 节点 node 的子树为 node 本身加上所有 n…

深入探索Selenium自动化测试:基础、代码实战与最佳实践【第90篇—Selenium自动化测试】

文章目录 深入探索Selenium自动化测试:基础、代码实战与最佳实践什么是Selenium?安装Selenium基础用法启动浏览器查找元素操作元素 代码实战:模拟登录进阶用法等待元素出现处理弹窗执行JavaScript 高级应用:Selenium Grid启动Sele…

压缩感知常用的测量矩阵

测量矩阵的基本概念 在压缩感知(Compressed Sensing,CS)理论中,测量矩阵(也称为采样矩阵)是实现信号压缩采样的关键工具。它是一个通常为非方阵的矩阵,用于将信号从高维空间映射到低维空间&…

基于vue框架的环保知识普及平台设计与实现

项目:基于vue框架的环保知识普及平台设计与实现 目 录 摘要 I Abstract II 第1章 引言 1 1.1 研究的背景 1 1.2 目的和意义 1 1.3 设计思路 1 1.4 研究的主要内容 2 第2章 相关原理和技术 3 2.1 B/S 模式体系结构 3 2.2 Springboot技术 4 2.3 访问数据库…

“中国国安部紧急警告”!境外公司利用加密货币诱使人员非法采集空间数据!当心不慎成“帮凶”!

随着加密货币的普及,每天都有新的区块链项目出现,目前市场上已经有成千上万种不同的加密货币 一些项目可能因其名人光环、运作机制、出色的代币经济学、或是提供优良的服务而受到市场亲睐,但也有很多项目缺乏大众的关注,或是尚未有…

机器学习——强化学习作业

作业内容 成功降落在两个黄色旗子中间为成功,其他为失败 Policy Gradient方法 Actor-Critic方法 范例结果 baseline Policy Gradient实现

初阶数据结构之---顺序表和链表(C语言)

引言-线性表 线性表: 线性表(linear list)是n个具有相同特性的数据元素的有限序列。 线性表是一种在实际中广泛使用的数据结构。线性表在逻辑上是线性结构,也就是说是连续的一条直线。但在物理上并不一定是连续的。线性表在物理上…

OSQP文档学习

OSQP官方文档 1 QSQP简介 OSQP求解形式为的凸二次规划: x ∈ R n x∈R^n x∈Rn:优化变量 P ∈ S n P∈S^n_ P∈Sn​:半正定矩阵 特征 (1)高效:使用了一种自定义的基于ADMM的一阶方法,只需…

【Flink精讲】Flink内核源码分析:命令执行入口

官方推荐per-job模式,一个job一个集群,提交时yarn才分配集群资源; 主要的进程:JobManager、TaskManager、Client 提交命令:bin/flink run -t yarn-per-job /opt/module/flink-1.12.0/examples/streaming/SocketWind…

什么是CODESYS开发系统

CODESYS是一种用于工业自动化领域的开发系统软件,提供了一个完整集成的开发环境。该软件由德国CODESYS GmbH(原 3S-Smart Software Solutions GmbH)公司开发,其最新版本为CODESYS V3。 CODESYS开发系统具有多种特性和优点。首先&a…

Linux内核解读

来自鹅厂架构师 作者:aurelianliu 工作过程中遇到的调度、内存、文件、网络等可以参考。 1.os运行态 X86架构,用户态运行在ring3,内核态运行在ring0,两个特权等级。 (1)内核、一些特权指令,例…

JS实现根据数组对象的某一属性排序

JS实现根据数组对象的某一属性排序 一、冒泡排序(先了解冒泡排序机制)二、根据数组对象的某一属性排序(引用sort方法排序) 一、冒泡排序(先了解冒泡排序机制) 以从小到大排序为例,冒泡排序的原…

typescript映射类型

ts映射类型简介 TypeScript中的映射类型(Mapped Type)是一种高级类型,它允许我们基于现有类型创建新的类型,同时对新类型的每个属性应用一个转换函数。通过使用映射类型,我们可以方便地对对象的属性进行批量操作&…

人工智能深度学习

目录 人工智能 深度学习 机器学习 神经网络 机器学习的范围 模式识别 数据挖掘 统计学习 计算机视觉 语音识别 自然语言处理 机器学习的方法 回归算法 神经网络 SVM(支持向量机) 聚类算法 降维算法 推荐算法 其他 机器学习的分类 机器…

文献速递:GAN医学影像合成--用生成对抗网络生成 3D TOF-MRA 体积和分割标签

文献速递:GAN医学影像合成–用生成对抗网络生成 3D TOF-MRA 体积和分割标签 01 文献速递介绍 深度学习算法在自然图像分析中的成功近年来已被应用于医学成像领域。深度学习方法已被用于自动化各种耗时的手动任务,如医学图像的分割和分类(G…

软件测试面试,大厂上岸究竟有什么秘诀?

最后,总结一下个人认为比较重要的知识点:接口自动化测试 :测试框架,多个有关联的接口的用例编写,用例的组织及存储,接口测试的覆盖率,RESTAssured 的封装等。UI 自动化测试 :iOS 和 …

【2024美赛】C题 Momentum in Tennis网球运动中的势头 25页中英文论文及Python代码

【2024美赛】C题 Momentum in Tennis网球运动中的势头 25页中文论文 1 题目 A题:2024MCM问题C:网球运动中的势头 在2023年温布尔登网球公开赛男子组决赛中,20岁的西班牙新星卡洛斯-阿尔卡拉斯击败了36岁的诺瓦克-德约科维奇。这是德约科维奇…