统计是一门艺术(参数假设检验)

1.参数假设检验

在总体分布已知的情况下,对分布中未知参数的检验。

(1)相关基本概念

零假设/原假设与对立假设/备择假设:

任务:根据样本作出是否接受H0

复合假设与简单假设:

否定域/拒绝域与接受域:

假设原假设成立,即a=a0,那么其与样本均值应该差的不太多,如果差的太多,那么就与原先的共有与样本均值应该差的不太多的常识矛盾,那么应该拒绝这个假设(是一种概率意义上的反证法)

对于H0:a=a0 H1:a>a0

如何确定其拒绝域:

即为\bar{X}-a_{0}>d

D=\left \{ (x_{1},...,x_{n})=x,x\in D \right \}D=\left \{ (x_{1},...,x_{n}),T(x_{1},...,x_{n})\in S \right \}

从n维判断变换到了一维判断,当判断区间为一个时,称为单侧检验,当判断区间为两个时,称为双侧检验。

检验函数和检验统计量:

检验函数也即为示性函数,\varphi (X) = I_{D}=I_{T(X)\in S}

在上述例子中即为,\varphi (X) =I_{\left | \bar{X}-a_{0} \right |>d}

在有时,并不是单纯的取0/1,由于样本的随机性,在拒绝域和接受域之间的一小部分值会有较大的争议,此时即为随机化检验

两类错误和功效函数:

由于样本的随机性,总会犯错误

第一类错误:P(落在拒绝域|H_{0}为真)  =\alpha    弃真错误

第二类错误:P(落在接受域|H_{1}为真)/P(落在接受域|H_{0}为假)   取伪错误

例:

在某一具体场合下,两种错误只会犯一个

我们希望两个错误都尽可能小 ,但事实上是做不到的。

为了将两个错误统一起来,引入功效函数:

对于两个概率的理解:

对于功效函数曲线的理解:

当未知参数落在拒绝域时,此时可能犯第一类错误,且概率等于\beta_{\varphi }(\theta ),应使其值尽可能低,当未知参数落在接受域时,且概率等于1-\beta_{\varphi }(\theta )此时可能犯第二类错误,应使其值尽可能大。

例:

功效函数就是拒绝域的概率
黄色区域为第二类错误的概率,非黄色区域为第一类错误的概率

检验的水平就是第一类错误发生的概率,即为p=0.2时的取值

例:

例:

未知参数的值需要讨论

例:

未知参数是自变量

基于我们希望两个错误都尽可能小 ,但事实上是做不到的现实,提出:

Neyman-Pearson原则

类比于区间估计:在保证选取的区间能够套住未知参数的前提下保证区间的长度尽可能短

保护原假设:

一些说明:

(1)检验函数:拒绝域时取值为1,接受域时取值为0

(2)功效函数:检验函数的期望,即为拒绝域的概率,此时未知参数属于全体未知参数空间

(3)功效曲线:由此有关于未知参数的功效曲线,理想的形状是在接受域时尽可能大,在拒绝域时尽可能小

2.求解假设检验问题的一般步骤

对于(1)H0与H1的选择:(很重要,具有实际意义)

a.把久经考验的事实放在H0(保护原假设)

b.把你希望得到的结论放在H1,希望通过拒绝H0得到你的结论(由于是保护原假设,那么否定原假设需要充足的证据,也就是说接受H1有充足的证据)

c.等号放在H0

否定原假设比较靠谱因为一般会有95%或90%的把握,因而否定原假设需要更多的证据,而由于保护原假设的存在,当没有充足证据拒绝原假设时就认为接受原假设。

例:

对于(2)检验统计量的建立:

a.有枢轴变量转换成的统计量(即先找未知参数的比较好的点估计,然后构造枢轴量,然后将未知参数赋予已知值)

b.似然比统计量

例:

3.正态总体的假设检验

——基于枢轴变量转化的统计量

包括两个流程:

a.假设检验流程(概率意义上的反证法)

b.假设检验方法的评价(Neyman-Pearson原则)

对于a:

假设H0为真,那么就可以使用H0的条件,由此构造统计量(将枢轴变量中的未知参数已知化),判断样本统计值是否落在拒绝域上(由于\alpha的值通常很小,小概率事件不会发生),做出判断。

对于b:

具体步骤为由I类错误条件得到d值,由II类错误判断是否最小

下面的具体例子:

对于a过程分别为:

(1)单个正态总体的均值检验

 和区间估计一模一样

对于第一个是\bar{X} \in \mu_{0} \pm d

d=\left\{\begin{matrix} \frac{\sigma }{\sqrt{n}}U_{\alpha /2} & ,\sigma^{2}known\\ \frac{S }{\sqrt{n}}t_{n-1}(\alpha /2) & ,\sigma^{2}unknown \\ \frac{S }{\sqrt{n}}U_{\alpha /2} & ,\sigma^{2}unknown,but n>30\\ \end{matrix}\right.

计算\bar{X}的值,判断是否在区间中

对于后两个是:

\mu_{0}\pm d,其中d根据情况不同

对于置信限:只需要将\alpha /2改为\alpha即可,

即为:

上限:\mu_{0} + d

下限:\mu_{0}-d

d=\left\{\begin{matrix} \frac{\sigma }{\sqrt{n}}U_{\alpha} & ,\sigma^{2}known\\ \frac{S }{\sqrt{n}}t_{n-1}(\alpha) & ,\sigma^{2}unknown \\ \frac{S }{\sqrt{n}}U_{\alpha} & ,\sigma^{2}unknown,but n>30\\ \end{matrix}\right.此时总体不必正态。

双正态总体是同样的。

对于b过程:

第一个:

对于第二个:

显著性水平的全覆盖

(2)双正态总体的均值差检验

 (1)均值差\mu _{1}-\mu_{2}的区间估计

\bar{X}-\bar{Y} \in (\mu_{1}-\mu_{2})\pm d

d=\left\{\begin{matrix} \sqrt{\frac{\sigma_{1}^{2}}{m}+\frac{\sigma_{2}^{2}}{n}}U_{\alpha /2} & ,\sigma_{1}^{2}known,\sigma_{2}^{2}known\\ \sqrt{\frac{1}{m}+\frac{1}{n}}S_{W}t_{m+n-2}(\alpha /2) & ,\sigma_{1}^{2}=\sigma_{2}^{2}=\sigma^{2}=unknown \\ \sqrt{\frac{S_{1}^{2}}{m}+\frac{S_{2}^{2}}{n}}U_{\alpha /2} & ,\sigma_{1}^{2}unknown,\sigma_{2}^{2}unknown,but n>30,m>30\\ \end{matrix}\right.

最后一种情况总体不必正态。

成组检验和成对检验:

成组检验指随机选取两组均值比较

成对检验:令Z_{i}=x_{i}-y_{i},x与y之间只有某项指标不同,其余条件相同

例:

例:

合理选择成对/成组,对于结论有重要的意义

(3)单正态总体的方差检验

(4)双正态总体的方差比检验

(5)大样本检验

例:

possion分布——>中心极限定理

不知道分布——>Behrens-Fisher方法

例:

先检验方差再在检验的基础上判断是否有差异

补充:Behrens-Fisher方法:

大样本方法就是将方差换成样本方差

小样本方法:

例:

例:

大样本:

例:

例:

4.似然比检验

定义:

步骤:

单调函数:

\lambda(X)=aT(X),将T(X)看作一个整体

例1:

一类错误/ 显著性水平:

关于单调性的解释:注意是统计量,此时的T(X)=\left | T \right |

例2:

例3:

说明:

例4:均匀分布

例5:指数分布

例:

说明在整个定义域内是单调不减的

大样本:(Wilks定理)

5.一致最优检验(UMPT)

定义:

即若为功效函数为凸函数,则在一个点取得最大值,即若当对立假设为一个点时,此时第二类错误最小,而当对立假设不为一个点时,就不是对于所有点取得最小,当与对立假设参数无关时可以。

这个定义的关键是对于对立参数空间的所有参数都要成立

由此,Neyman-Pearson引理:

例1:

也就是说既然与对立假设参数无关,那么我取任意一个都可以,他们的全体就可以组成一个不等式。

例2:

例3:

例:

6.由NP引理求一致最优检验(UMPT)

将H0和H1都变成复合检验:

证明基本思想:

对于对立假设,功效函数与对立假设参数无关

对于原假设,证明功效函数是关于假设参数的一个增函数,由此可以实现显著水平的全覆盖

例1:

例2:

例:

例:两个正态总体

例:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/759130.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

中霖教育:中级会计师备考误区你中招了吗?

【中霖教育好吗】【中霖教育口碑】 中级会计师考试难度并没有大家想象的那么大,只要掌握正确的备考方法就可以。在准备过程中,部分考生往往会陷入一些备考误区,进而影响复习效率。以下误区看你中招了吗: 一、过度追求数量而非质…

rocketmq简易版搭建

今天真是搭了本人六七个钟,太难了 首先是魔法大战镜像,这波大败而归,连上了,可惜没氪金,永远是没拉完就超时,魔法质量不行,等上班赚点米再改良一下魔法类别,那还得继续linux搭建 1…

ComfyUI高清放大的四种方式(工作流附件在最后)

方式一:Latent放大工作流 1.工作流截图 方式二:ESRGAN(传统模型)放大工作流 方式三:算法放大(后期处理)工作流 方式四:Ultimate SD Upscale工作流 这个方式的优势是对于显存底的用…

49 - 列出指定时间段内所有的下单产品(高频 SQL 50 题基础版)

49 - 列出指定时间段内所有的下单产品 -- 指定2020年2月的方法 -- (1) order_date between 2020-02-01 and 2020-02-29 -- (2) order_date like 2020-02% -- (3) DATE_FORMAT(order_date, "%Y-%m") "2020-02" -- (4) LEFT(order_date, 7) 或 subst…

从零开始三天学会微信小程序开发(三)

看到不少入门的小程序开发者不断的问重复性的问题,我们从实战角度开发了这个课程,希望能够帮助大家了解小程序开发。 课程分三天: 第一天:微信小程序开发入门第二天:给小程序接入云端数据第三天:完善我的…

intellij idea安装R包ggplot2报错问题求解

1、intellij idea安装R包ggplot2问题 在我上次解决图形显示问题后,发现安装ggplot2包时出现了问题,这在之前高版本中并没有出现问题, install.packages(ggplot2) ERROR: lazy loading failed for package lifecycle * removing C:/Users/V…

redis未授权访问漏洞复现

一,漏洞介绍 攻击者在未授权访问Redis的情况下,利用Redis自身的提供的config命令,可以进行写文件操作,攻击者还可以成功将自己的ssh公钥写入目标服务器的/root/.ssh文件的authotrized_keys 文件中,进而可以使用对应私…

AI大模型安全挑战和安全要求解读

引言 随着人工智能技术的飞速发展,大模型技术以其卓越的性能和广泛的应用前景,正在重塑人工智能领域的新格局。然而,任何技术都有两面性,大模型在带来前所未有便利的同时,也引发了深刻的安全和伦理挑战。 大模型&…

K8s的基本使用和认识

目录 介绍 控制端 Node(节点) 控制端与节点的关系图 基本使用 创建和运行资源 查找和参看资源 修改和删除资源 介绍 控制端 api-server(api)是集群的核心是k8s中最重要的组件,因为它是实现声明式api的关键 kubernetes api-server的核心功能是提供了Kubernetes各类资…

etcdctl txn如何使用

TXN 从标准输入中读取多个请求,并将它们应用到单个原子的事务操作中。一个事务包含 一系列的条件、所有条件都满足时要执行的一系列请求、任意条件不满足时要执行的一系列请求。 开启事务: etcdctl txn -i 开启事务后,需要先输入判断条件&a…

安装nvm node管理工具后,node跟npm命令却不生效了

在github上下载了nvm的压缩包 自定义安装到D盘之后,node跟npm命令都不生效了 解决办法: 1.在nvm目录下的settings.txt文件中增加淘宝镜像(要把之前安装的node全部删除 nvm uninstall node_mirror: http://npmmirror.com/mirrors/node/ npm_mirror: htt…

【做一道算一道】太平洋大西洋水流问题

太平洋大西洋水流问题 有一个 m n 的矩形岛屿,与 太平洋 和 大西洋 相邻。 “太平洋” 处于大陆的左边界和上边界,而 “大西洋” 处于大陆的右边界和下边界。 这个岛被分割成一个由若干方形单元格组成的网格。给定一个 m x n 的整数矩阵 heights &…

管理上的一些思考

1 前言 管理可分为自我管理、平级管理、向下管理和向上管理。 顾名思义,自我管理就是对自己工作、生活等各方面的规划和执行,不涉及与其他人互动、配合等。我们设定人生目标、年度计划、月计划等,都可以认为是自我管理。《增广贤文》有段很…

【涵子来信科技潮流】——WWDC24回顾与暑假更新说明

期末大关,即将来袭。在期末之前,我想发一篇文章,介绍有关WWDC24的内容和暑假中更新的说明。本篇文章仅为个人看法和分享,如需了解更多详细内容,请通过官方渠道或者巨佬文章进行进一步了解。 OK, Lets go. 一、WWDC24 …

内网安全【5】隧道搭建

1.内网穿透工具 Ngrok Frp Spp Nps EW(停更) 一共是这五个 优点:穿透加密数据,中间平台,防追踪,解决网络问题 Sunny-Ngrok内网转发内网穿透 - 国内内网映射服务器 https://github.com/esrrhs/spp https://github.com/fatedie…

第三十九篇——控制论:要不要成为变色龙?

目录 一、背景介绍二、思路&方案三、过程1.思维导图2.文章中经典的句子理解3.学习之后对于投资市场的理解4.通过这篇文章结合我知道的东西我能想到什么? 四、总结五、升华 一、背景介绍 控制论,看似离我们很遥远,其实我们每天都在做着与…

Big Data Tools插件

一些介绍 在Jetbrains的产品中,均可以安装插件,其中:Big Data Tools插件可以帮助我们方便的操作HDFS,比如 IntelliJ IDEA(Java IDE) PyCharm(Python IDE) DataGrip(SQL …

44 - 修复表中的名字(高频 SQL 50 题基础版)

44 - 修复表中的名字 -- concat(upper(left(name,1)),lower(right(name,length(name)-1))) -- concat(upper(left(name,1)),lower(substr(name,2)))selectuser_id,concat(upper(left(name,1)),lower(right(name,length(name)-1))) as name fromusers order byuser_id;

SpringBoot+Vue集成富文本编辑器

1.引入 我们常常在各种网页软件中编写文档的时候,常常会有富文本编辑器,就比如csdn写博客的这个页面,包含了富文本编辑器,那么怎么实现呢?下面来详细的介绍! 2.安装wangeditor插件 在Vue工程中,…