【机器学习 | 假设检验】那些经常被忽视但重要无比的假设检验!! 确定不来看看?(附详细案例)

在这里插入图片描述

🤵‍♂️ 个人主页: @AI_magician
📡主页地址: 作者简介:CSDN内容合伙人,全栈领域优质创作者。
👨‍💻景愿:旨在于能和更多的热爱计算机的伙伴一起成长!!🐱‍🏍
🙋‍♂️声明:本人目前大学就读于大二,研究兴趣方向人工智能&硬件(虽然硬件还没开始玩,但一直很感兴趣!希望大佬带带)

在这里插入图片描述

【深度学习 | 核心概念】那些深度学习路上必经的核心概念,确定不来看看? (一)
作者: 计算机魔术师
版本: 1.0 ( 2023.8.27 )

摘要: 本系列旨在普及那些深度学习路上必经的核心概念,文章内容都是博主用心学习收集所写,欢迎大家三联支持!本系列会一直更新,核心概念系列会一直更新!欢迎大家订阅

该文章收录专栏
[✨— 《深入解析机器学习:从原理到应用的全面指南》 —✨]

@toc

置信区间最佳实践

在统计学和数据分析中,置信区间是一种用于估计参数真实值范围的方法。它提供了一个范围,该范围内有一定的置信度包含了参数的真实值。置信区间的计算通常基于样本数据,并依赖于统计理论和假设。

以下是一般情况下计算置信区间的步骤:

  1. 收集样本数据:首先,需要从总体中收集足够的样本数据。样本应该是随机选择的,并且能够代表总体。

  2. 选择置信水平:确定所需的置信水平,通常以百分比的形式表示,例如95%或99%。置信水平表示在重复抽样的情况下,置信区间将包含参数真实值的比例

  3. 选择合适的分布和统计方法:根据问题的性质和样本数据的特征,选择适当的分布和统计方法。常见的情况是使用正态分布或t分布。

  4. 计算置信区间:使用选择的分布和统计方法,根据样本数据计算置信区间。具体计算的方法因问题而异,但通常基于估计的标准误差和分布的百分位数

  5. 解释结果:将计算得到的置信区间解释给使用者。例如,可以说“根据我们的样本数据,以95%的置信水平,我们估计参数的真实值在置信区间[下界,上界]之间。”

需要注意的是,置信区间是对参数真实值的估计,不是参数的确切值。置信区间给出了一个范围,我们可以合理地认为参数的真实值位于其中,但并不能确定具体的取值。

计算置信区间的方法有很多种,具体的计算步骤和公式可能因问题类型、样本分布和统计方法的选择而有所不同。在实际应用中,通常会使用统计软件或编程语言来计算置信区间,以确保准确性和效率。

当你有少量数据时,可以使用 t 分布来计算置信区间。假设你想要估计某个总体的均值,并且你有一个包含 n 个观测值的样本。以下是一个简单的例子,演示如何计算均值的置信区间。

假设你想要估计一家快餐连锁店每日销售额的均值,你随机选择了10天的销售数据作为样本。这些数据分别是:1200, 1300, 1100, 1400, 1500, 1300, 1600, 1700, 1200, 1400。

步骤:

  1. 计算样本均值:将这些观测值相加,然后除以样本的大小 (n)。在这个例子中,观测值的总和是:1200 + 1300 + 1100 + 1400 + 1500 + 1300 + 1600 + 1700 + 1200 + 1400 = 14,800。样本的大小是10。所以样本均值为:14,800 / 10 = 1480。

  2. 计算样本标准差:计算这些观测值的标准差,用于估计总体的标准差。在这个例子中,可以使用样本标准差来估计总体标准差。样本标准差的计算方式可以参考以下公式:

    σ = ∑ ( x i − x ˉ ) 2 n − 1 \sigma = \sqrt{\frac{\sum{(x_i - \bar{x})^2}}{n-1}} σ=n1(xixˉ)2

    其中, x i x_i xi 表示观测值, x ˉ \bar{x} xˉ 表示样本均值, n n n 表示样本的大小。计算得到样本标准差为: σ = 247.487 \sigma = 247.487 σ=247.487

  3. 计算置信区间:选择置信水平。假设我们选择95%的置信水平,这意味着我们希望置信区间有95%的概率包含参数的真实值。

    使用 t 分布,需要确定自由度。自由度为 n − 1 n - 1 n1,其中 n n n 是样本的大小。在这个例子中,自由度为 10 − 1 = 9 10 - 1 = 9 101=9

    根据 t 分布表或统计软件,找到与所选择的置信水平和自由度相对应的 t 值。对于95%的置信水平和9个自由度,t 值为 2.262。

    置信区间的计算公式为:置信区间 = 样本均值 ± (t 值 * 标准误差)。(如果分布,则根据分布百分比)

    标准误差的计算公式为:标准误差 = 样本标准差 / √n

    在这个例子中,标准误差 = 247.487 / √10 ≈ 78.27。

    因此,置信区间 = 1480 ± (2.262 * 78.27)。计算得到置信区间为 [1332.24, 1627.76]。

解释结果:根据我们的样本数据,以95%的置信水平,我们估计每日销售额的均值在1332.24到1627.76之间。

请注意,这个例子仅用于演示如何计算置信区间,实际数据分析中可能需要考虑更多的因素和技术。

独立同分布概念

独立同分布(independent and identically distributed,简称i.i.d.)是概率统计学中的一个重要概念。

独立(independent)指的是随机变量之间的关系,即一个随机变量的取值不受其他随机变量的取值影响。换句话说,给定一个随机变量的取值,不能提供有关其他随机变量取值的任何信息。例如,抛一枚硬币两次,第一次出现正面和第二次出现正面这两个事件是独立的,因为第一次出现正面的结果不会影响第二次出现正面的概率。

同分布(identically distributed)指的是多个随机变量具有相同的概率分布。换句话说,多个随机变量的取值遵循相同的概率规律。例如,从同一批产品中随机选取多个产品的重量,这些随机变量的取值遵循相同的概率分布。

因此,独立同分布(i.i.d.)的含义是指多个随机变量之间相互独立且具有相同的概率分布。在统计学和机器学习中,独立同分布假设常常被用来简化问题和建立模型。它是许多概率模型和统计推断方法的基础假设之一,使得问题可以更容易地建模和求解。

P-value假设检验

在统计学中,p-value中的"P"代表"probability",即概率。p-value表示观察到的样本数据或更极端情况出现的概率。

在假设检验中,p-value是用于衡量观察到的样本数据对于原假设的支持程度的指标。它表示在原假设为真的情况下,观察到的样本数据或更极端情况出现的概率。

假设检验的一般步骤如下:

  1. 建立原假设(H0)和备择假设(H1)。
  2. 选择适当的统计量,根据样本数据计算统计量的观察值。
  3. 基于原假设,确定统计量在原假设下的分布。
  4. 计算p-value,即在原假设为真的情况下,观察到的统计量值或更极端情况出现的概率。
  5. 根据p-value与事先设定的显著性水平进行比较。
    • 如果p-value小于显著性水平(通常为0.05),则拒绝原假设,认为观察到的数据提供了足够的证据支持备择假设。
    • 如果p-value大于等于显著性水平,则无法拒绝原假设,认为观察到的数据不足以提供足够的证据支持备择假设。

p-value的计算方法与具体的假设检验方法和统计量有关。对于一些常见的假设检验方法,例如t检验和F检验,p-value可以通过查表或使用概率分布函数来计算。对于更复杂的假设检验方法,可能需要使用模拟方法(如蒙特卡洛模拟)或基于抽样分布的方法来估计p-value。

需要注意的是,p-value并不提供关于备择假设的真实性或效应大小的信息。它仅仅是一种衡量观察到数据与原假设的一致性的指标。因此,在解释p-value时,应该谨慎考虑其他因素,如实际背景知识、样本大小和效应大小等。

显著性水平(0.05)

显著性水平通常被设定为0.05(或5%)的原因是出于统计学上的传统和惯例。在假设检验中,显著性水平表示在原假设为真的情况下,我们拒绝原假设的错误概率。换句话说,它是我们犯第一类错误(拒绝一个实际上为真的假设)的概率。

将显著性水平设置为0.05有以下几个原因:

  1. 常用的标准:0.05的显著性水平是在许多学科和领域中被广泛接受的标准,包括经济学、社会科学、医学研究等。这种一致性有助于结果的可比性和解释的一致性。

  2. 平衡类型I和类型II错误:在假设检验中,存在两种类型的错误,即类型I错误(拒绝一个实际上为真的假设)和类型II错误(接受一个实际上为假的假设)。将显著性水平设置为0.05可以在一定程度上平衡这两种错误的风险。

  3. 统计学的权衡:选择显著性水平时需要进行统计学权衡。较低的显著性水平(例如0.01)可以降低犯类型I错误的概率,但可能增加类型II错误的概率。相反,较高的显著性水平(例如0.10)可以增加类型I错误的概率,但可能降低类型II错误的概率。0.05的显著性水平在权衡这两种错误之间提供了一种较为平衡的选择。

需要注意的是,显著性水平的选择并不是绝对的,而是依赖于具体的研究领域、问题的重要性以及研究者自身的偏好。在某些情况下,可能会选择更为保守或更为宽松的显著性水平。

将显著性水平设置为0.05是出于统计学的传统和平衡类型I和类型II错误的考虑。然而,根据具体的研究需求和背景,研究者可以根据自己的判断和需要选择不同的显著性水平。

在这里插入图片描述

						  🤞到这里,如果还有什么疑问🤞
					🎩欢迎私信博主问题哦,博主会尽自己能力为你解答疑惑的!🎩
					 	 🥳如果对你有帮助,你的赞是对博主最大的支持!!🥳

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/160702.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

云服务器安装宝塔Linux面板

最近趁双11优惠,买了个腾讯云轻量应用服务器,尝试在这上面搭建一个个人的网站。 研究了一下,通过宝塔软件安装的话,非常降低,上手快。 服务器配置: CPU 2核内存 2G云硬盘:50G带宽:…

手撕单链表(C语言)

目录 1.单链表的物理结构 2.头文件的实现 3.SList.c文件的实现 3.1尾插、创建节点 3.2打印 3.3头插 3.4尾删 3.5头删 3.6查找 3.7指定位置之前插入数据 3.8指定位置之后插入数据 3.9删除指定位置节点 3.10删除pos之后的节点 3.11销毁链表 4 所有的代码 1.单链表的物理结构 众所…

美团外卖18元神券节红包优惠券怎么抢?

美团外卖红包天天免费领取活动规则 1、每月18日可领美团外卖18元神券节红包优惠券; 2、每月15、16、17日可领美团外卖神券节预热12元红包优惠券; 3、每周星期一、星期三可领美团外卖节9元红包优惠券; 4、每天可领美团外卖天天神券3-7元美…

初刷leetcode题目(1)——数据结构与算法

😶‍🌫️😶‍🌫️😶‍🌫️😶‍🌫️Take your time ! 😶‍🌫️😶‍🌫️😶‍🌫️😶‍🌫️…

业务架构、技术架构、项目管理的有机结合

新入职的创业公司一年不行了。 这一年来没有上班,也因为大龄的问题找不到合适的工作。然后考了几个项目管理证书,又思考了一个技术兑现的问题。 技术本身是架构的执行层面,如果上面的公司战略、业务架构变小,缩水,或者…

VUE基础入门

一、VUE入门 1、环境准备 2、预备知识 3、实战演练 vue官网 Vue.js - 渐进式 JavaScript 框架 | Vue.js 基础语法,vue2和vue3区别不大,但是后面路由会有很大区别。 前期基础语法,我们通过链接的方式使用vue,后面会用npm进行安装…

手机LiDAR-based激光雷达标定板提高无人汽车智能化程度

手机LiDAR-based 3D扫描和建模测试系统是一种利用激光雷达(LiDAR)技术进行三维扫描和模型创建的工具,它可以在手机上运行。这种测试系统可以用于各种应用,如地形测绘、建筑物建模、机器人视觉、无人驾驶汽车导航等。 手机LiDAR-ba…

【Java从入门到大牛】多线程

🔥 本文由 程序喵正在路上 原创,CSDN首发! 💖 系列专栏:Java从入门到大牛 🌠 首发时间:2023年11月18日 🦋 欢迎关注🖱点赞👍收藏🌟留言&#x1f4…

回 溯 法

一、(what?) 二、(why?) 三、(how?) 四、典型例题分析: 例题1:大卖场购物车2——0-1背包问题 问题分析: 算法设计: 图…

vite vue3安装element-plus

准备 参考 安装 官网 yarn add element-plus完整引入 如果你对打包后的文件大小不是很在乎,那么使用完整导入会更方便。 main.ts // main.ts import { createApp } from vue import ElementPlus from element-plus import element-plus/dist/index.css import…

xlua源码分析(三)C#访问lua的映射

xlua源码分析(三)C#访问lua的映射 上一节我们主要分析了lua call C#的无wrap实现。同时我们在第一节里提到过,C#使用LuaTable类持有lua层的table,以及使用Action委托持有lua层的function。而在xlua的官方文档中,推荐使…

wpf devexpress 创建布局

模板解决方案 例子是一个演示连接数据库连接程序。打开RegistrationForm.BaseProject项目和如下步骤 RegistrationForm.Lesson1 项目包含结果 审查Form设计 使用LayoutControl套件创建混合控件和布局 LayoutControl套件包含三个主控件: LayoutControl - 根布局…

反激变压器计算方法_笔记

反激变压器计算方法_笔记 匝数比原边电感选定磁芯线圈匝数线径 原视频链接 匝数比 5V 是想要得到的输出电压 0.7V为二极管导通的压降 185Vx根号2是有效值 最大占空比取0.4。得出最小匝数为30。 更改某些值可能得出来的匝数比就不一定是30了, 这其实也是反激变压器…

ubuntu中用docker部署jenkins,并和码云实现自动化部署

1.部署jenkins docker network create jenkins docker run --name jenkins-docker --rm --detach \--privileged --network jenkins --network-alias docker \--env DOCKER_TLS_CERTDIR/certs \--volume jenkins-docker-certs:/certs/client \--volume jenkins-data:/var/jen…

屏蔽bing搜索框的今日热点

中国版的Bing简直比百度还恶心了,“今日热点”要是在搜索设置里关闭了就没法提供搜索建议了,不关吧看着又烦人,就像下图这样。另外还有右上角的下载bing app和Rewards图标也闲着没啥用,Rewards图标还老有小红点,真受不…

6.8完全二叉树的节点个数(LC222-E)

算法: 如果不考虑完全二叉树的特性,直接把完全二叉树当作普通二叉树求节点数,其实也很简单。 递归法: 用什么顺序遍历都可以。 比如后序遍历(LRV):不断遍历左右子树的节点数,最后…

Adversarial Attacks on Neural Networks for Graph Data

Adversarial Attacks on Neural Networks for Graph Data----《针对图数据的神经网络的对抗攻击》 论文提出了两个问题: 1、属性图的深度学习模型容易受攻击吗? 2、他们的结果可靠吗? 回答这两个问题需要考虑到GNN的特性: ①关…

2023.11.18 Hadoop之 YARN

1.简介 Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统和调度平台,可为上层应用提供统一的资源管理和调度。支持多个数据处理框架&…

订阅号和服务号有什么区别

服务号和订阅号有什么区别?服务号转为订阅号有哪些作用?我们都知道,服务号一个月只能发4次文章,但是订阅号每天都能发文章。不过在接收消息这一方面,服务号群发的消息有消息提醒,并显示在对话框&#xff1b…

react实现步进器

创建一个步进器组件,包含当前步骤(currentStep)的状态以及前进和后退的操作: import React, { useState } from react;function Stepper() {const [currentStep, setCurrentStep] useState(1);const handleNext () > {setCu…