【机器学习入门】(1) 线性回归算法

学习目标:

线性回归是一种基本的统计学习方法,主要用于分析一个或多个自变量与因变量之间的线性关系。以下是关于线性回归的一些关键点:线性回归的四要素:
(1)假设(hypothesis);(2)模型参数(params);(3)代价函数(loss);(4)目标(Goal);


1.概念含义:

线性回归模型假设因变量和自变量之间存在线性关系,即可以通过一条直线(一维)或一个平面(多维)来近似表示这种关系。
直线
在这里插入图片描述


2.数学表达式-假设(hypothesis):

在这里插入图片描述
在这里插入图片描述
由于真实值与预测值总会存在误差
在这里插入图片描述


3.参数(params):

其中,X可能是线性相关的特性(多元一次函数),公式中的参数W就是我们得到的算法模型,(主要就是为了训练得到model的parameter)。
有了的参数,这样就会然后我们的训练数据更好的去拟合模型。
这样对于一个新的X(n维,多个指标),可能更好的得出准确的y_predict


4.代价函数(loss):

代价函数也叫均方误差函数,是我们预测模型(Θ-n维,多个指标)计算出的y_pre与y_true的比较。
在这里插入图片描述
那么这个公式是如何得出的:
在2中得到的公式在这里插入图片描述误差 是独立并且具有相同的分布,
并且服从均值为0方差为 的高斯分布,那么为什么会服从高斯分布呢?
传送门1:高斯分布的理解
传送门2:为什么线性回归模型中要假设随机误差等方差并且服从正态分布?
传送门3:为什么误差总是服从高斯分布?
在这里插入图片描述
引入似然函数
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
所以让损失函数越小越好


5.目标(goal):

目标就是用4中等式右面的均方误差函数求出最优的参数模型
那么如何求出最优参数模型呢?如何得到的参数去更好的拟合新数据呢?
后面就需要引入梯度下降来的到模型最优的参数模型(loss越小越好)。


6.梯度下降(GD):


7.思考:

  1. 代价函数的定义可知是为了得到y_pre与y_true的误差更小,为什么不直接研究如何得到min(|y_pre-y_true|)?
  2. 代价函数为什么要平方而不是三次方?四次方?
    不能一次方,三次,四次都不可以。因为要后续梯度下降求导,找代价函数的最小值。
  3. 如果实际应用中某特征,它表示通过X平方表示,可以使用线性回归吗?
    可以的,但是需要特殊操作。需要将X平方的整体代表一个特征(特征处理)。
  4. 为什么要乘二分之一?
    方便后续梯度下降求导,方便计算

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/916159.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

基于MATLAB身份证号码识别

课题介绍 本课题为基于连通域分割和模板匹配的二代居民身份证号码识别系统,带有一个GUI人机交互界面。可以识别数十张身份证图片。 首先从身份证图像上获取0~9和X共十一个号码字符的样本图像作为后续识别的字符库样本,其次将待测身份证图像…

嵌入式硬件实战提升篇(一)-泰山派RK3566制作多功能小手机

引言:主要针对于嵌入式全栈内容的知识点汇总并对于linux等相关驱动知识点进行串联,用大家参考学习,并用到了嘉立创提供的泰山派RK3566作为学习的主控。 实物演示如下所示: 目录 一、硬件设计 1.转接电路 2.背光电路 3.音频接…

springboot餐厅点餐系统-计算机设计毕业源码14189

目 录 1 绪论 1.1 研究背景 1.2研究意义 1.3论文结构与章节安排 2 餐厅点餐系统系统分析 2.1 可行性分析 2.2 系统流程分析 2.2.1 数据流程 3.3.2 业务流程 2.3 系统功能分析 2.3.1 功能性分析 2.3.2 非功能性分析 2.4 系统用例分析 2.5本章小结 3 餐厅点餐系统…

制造业7大模式:智能制造、协同制造、绿色制造等思维导图详解

在当今快速变化的市场环境中,制造业正迎来前所未有的变革。从智能工厂的高效运作到网络化制造的全球协同,从云制造的资源共享到3D打印的个性化定制,这些前沿制造模式正在重新定义生产方式,提升企业的竞争力。 今天给大家分享最前沿…

加速 AI 创新:引入 Elastic AI 生态系统

作者:来自 Elastic Alyssa Fitzpatrick, Steve Kearns 生成式人工智能 (Generative AI - GenAI) 正在改变我们所熟知的商业格局。为了简化和加速开发人员构建和部署检索增强生成 (retrieval augmented generation - RAG) 应用程序的方式,Elastic 自豪地宣…

centos rich 美观打印日志

文章目录 步骤 1: 安装 Python 和 pip步骤 2: 安装 rich-cli步骤 3: 验证安装步骤 4: 使用 rich-cli参考 在 CentOS 上安装 rich-cli 工具,你可以按照以下步骤进行操作。rich-cli 是一个命令行工具,用于将 rich 库的功能(例如美化输出&#x…

教育行业企业OKR推行实践案例

一、企业背景与推行前痛点 某教育行业企业,专注于提供高质量的在线教育服务,拥有丰富的课程资源和优秀的教师团队。然而,在快速发展过程中,企业面临着一系列挑战,主要包括: 战略目标模糊:企业高…

亚马逊低价商城上线,低价策略能否撬动市场?

经过长达五个多月的筹备,亚马逊终于在其移动端正式推出了备受瞩目的低价商城。11月12日,用户只需在亚马逊APP中搜索“Haul”,即可轻松找到这座充满吸引力的购物殿堂。商城的界面设计简洁直观,其后缀寓意着“以更少的支出&#xff…

【C++】string类(附题)

一、为什么学习string类? 1.1 C语言中的字符串 C语言中,字符串是以\0结尾的一些字符的集合,为了操作方便,C标准库中提供了一些str系列 的库函数,但是这些库函数与字符串是分离开的,不太符合OOP的思想&…

AIHub: 模型和数据集的私有云存储库

AIStor 的最新功能之一是广受欢迎的开源项目 Hugging Face 的私有云版本。这篇文章详细介绍了 AIStor 的 AIHub 如何有效地创建一个完全由企业控制的 API 兼容的私有云版本的 Hugging Face。在我们开始之前,介绍 Hugging Face 是有意义的。Hugging Face 是面向 AI 工…

激增400%!GPS欺骗成全球大患,此题何解?

据网络安全研究人员称,GPS欺骗这种可使商用客机偏离航线的数字攻击形式近期激增400%。数据显示,在今年部分时间里,甚至有多达1350架航班遭遇GPS“欺骗”。 GPS欺骗 — 关键是时间,而不仅仅是位置 GPS系统作为目前使用时间最长、应…

二维费用背包问题

1. 一和零 474. 一和零 题目中是在一个字符串数组中找出一个最大子集,满足 0 和 1 的个数不超过给定的值,这和之前的背包问题不一样的是,这里有两个限制条件,也就是二维费用背包问题,同时,这道题也是一道 …

React Query在现代前端开发中的应用

💓 博客主页:瑕疵的CSDN主页 📝 Gitee主页:瑕疵的gitee主页 ⏩ 文章专栏:《热点资讯》 React Query在现代前端开发中的应用 React Query在现代前端开发中的应用 React Query在现代前端开发中的应用 引言 React Query …

【EmbeddedGUI】脏矩阵设计说明

脏矩阵设计说明 背景介绍 一般情况下,当屏幕内容绘制完毕后,实际应用通常需要更新屏幕中的一部分内容,而不是单纯显示一个静态图片在那。 如下图所示,屏幕中有一个图片控件(Img2)和一个文本控件&#xf…

【stable diffusion模型】Stability AI出官方教程了,带你轻松玩转Stable Diffusion 3.5

前言 提示(prompt)是有效使用生成式 AI 图像模型的关键技巧。提示的结构直接影响生成的图像的质量、创造力和准确性。 今日凌晨,Stability AI 发布了 Stable Diffusion 3.5 的提示指南。该指南提供了 Stable Diffusion 3.5 的实用提示技巧&a…

docker安装到D盘

双击安装docker默认是安装在c盘,并且安装时我们没法选择位置,如果我们要安装在其他盘可以通过命令行安装 1、下载docker https://docs.docker.com/desktop/setup/install/windows-install/ Docker Desktop 可以使用 WSL 和 Hyper-V任意一种架构&#xf…

11.11机器学习_介绍和定义

一、 机器学习介绍与定义 1. 机器学习定义 机器学习(Machine Learning)本质上就是让计算机自己在数据中学习规律,并根据所得到的规律对未来数据进行预测。 机器学习包括如聚类、分类、决策树、贝叶斯、神经网络、深度学习(Deep…

ssm111基于MVC的舞蹈网站的设计与实现+vue(论文+源码)_kaic

摘 要 随着科学技术的飞速发展,社会的方方面面、各行各业都在努力与现代的先进技术接轨,通过科技手段来提高自身的优势,舞蹈网站当然也不能排除在外。舞蹈网站是以实际运用为开发背景,运用软件工程开发方法,采用Java技…

蓝桥杯c++算法学习【2】之搜索与查找(九宫格、穿越雷区、迷宫与陷阱、扫地机器人:::非常典型的必刷例题!!!)

别忘了请点个赞收藏关注支持一下博主喵!!! 关注博主,更多蓝桥杯nice题目静待更新:) 搜索与查找 一、九宫格 【问题描述】 小明最近在教邻居家的小朋友小学奥数,而最近正好讲述到了三阶幻方这个部分,三 …

【Windows 常用工具系列 20 -- MobaXterm 登录 WSL】

文章目录 MobaXterm 登录 WSL MobaXterm 登录 WSL 在 WSL 启动之后,打开 MobaXterm: 在 Distribution 中选择自己本地安装的 ubuntu 版本,我这里使用的是ubuntu-20.4,然后在 runmethod 中选择 Localhost connection. 连接成功之…