吴恩达机器学习理论基础解读—线性模型(单一特征拟合)

吴恩达机器学习理论基础——线性模型

机器学习最常见的形式监督学习,无监督学习

线性回归模型概述

应用场景一:根据房屋大小预测房价
在这里插入图片描述
应用场景二:分类算法(猫狗分类)

核心概念:将训练模型的数据称为数据集(学习数据集以及描述数据集的基本符号)

在这里插入图片描述
在机器学习中,这里表示输入的标准符号是小写的x,我们称之为输入变量,也称为特征输入特征
对于第一个训练示例(这对数字是(2104,400)。

监督学习中的训练集包括输入特征(例如房屋大小)和输出目标(例如房屋价格)。
在这里插入图片描述
其中函数f代表model(模型)是通常要学习的人工智能算法模型。将输入的特性通过模型进行预测给出输出的特征。

最简单的一种线性模型预测f(x)=wx+b的形式来进行回归预测分析(linear function)
在这里插入图片描述
其中的函数f同样可能采用曲线的形式来进行描述,对于这种形式的模型我们统称为线性回归模型

更具体地说,这是具有一个变量的线性回归,其中短语“一个变量”表示只有一个输入变量或特征x,即房屋的大小。有一个输入变量的线性模型的另一个名称是单变量线性回归,其中 uni 在拉丁语中表示一个,而 variate 表示变量。

Cost Funcation代价函数(成本函数)

为了实现线性回归,第一个关键步骤是首先定义一个叫做成本函数的东西。
在机器学习中,模型的参数是您可以在训练期间调整以改进模型的变量。例如线性模型中的w和b两个参数(有时也称为系数或者权重)
在这里插入图片描述

而成本函数(代价函数)是解决评价模型拟合程度的问题。通常常见的成本函数,包括了均方误差损失

线性回归中平方误差成本函数的数学表示
在这里插入图片描述

成本函数的实现实例分析

首先注意到,对于f下标w,当参数w固定不变,即始终为常数值时,则只是x的函数,也就是说y的估计值取决于输入x的值。

将b设置为0的情况

在这里插入图片描述

可以根据模型的预测结果来确定对应该线性模型的成本函数(损失函数)不同的参数w会对应不同的成本函数值如图当w=1时成本最小因此取1最为合适

成本函数由两个参数变为三个参数的变化示意图如下
两个参数的描述
加入参数b后变为三维空间中的一个曲面(函数)是一个3d曲面图形
在这里插入图片描述
在这里插入图片描述
此时整个曲面的最低点也就是成本函数取到最小值的地方,此处的参数w和参数b即是我们的线性回归模型所需要的参数信息。

若此时沿z轴进行投影,可以得到等高线,沿梯度的方向进行移动可以确定最终的位置,为之后的梯度下降算法打下了一定的基础

线性回归线的对应关系线
在这里插入图片描述

成本函数取得最小值时所对应的情况
在这里插入图片描述

梯度下降(Gradient Descent)

你真正想要的是一种高效的算法,你可以用代码编写它来自动找到参数w和b的值,它们会给你最好的拟合线。使得成本函数取得最小值,可以通过梯度下降算法来进行实现

梯度下降和梯度下降的变体不仅用于训练线性回归,还用于训练所有 AI中一些最大和最复杂的模型。
梯度下降在机器学习中无处不在,不仅用于线性回归,还用于训练一些最先进的神经网络模型,也称为深度学习模型。

如图训练神经网络时所得到的成本函数(高度Z轴代表了成本函数值)

在这里插入图片描述

目标:从函数的顶部采用一定的算法,下降到函数的底部即成本函数对应最小的地方。

在这里插入图片描述
在梯度下降的过程中我们引入了a:学习率的概念一个好的学习率可以快速的进行下降从而训练好模型数据。
在这里插入图片描述

讨论梯度下降算法做了什么,首先讨论二维的情况即当b=0时

当我们在这条曲线上向左移动时,成本了会降低,并且越来越接近J的最小值。

在这里插入图片描述
若从左侧的w的值进行梯度下降算法时,因为斜率为负值,因此同样也是沿着w下降的方向进行移动。

学习率(Learning Rate)

学习率的重要的作用:学习率选择不当,下降率甚至可能根本不起作用。

  • 当学习率过小的情况下 最终确实降低了成本J,但速度非常慢。需要很多步骤才能达到最低
    在这里插入图片描述
  • 相反当学习率过大的时候(若此时的w已经接近最小值的情况下)加速下降过程并再次超过最小值,导致无法得到最小值的结果数值。
    在这里插入图片描述

梯度下降保持在局部最小值附近,不在进行下降操作。

总结:梯度学习算法得到的是局部的最小值而不是全局的最小值,但如果在线性回归的模型数据中使用到的成本函数是平方误差成本函数会构造一个凸函数,此时只有一个局部的极小值,也是最小值

梯度下降训练过程的可视化示意图
在这里插入图片描述

批量数据梯度下降(bashed grading descent )

术语 bashed grading descent 指的是在梯度下降的每一步中,我们都在查看所有的训练示例,

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/528996.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

使用C语言函数对数组进行操作

前言 在我们了解数组和函数之后,我们对数组和函数进行结合,之后完成一些操作吧 题目描述 杰克想将函数与数组结合进行一些操作,以下是他想要达到的效果,请你帮帮他吧! 创建一个整型数组,完成对数组的操作 1…

Taro框架中的H5 模板基本搭建

1.H5 模板框架的搭建 一个h5 的基本框架的搭建 基础template 阿乐/H5 Taro 的基础模板

人民网至顶科技:《开启智能新时代:2024中国AI大模型产业发展报告发布》

​3月26日,人民网财经研究院与至顶科技联合发布《开启智能新时代:2024年中国AI大模型产业发展报告》。该报告针对AI大模型产业发展背景、产业发展现状、典型案例、挑战及未来趋势等方面进行了系统全面的梳理,为政府部门、行业从业者以及社会公…

推荐一款自动化测试神器---Katalon Studio

Katalon Studio介绍 Katalon Studio 是一款在网页应用、移动和网页服务方面功能强大的自动化测试解决方案。基于 Selenium 和 Appium框架,Katalon Studio集成了这些框架在软件自动化方面的优点。这个工具支持不同层次的测试技能集。非程序员也可以快速上手一个自动…

5分钟了解清楚【osgb】格式的倾斜摄影数据metadata.xml有几种规范

数据格式同样都是osgb,不同软件生产的,建模是参数不一样,还是有很大区别的。尤其在应用阶段。 本文从建模软件、数据组织结构、metadata.xml(投影信息)、应用几个方面进行了经验性总结。不论您是初步开始建模&#xf…

Windows Server 2008添加Web服务器(IIS)、WebDAV服务、网络负载均衡

一、Windows Server 2008添加Web服务器(IIS) (1)添加角色,搭建web服务器(IIS) (2)添加网站,关闭默认网页,添加默认文档 在客户端浏览器输入服务器…

力扣LCR143---子结构判定(先序递归、Java、中等题)

题目描述: 给定两棵二叉树 tree1 和 tree2,判断 tree2 是否以 tree1 的某个节点为根的子树具有 相同的结构和节点值 。 注意,空树 不会是以 tree1 的某个节点为根的子树具有 相同的结构和节点值 。 示例 1: 输入:tree…

你真的了解区块链游戏吗?

随着区块链技术的不断发展和普及,越来越多的人开始关注区块链游戏这一新兴领域。然而,很多人对于区块链游戏的了解仅限于一些表面的概念和特点,真正深入了解的人并不多。那么,你真的了解区块链游戏吗? 首先&#xff0…

12.java openCV4.x 入门-HighGui之图像窗口显示

专栏简介 💒个人主页 📰专栏目录 点击上方查看更多内容 📖心灵鸡汤📖我们唯一拥有的就是今天,唯一能把握的也是今天建议把本文当作笔记来看,据说专栏目录里面有相应视频🤫 🧭文…

【每日刷题】Day7

【每日刷题】Day7 🥕个人主页:开敲🍉 🔥所属专栏:每日刷题🍍 🌼文章目录🌼 1. 206. 反转链表 - 力扣(LeetCode) 2. 203. 移除链表元素 - 力扣(…

【java数据结构-二叉树详解(下)带你手撕对称二叉树等难题(附题目链接)】

🌈个人主页:努力学编程’ ⛅个人推荐:基于java提供的ArrayList实现的扑克牌游戏 |C贪吃蛇详解 ⚡学好数据结构,刷题刻不容缓:点击一起刷题 🌙心灵鸡汤:总有人要赢,为什么不能是我呢 …

正则问题【蓝桥杯】/dfs

正则问题 dfs 刚开始用的是栈&#xff0c;没有想到dfs… #include<iostream> #include<stack> using namespace std; string s; int pos; int dfs() {//ans表示到当前位置最多的x数目//num表示暂存的x数目int num0,ans0;while(pos<s.size()){if(s[pos](){pos;…

蓝桥杯-【二分】肖恩的苹果林

思路:有点类似于找最大值的最小化。 代码及解析 常规的模板引用40% #include <bits/stdc.h> using namespace std; #define ll long long const ll N1e53; ll a[N]; ll m,n; ll chack(ll mid) {int res1,last0;for(int i1;i<n;i){ if(a[i]-a[last]>mid){res;las…

秋招算法刷题6

20240408 1.两数之和 &#xff08;时间复杂度是O&#xff08;n的平方&#xff09;&#xff09; public int[] twoSum(int[] nums, int target){int nnums.length; for(int i0;i<n;i){ for(int j1;j<n;j){ if(nums[i][j]target){ …

大型央国企“信创化”与数字化转型建设思路

一、央国企信创化与数字化转型时代背景 1、信创概念普及&#xff1a; 信创&#xff0c;即“信息技术应用创新”。是我国自主信息产业聚焦的核心&#xff0c;旨在通过对IT硬件、软件等各个环节的重构&#xff0c;基于我国自有IT底层架构和标准&#xff0c;形成自有开放生态&am…

使用Mac自带终端进行远程ssh连接Linux服务器

废话不多说&#xff0c;直接上图 好吧&#xff0c;我承认我是多此一举&#xff0c;脱裤子放pi了&#xff0c;其实只需要在终端输入一行命令就可以了&#xff08;呜呜&#xff5e;&#xff09; ssh rootip -p 22 需要注意的是&#xff0c;命令里的ip地址同样要替换成你自己的服…

【并发】第四篇 AtomicInteger原子操作

导航 一. 简介二. 源码分析三. 原子操作原理三. 实际用途1. 标志位2. 唯一标识生成器3. 计数器一. 简介 AtomicInteger是Java中提供的一种线程安全的原子操作类,用来实现对整数类型的原子操作。它可以在多线程环境下保证对整数的原子性操作,而不需要使用synchronized关键字或…

分类预测 | Matlab实现CPO-LSSVM冠豪猪算法优化最小二乘支持向量机数据分类预测

分类预测 | Matlab实现CPO-LSSVM冠豪猪算法优化最小二乘支持向量机数据分类预测 目录 分类预测 | Matlab实现CPO-LSSVM冠豪猪算法优化最小二乘支持向量机数据分类预测分类效果基本介绍程序设计参考资料 分类效果 基本介绍 1.Matlab实现CPO-LSSVM冠豪猪算法优化最小二乘支持向量…

抖店运营没有销量?想要快速拉高,产品部分一定做好!

大家好&#xff0c;我是电商小布。 我们开通抖音小店&#xff0c;运营店铺的最终目的&#xff0c;都是为了顺利实现转化。 但是有的小伙伴在开店运营之后&#xff0c;发现自己的店铺在销量上并没有什么起色在。 出现这个情况是怎么回事呢&#xff1f; 之前就有给大家说过&a…