吴恩达2022机器学习专项课程(一) 4.3 梯度下降的直观理解

问题预览/关键词

  1. 本节内容是?
  2. J对w求导的含义是?
  3. 如何确定切线的方向?
  4. w在函数J递增处的切线方向是?
  5. 导数项为正数,w和函数J的关系是?
  6. w在函数J递减处的切线方向是?
  7. 导数项为负数,w和函数J的关系是?

笔记

1.本节内容

导数项在做什么?为什么学习率和导数项相乘,会导致w更新?

2.J对w求导

导数项表示函数J在参数w处做一条切线,计算切线的斜率。

  • 具体求导公式:课节4.5会详细说明。在这里插入图片描述

3.切线方向

函数J对w某一点的切线方向,与这个点附近函数J的趋势方向一致。

4.w在函数J递增处的切线方向

切线的方向是右上方,切线的斜率为正,代表导数项为正数。
在这里插入图片描述

5.导数项为正数

学习率总是正数,导数为正数时,学习率和导数的乘积为正数,因此w不断减去一个正数,w变小也就是向左移动,对应的成本函数J值趋近最小。

6.w在函数J递减处的切线方向

w在函数J递减处的切线:切线的方向是右下方,切线的斜率为负,代表导数项为负数。
在这里插入图片描述

7.导数项为负数

学习率总是正数,导数为负数时,学习率和导数的乘积为负数,因此w不断减去一个负数,w变大也就是向右移动,对应的成本函数J值趋近最小。

总结

本节课没有详细说明导数项是如何计算的,主要强调的是为什么导数项可以通过更新w的方式,来最小化成本函数。观察w和J(w)的二维图,导数项实际是函数J对w切线的斜率。切线的方向是根据w对应的函数J趋势的方向绘制的。学习率总是一个正数,如果切线是右上方,代表斜率为正,导数项为正数,导数项和学习率乘积为正,因此更新w会让w不断减小,对应的成本函数值也会趋近最小化。如果切线是右下方,代表斜率为负,导数项为负数,导数项和学习率乘积为负,因此更新w会让w不断增加,也会最小化成本函数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/500430.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Visual Studio 2022报错c1083,win11解决办法

如果头文件报错,并且编译器报错是c1083,无法处理的时候,包括卸载重装也是无济于事的时候 此时可以采取一下办法进行修改 出现这个的主要原因是安装 Windows SDK 时版本出错,需要根据自己的 windows 版本选择安装对应版本的 Wind…

Junit深入讲解(JAVA单元测试框架)

1、此处用的是Junit5&#xff0c;此处pom文件需要引的依赖是 <dependency><groupId>org.junit.jupiter</groupId><artifactId>junit-jupiter-api</artifactId><version>5.9.1</version><scope>test</scope></depende…

基于STC12C5A60S2系列1T 8051单片机通过单个按键长按次数实现开关机应用

基于STC12C5A60S2系列1T 8051单片机通过单个按键长按次数实现开关机应用 STC12C5A60S2系列1T 8051单片机管脚图STC12C5A60S2系列1T 8051单片机I/O口各种不同工作模式及配置STC12C5A60S2系列1T 8051单片机I/O口各种不同工作模式介绍基于STC12C5A60S2系列1T 8051单片机通过单个按…

Linux_应用篇(02) 文件 I/O 基础

本章给大家介绍 Linux 应用编程中最基础的知识&#xff0c;即文件 I/O&#xff08;Input、 Outout&#xff09; &#xff0c; 文件 I/O 指的是对文件的输入/输出操作&#xff0c;说白了就是对文件的读写操作&#xff1b; Linux 下一切皆文件&#xff0c;文件作为 Linux 系统设计…

基于 SymPy 的反函数求解

原文&#xff1a;https://blog.iyatt.com/?p14396 例一 f(x) 2x 3 这个函数很简单&#xff0c;可以看出它的反函数是&#xff08;令 yf(x) &#xff09;&#xff1a;$$x\frac{y-3}{2}$$ 使用 SymPy 求解可以采用这样的思路&#xff1a; 已知函数 f(x)2x3, 令 y f(x), 即构…

通俗易懂Redis缓存穿透,缓存击穿,缓存雪崩

1.1 缓存穿透 原因&#xff1a;当我们查询一个数据的时候&#xff0c;缓存中没有&#xff0c;就会去查询我们的关系型数据库&#xff0c;而且查询不到的数据是不会放到我们的缓存中&#xff0c;就会导致我们每次的请求都会来到我们的关系型数据库中&#xff0c;从而导致关系型…

2024 ccfcsp认证打卡 2021 12 01 序列查询

2021 12-1 序列查询 题解1题解2区别第一种算法&#xff1a;第二种算法&#xff1a; 题解1 import java.util.Scanner;public class Main {public static void main(String[] args) {Scanner sc new Scanner(System.in);// 输入n表示商品数目&#xff0c;N表示总数int n sc.n…

Vitis AI——FPGA学习笔记<?>

参考资料&#xff1a; Xilinx/Vitis-AI-Tutorials (github.com) Xilinx/Vitis-AI: Vitis AI is Xilinx’s development stack for AI inference on Xilinx hardware platforms 【03】ALINX Zynq UltraScale MPSoC XILINX FPGA视频教程Vitis AI开发 一. 简介 1.简介 边缘计…

产品推荐 | 基于华为海思ARM+Xilinx FPGA双核的8路SDI高清视频图像处理平台

一、板卡概述 PCIE703 是我司自主研制的一款基于 PCIE 总线架构的高性能综 合视频图像处理平台&#xff0c;该平台采用 Xilinx 的高性能 Kintex UltraScale 系列 FPGA 加上华为海思的高性能视频处理器来实现。 华为海思的 HI3531DV200 是一款集成了 ARM A53 四核处理 器性能强…

Django屏蔽Server响应头信息

一、背景 最近我们被安全部门的漏洞扫描工具扫出了一个服务端口的漏洞。这个服务本身是一个Django启动的web服务&#xff0c;并且除了登录页面&#xff0c;其它页面或者接口都需要进行登录授权才能进行访问。 漏洞扫描信息和提示修复信息如下: 自然这些漏洞如何修复&#xff0c…

蓝桥杯嵌入式老竞赛板在MDK5上使用CooCox下载出现unknown device的问题

本文是在参考网上博客并经过实操解决自己遇到的问题总结而成&#xff0c;只是为了让后来者少走弯路。 本文是在在LED闪烁实验时遇到这个问题 蓝桥杯嵌入式老竞赛板在MDK5上使用CooCox下载出现unknown device的问题 环境&#xff1a;win11系统&#xff0c;keil MDK 518 老竞赛…

Leetcode的正确打开方式

很多新手朋友在学习完数据结构与算法之后&#xff0c;都想找个平台磨练自己的技艺。那么LeetCode绝对是不二之选。但是官网刷题不是很友好&#xff0c;那么今天给大家介绍一款刷LeetCode神器。也是未来工作之后的摸鱼神器。 leetcode-editor 本打工人的摸&#xff08;nei&am…

新能源充电桩站场AI视频智能分析烟火检测方案及技术特点分析

新能源汽车充电起火的原因多种多样&#xff0c;涉及技术、设备、操作等多个方面。从技术层面来看&#xff0c;新能源汽车的电池管理系统可能存在缺陷&#xff0c;导致电池在充电过程中出现过热、短路等问题&#xff0c;从而引发火灾。在设备方面&#xff0c;充电桩的设计和生产…

人才测评系统 提升HR招聘和人岗管理

人才是一个企业的核心竞争力。商业社会的激烈竞争和种种挑战&#xff0c;实际上都是人才的竞争。企业的招聘&#xff0c;职位调动&#xff0c;晋升&#xff0c;人岗匹配的核心对象都是人。现如今&#xff0c;越来越多的企业引入了人才测评机制&#xff0c;但是一些HR却出现不理…

Day56:WEB攻防-CSRF请求伪造Referer同源置空配合XSSToken值校验复用删除

目录 CSRF-无检测防护-检测&生成&利用 CSRF-Referer同源-代码逻辑&上传&XSS CSRF-Token校验-值删除&复用&留空 知识点&#xff1a; 1、CSRF-原理&检测&利用&防御 2、CSRF-防御-Referer策略隐患 3、CSRF-防御-Token校验策略隐患 CSRF-无…

基于springboot的家庭理财管理系统的开发与实现

摘 要 在这科技不断的进步&#xff0c;让我们的生活改变了很多&#xff0c;信息技术的迅速发展&#xff0c;使各种行业在信息技术应用方面变得非常普遍。信息时代的到来&#xff0c;已成为一种必然趋势。本系统的标题是基于B/S模式的家庭理财系统的设计开发&#xff0c;其目的…

【Java常用的API】JDK8相关时间类

&#x1f36c; 博主介绍&#x1f468;‍&#x1f393; 博主介绍&#xff1a;大家好&#xff0c;我是 hacker-routing &#xff0c;很高兴认识大家~ ✨主攻领域&#xff1a;【渗透领域】【应急响应】 【Java】 【VulnHub靶场复现】【面试分析】 &#x1f389;点赞➕评论➕收藏 …

常见位运算方法

目录 基础位运算给一个数n&#xff0c;确定它的二进制表示中的第x位是0还是1将一个数n的二进制表示的第x位修改成1将一个数n的二进制表示的第x位修改成0提取一个数n的二进制表示中最右侧的1除去一个数n的二进制表示中最右侧的1异或(^)运算 基础位运算 给一个数n&#xff0c;确定…

树莓派3B及传感器测试实验

树莓派3B介绍 树莓派3B和树莓派4B参数比较 型号 Raspberry Pi 4B Raspberry Pi 3B CPU 1.5GHz,Quad-Core Broadcom BCM2711(Cortex A-72) 1.2GHz,Quad-Core Broadcom BCM2837 (Cortex A-53) RAM 1GB/2GB/4GB LPDDR4&#xff08;取决于型号&#xff09; 1G LPDDR2 GPU…

【使用 PyQt6-第01章】 创建基本的应用程序

使用 PyQt6 创建您的第一个应用程序 目录 一、说明二、创建应用程序三、单步执行代码四、什么是事件循环&#xff1f;4.1 Qt 中的事件循环。 五、主窗口 QMainWindow六、调整窗口和小部件的大小 一、说明 本教程也适用于 PySide6 、 PySide2 和 PyQt5 在本教程中&#xff0c;…