GRU神经网络理解

全文参考以下B站视频及《神经网络与深度学习》邱锡鹏,侧重对GPU模型的理解,初学者入门自用记录,有问题请指正【重温经典】GRU循环神经网络 —— LSTM的轻量级版本,大白话讲解_哔哩哔哩_bilibili

更新门、重置门、学习与输出

注:一般来说,x_t 是在时间步 t 上的数值特征集合,比如股价预测模型中,x_t 是t时刻股价

这里为了理解,假设h_{t-1}是已有课程的学习笔记,x_t表明我们要学习机器学习这一课程

h_{t-1}= 【高数,线代,概率论,音乐欣赏,Python编程】

x_t = 【机器学习】

1.重置门:控制筛选,判断哪些是对于机器学习有用的笔记,参与本轮学习

高数、线代、概率论、Python编程与机器学习相关性较强,而音乐欣赏与之无关

r_t = 【0.5,0.9,0.6,0,1.0】,这个向量表示对机器学习的有用程度,之后与h_{t-1}相乘进行筛选

2.更新门:哪些内容是有用的需要保留到未来

h_{t-1}= 【高数,线代,概率论,音乐欣赏,Python编程

z_t = 【1,1,1,0,1】

我的理解(不知道对不对):重置门和更新门的计算方式类似,但神经网络训练参数不同。用处也不同,重置门用于参与本轮的学习,更新门用于判断哪些信息需要保留到未来。

3.学习

(1)r_th_{t-1}对应相乘,即

r_t = 【0.5,0.9,0.6,0,1.0】

h_{t-1}= 【高数,线代,概率论,音乐欣赏,Python编程】

r_t \cdot h_{t-1} = 【0.5高数,0.9线代,0.6概率论,0,Python编程】

(2)加入x_t,即

【0.5高数,0.9线代,0.6概率论,机器学习,Python编程】

(3)tanh相当于对以上笔记进行学习,学习的结果笔记用h_{t}^{'}表示

h_{t}^{'} = 【微积分,矩阵乘法,假设检验,决策树,Python】

4.输出

对于学习后的结果与之前的笔记具有重复性,所以需要删除重复内容。删除的依据就是1-z_t,即删除已确定有用的笔记。再与确定有用的笔记进行向量拼接。

h_{t-1}=【高数,线代,概率论,音乐欣赏,Python编程】

z_t = 【1,1,1,0,1】

h_{t-1}\cdot z_t = 【高数,线代,概率论,0,Python编程】

h_{t}^{'} = 【微积分,矩阵乘法,假设检验,决策树,Python】

1-z_t = 【0,0,0,1,0】

h_{t}^{'} \cdot (1-z_t) =  【0,0,0,决策树,0】

向量拼接

最终结果h_{t}=【高数,线代,概率论,决策树,Python】

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/899231.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Go通过gorm连接sqlserver报错TLS Handshake failed

Go通过gorm连接sqlserver报错TLS Handshake failed [error] failed to initialize database, got error TLS Handshake failed: tls: server selected unsupported protocol version 301 panic: TLS Handshake failed: tls: server selected unsupported protocol version 301 …

综合小程序的设计

熟悉python可视化的设计 完成综合小程序的设计。 登录系统设计 from tkinter import * import tkinter.messagebox def onClick(): namebname.get() pwdbpwd.getO() if (namezhou and pwd123): tkinter.messagebox.showinfo(title提示,message登陆成功&a…

Linux 中 .bash_history、.bash_logout 等用户配置文件

目录 前言.bash_history.bash_logout.bash_profile.bashrc.cshrc.tcshrc.viminfo 总结 前言 在 Linux 中我们经常会看见用户家目录下存在 .bash_history、.bash_logout、.bash_profile、.bashrc、.cshrc、.tcshrc、.viminfo 这写文件,那它们区别是什么呢&#xff1…

2024软考网络工程师笔记 - 第8章.网络安全

文章目录 网络安全基础1️⃣网络安全威胁类型2️⃣网络攻击类型3️⃣安全目标与技术 🕑现代加密技术1️⃣私钥密码/对称密码体制2️⃣对称加密算法总结3️⃣公钥密码/非对称密码4️⃣混合密码5️⃣国产加密算法 - SM 系列6️⃣认证7️⃣基于公钥的认证 &#x1f552…

Unity CRP学习笔记(一)

Unity CRP学习笔记(一) 主要参考: https://catlikecoding.com/unity/tutorials/custom-srp/ https://docs.unity.cn/cn/2022.3/ScriptReference/index.html 中文教程部分参考(可选): https://tuncle.blog/c…

算力的定义、单位、影响因素、提升方法、分类、应用等。附超算排名

文章目录 算力的定义算力的单位FLOPS(Floating Point Operations Per Second,浮点运算次数/秒)IPS(Instructions Per Second,指令/秒)TOPS(Trillion Operations Per Second,万亿次/秒…

Win10系统安装docker操作步骤

Docker下载 docker下载地址:Docker: Accelerated Container Application Development 打开网页后,点击图下所示,下载windows版本的docker 启用Hyper-V 和容器特性 右键左下角windows图标,选择应用和功能 然后在下面的界面中&am…

【Nuvoton干货分享】开发应用篇 4 -- 8bit MCU Flash 操作

我们在进行实际开发设计中,难免需要进行数据存储,早期很多都是外接EEPROM来进行设计,但是需要增加成本。其实芯片内部的Flash也是可以当成数据存储空间的。本章节主要介绍新唐的8位机如何进行常量数据的存储操作。 一、存储空间划分 我这边…

w~自动驾驶合集6

我自己的原文哦~ https://blog.51cto.com/whaosoft/12286744 #自动驾驶的技术发展路线 端到端自动驾驶 Recent Advancements in End-to-End Autonomous Driving using Deep Learning: A SurveyEnd-to-end Autonomous Driving: Challenges and Frontiers 在线高精地图 HDMa…

小程序无法获取头像昵称以及手机号码

用户在使用小程序的时候,登录弹出获取昵称头像或者个人中心点击默认头像弹窗获取头像昵称的时候,点击弹窗中的头像昵称均无反应, 这个是因为你的小程序隐私政策没有更新,或者老版本没有弹窗让用户同意导致的 解决办法&#xff1…

利用彩色相机给激光点云染色

文章目录 概述核心代码效果概述 在激光SLAM(Simultaneous Localization and Mapping)中,使用彩色相机为激光点云染色是一个常见的做法。这种技术结合了激光雷达的高精度距离测量和相机的丰富色彩信息,使得生成的点云不仅包含空间位置信息,还包含颜色信息,从而更直观和细…

【OpenAI】第六节(语音生成与语音识别技术)从 ChatGPT 到 Whisper 的全方位指南

前言 在人工智能的浪潮中,语音识别技术正逐渐成为我们日常生活中不可或缺的一部分。随着 OpenAI 的 Whisper 模型的推出,语音转文本的过程变得前所未有的简单和高效。无论是从 YouTube 视频中提取信息,还是将播客内容转化为文本,…

[实时计算flink]数据摄入YAML作业快速入门

实时计算Flink版基于Flink CDC,通过开发YAML作业的方式有效地实现了将数据从源端同步到目标端的数据摄入工作。本文介绍如何快速构建一个YAML作业将MySQL库中的所有数据同步到StarRocks中。 前提条件 已创建Flink工作空间,详情请参见开通实时计算Flink版…

Jenkins配置CI/CD开发环境(理论到实践的完整流程)

目录 一、对于CI/CD的理解1.1、什么是CI(持续集成)1.2、CI 的主要特点:1.3、CI 的优势:**实际开发中的场景举例:** 1.4、什么是 CD(持续交付和持续部署)1.5、持续交付(Continuous Delivery&…

鸿蒙HarmonyOS NEXT 5.0开发(2)—— ArkUI布局组件

文章目录 布局Column:从上往下的布局Row:从左往右的布局Stack:堆叠布局Flex:自动换行或列 组件Swiper各种选择组件 华为官方教程B站视频教程 布局 主轴和交叉轴的概念: 对于Column布局而言,主轴是垂直方…

如何区分真假Facebook三不限海外户?

对于需要推广到海外的企业来说,Facebook是一个重要的渠道。由于Facebook对国内普通企业户的风控极为严格,让不少出海广告主都很头疼,一到要出量的时刻就限额、挂户各种问题,根本没有办法跑起来量,白白错过好时机。对于…

R语言统计分析——置换检验3

参考资料:R语言实战【第2版】 列联表的独立性 通过chisq_test()或cmh_test()函数,我们可以用置换检验判断两类别型变量的独立性。当数据可根据第三个类别型变量进行分层时,需要使用后一个函数。若变量都是有序型,可使用lbl_test(…

047_python基于Hadoop的租房数据分析系统的设计与实现

目录 系统展示 开发背景 代码实现 项目案例 获取源码 博主介绍:CodeMentor毕业设计领航者、全网关注者30W群落,InfoQ特邀专栏作家、技术博客领航者、InfoQ新星培育计划导师、Web开发领域杰出贡献者,博客领航之星、开发者头条/腾讯云/AW…

基于 Konva 实现Web PPT 编辑器(三)

完善公式 上一节我们简单讲述了公式的使用,并没有给出完整的样例,下面还是完善下相关步骤,我们是默认支持公式的编辑功能的哈,因此,我们只需要提供必要的符号即可: 符号所表达的含义是 mathlive 的command命…

socket套接字

1.IP地址 IP地址是在IP协议中, 用来标识网络中不同主机的地址。由点分十进制组成,在数据传输中IP地址是一直不变的。 在IP数据包头部中, 有两个IP地址, 分别叫做源IP地址和目的IP地址。 2.端口号 由2字节16位整数组成,标识当前主机的唯一…