神经网络与深度学习——第6章 循环神经网络

本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第6章 循环神经网络
在这里插入图片描述

给网络增加记忆能力

在这里插入图片描述

延时神经网络

在这里插入图片描述

有外部输入的非线性自回归模型

在这里插入图片描述

循环神经网络

在这里插入图片描述

简单循环网络

在这里插入图片描述

循环神经网络的计算能力

在这里插入图片描述

循环神经网络的通用近似定理

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

图灵完备

在这里插入图片描述

应用到机器学习

在这里插入图片描述

序列到类别模式

在这里插入图片描述
在这里插入图片描述

同步的序列到序列模式

在这里插入图片描述

异步的序列到序列模式

在这里插入图片描述
在这里插入图片描述

参数学习

在这里插入图片描述

随时间反向传播算法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

实时循环学习算法

在这里插入图片描述
在这里插入图片描述

长程依赖问题

在这里插入图片描述
在这里插入图片描述

改进方案

在这里插入图片描述
在这里插入图片描述

基于门控的循环神经网络

在这里插入图片描述

长短期记忆网络

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

LSTM网络的各种变体

在这里插入图片描述
在这里插入图片描述

门控循环单元网络

在这里插入图片描述
在这里插入图片描述

深层循环神经网络

在这里插入图片描述

堆叠循环神经网络

在这里插入图片描述

双向循环神经网络

在这里插入图片描述
在这里插入图片描述

扩展到图结构

在这里插入图片描述

递归神经网络

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

图神经网络

在这里插入图片描述
在这里插入图片描述

总结和深入阅读

在这里插入图片描述
在这里插入图片描述

关于长程依赖问题的理解

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

习题

在这里插入图片描述
延时神经网络是对前馈神经网络增加延时器，当前层的神经元的活性值依赖于前一层神经元的最近K个时刻的活性值;
卷积神经网络是对前馈神经网络增加卷积层和池化层;
循环神经网络是对前馈神经网络增加自反馈的神经元，RNN当前时刻的活性值通常依赖于之前所有时刻的活性值，因为通过循环连接来传递信息。
卷积神经网络没有时序性的概念，循环神经网络具有时序性，如果我们并不在意前一个决策结果是什么，用CNN，比如手写数字识别，在自然语言处理中，上一个词很大程度影响下一个词，可以用RNN。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
相当于LSTM保证一条远距离路径梯度不消失，总体的远距离梯度就不会消失，近距离梯度是一直存在的，梯度消失是难以捕捉远距离的依赖关系。
在这里插入图片描述
在这里插入图片描述
同理，GRU保证一条远距离路径梯度是加和的形式，不容易消失。
在这里插入图片描述
双向循环神经网络，递归神经网络，图神经网络
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
很显然，右边的退化结构就是简单的循环神经网络。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/668975.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

用贪心算法计算十进制数转二进制数（小数部分）

用贪心算法计算十进制数转二进制数（小数部分）

在上一篇博文用贪心算法计算十进制数转二进制数（整数部分）-CSDN博客中，小编介绍了用贪心算法进行十进制整数转化为二进制数的操作步骤，那么有朋友问我，那十进制小数转二进制，可以用贪心算法来计算吗&#x…
阅读更多...
支付系统对接商户

支付系统对接商户

target：离开柬埔寨倒计时-214day 还是美女作为开篇 前言 昨天没有写文章，因为部门团建，我得去给他们画饼，说起来也真的是唏嘘，我一个已经都在计划着离开柬埔寨的人，昨天聚餐还一个个给他们描述未来的前景&a…
阅读更多...
5G无线标准演进综述及新技术引入

5G无线标准演进综述及新技术引入

摘 要 随着经济和社会的发展，5G业务越来越丰富多彩，1080P高清视频、裸眼3D、网联汽车、云手机等新业务、新终端对网络的要求也越来越高；另一方面，5G标准持续演进，在MIMO、载波聚合、移动性管理、uRLLC、切片、定位等方…
阅读更多...
海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（19）-Yolov10探索

海思SD3403,SS928/926,hi3519dv500,hi3516dv500移植yolov7,yolov8（19）-Yolov10探索

YOLOv10 开源有几天了，看性能是比较强的，但是试过的一些人说没有YOLOv8好，实际效果以测试结果为准，这里创新点算是去掉了之前YOLO的NMS步骤，论文题目也说了NMS-Free，以此来提高小目标检测率，减少计算冗余，也没有NMS的计算时间提高实时性。 这个倒是让我看到了以后可以…
阅读更多...
以sqlilabs靶场为例，讲解SQL注入攻击原理【18-24关】

以sqlilabs靶场为例，讲解SQL注入攻击原理【18-24关】

【less-18】 打开时，获取了自己的IP地址。，通过分析源码知道，会将用户的user-agent作为参数记录到数据库中。 提交的是信息有user-Agent、IP、uname信息。 此时可以借助Burp Suite 工具，修改user_agent，实现sql注入。…
阅读更多...
STM32之USART（串口）通信学习

STM32之USART（串口）通信学习

1.通信接口 在开始通信之前，我们要了解什么是通信，通信就是将一个设备的数据传送到另一个设备。 同时按照双方规定的协议即通信协议，指定通信规则通信双方按照规则进行数据的收发。 应用场景：单片机的串口可以使单片机与单片机…
阅读更多...
软件架构设计属性之5：可维护性属性分析与应用

软件架构设计属性之5：可维护性属性分析与应用

文章目录 引言一、可维护性定义和重要性1.1 定义1.2 重要性 二、可维护性关键要素2.1 模块化2.2 单一职责2.3 低耦合2.4 高内聚2.5 抽象和封装2.6 实践建议 三、设计原则3.1 开闭原则3.2 依赖倒置原则3.3 评估方法3.4 挑战与解决方案 四、实战应用总结 引言 在当今数字化飞速发…
阅读更多...
利用GNSS IMU集成提高车道级定位精度

利用GNSS IMU集成提高车道级定位精度

准确的定位对于很多不同的事情都是至关重要的。导航系统可以引导我们去某个地方，自动驾驶汽车可以利用这些数据在道路上安全行驶。尽管全球导航卫星系统(GNSS)在定位方面非常出色，但它们可能并不总是提供最准确的车道水平事实。解决这个问题的一个有希望…
阅读更多...
大模型对齐方法笔记四：针对领域问答来进行知识对齐方法KnowPAT

大模型对齐方法笔记四：针对领域问答来进行知识对齐方法KnowPAT

KnowPAT KnowPAT(Knowledgeable Preference AlignmenT) 出自2023年11月的论文《Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering》，主要针对领域问答来进行知识对齐。 在领域问答有两个挑战：希望输出满足用户的要…
阅读更多...
15-通过JS代码处理窗口滚动条

15-通过JS代码处理窗口滚动条

selenium并不是万能的，页面上有些操作无法实现时，就需要借助JS代码来完成了。selenium提供了一个方法：execute_script()，可以执行JS脚本代码。 比如：当页面上的元素超过一屏后，想操作屏幕下方的元素&#x…
阅读更多...
git报错prohibited by Gerrit: not permitted: update

git报错prohibited by Gerrit: not permitted: update

git push报错： Push to refs/for/[branch] to create a review, or get Push rights to update the branch. Contact an administrator to fix the permissions (prohibited by Gerrit: not permitted: update)原因： 使用Gerrit代码审核时，本…
阅读更多...
IsoBench:多模态基础模型性能的基准测试与优化

IsoBench:多模态基础模型性能的基准测试与优化

随着多模态基础模型的快速发展，如何准确评估这些模型在不同输入模态下的性能成为了一个重要课题。本文提出了IsoBench，一个基准数据集，旨在通过提供多种同构（isomorphic）表示形式的问题，来测试和评估多模态…
阅读更多...
React-表单受控绑定

React-表单受控绑定

概念：使用React组件的状态（useState）控制表单的状态 1.准备一个React状态值 2.通过value属性绑定状态，通过onChange属性绑定状态同步的函数
阅读更多...
Web自动化测试-掌握selenium工具用法，使用WebDriver测试Chrome/FireFox网页(Java

Web自动化测试-掌握selenium工具用法，使用WebDriver测试Chrome/FireFox网页(Java

目录 一、在Eclipse中构建Maven项目 1.全局配置Maven 2.配置JDK路径 3.创建Maven项目 4.引入selenium-java依赖 二、Chrome自动化脚本编写 1.创建一个ChromeTest类 2.测试ChromeDriver 3.下载chromedriver驱动 4.在脚本中通过System.setProperty方法指定chromedriver的…
阅读更多...
《软件方法（下）》8.3.4.5和《设计模式》中用语的区别

《软件方法（下）》8.3.4.5和《设计模式》中用语的区别

DDD领域驱动设计批评文集 做强化自测题获得“软件方法建模师”称号 《软件方法》各章合集 8.3 建模步骤C-2 识别类的关系 8.3.4 识别关联关系 8.3.4.4 类关系再整理 有了前面的知识，我们需要再整理一下类的关系。用类图表示类的关系如图8-134。 图8-134 “类的…
阅读更多...
NextJs 数据篇 - 数据获取 | 缓存 | Server Actions

NextJs 数据篇 - 数据获取 | 缓存 | Server Actions

NextJs 数据篇 - 数据获取 | 缓存 | Server Actions 前言一. 数据获取 fetch1.1 缓存 caching① 服务端组件使用fetch② 路由处理器 GET 请求使用fetch 1.2 重新验证 revalidating① 基于时间的重新验证② 按需重新验证revalidatePathrevalidateTag 1.3 缓存的退出方式 二. Ser…
阅读更多...
录制gif 强推LICEcap

录制gif 强推LICEcap

LICEcap 官网：https://www.cockos.com/licecap/ 即按即用，录制好的gif可直接插入博客，yyds~
阅读更多...
算法练习第25天|491. 非递减子序列

算法练习第25天|491. 非递减子序列

491. 非递减子序列 491. 非递减子序列https://leetcode.cn/problems/non-decreasing-subsequences/ 题目描述： 给你一个整数数组 nums ，找出并返回所有该数组中不同的递增子序列，递增子序列中 至少有两个元素 。你可以按 任意顺序 返回答案…
阅读更多...
文件IO（三）

文件IO（三）

文件IO（三） 左移右移Linux的man 手册文件IO打开文件操作文件关闭文件 caps lock开灯关灯读取按键文件IO操作目录文件打开目录文件操作目录文件 库动态库和静态库的优缺点创建静态库创建动态库 按下右ctrl键 亮灭灯 左移右移 Linux的man 手册 文件IO 打开…
阅读更多...
知网AI查重：AI工具如何助力通过检测？

知网AI查重：AI工具如何助力通过检测？

论文降重一直是困扰各界毕业生的“拦路虎”，还不容易熬过修改的苦，又要迎来降重的痛。 其实想要给论文降重达标，我有一些独家秘诀。话不多说直接上干货！ 1、同义词改写（针对整段整句重复） 这是最靠谱也是…
阅读更多...
最新文章

Copyright @ 2022~2023