【DL水记】循环神经网络RNN的前世今生,Transformer的崛起,Mamba模型

文章目录

      • RNN网络简介
        • 传统RNN网络结构
        • RNN的分类
      • 长-短期记忆网络 (LSTM)
      • GRU网络
      • 横空出世的Transformer网络
        • Self-Attention
        • VisionTransformer
      • Mamba模型
      • Reference:

RNN网络简介

“当人类接触新事物时,他们不会从头开始思考。就像你在阅读这篇文章时,你会根据以前的知识理解每个单词,而不是舍弃一切,从字母开始重新学习。换句话说,你的思维有延续性。”

如同卷积神经网络(Convolutional Neural Network, CNN)在计算机视觉领域深度学习模型的地位,循环神经网络(Recurrent Neural Network,RNN)同样对计算机听觉、时间序列预测、自然语言处理(Natural Language Processing,NLP)做出了巨大贡献。
使用循环神经网络最重要的目的就是解决输入数据的次序问题(当前时刻输入的信息可能受前一时刻输出的影响,存在时序关联性)。比如,对于人们日常对话中的语音和文本而言:播放一段录音和倒放一段录音、正着读一段文字和倒着读一段文字所能获取的信息并不相同(当然,通过一定训练能唱跳rap古神语或阿米诺斯除外)。
因此,为解决这一类需要捕捉序列数据中的时序依赖关系的问题,基于传统机器学习中包含输入、隐藏、输出三层的神经网络结构演变出的循环神经网络模型,通过引入一个递归、延迟或称作循环的单元结构来建立输入信息之间的时序依赖关系,从而允许信息在网络中传递并保持一定的记忆。

传统RNN单元基本结构
传统RNN网络结构

RNN 网络的基本结构包括一个输入层 x t x_t xt、隐藏层 h t h_t ht(含激活函数Activation Function)、延迟器(循环单元)、输出层 h t h_t ht
在这里插入图片描述

网络中的神经元通过时间步骤连接形成循环:允许信息从一个时间步骤的输出 h t − 1 h_{t-1} ht1通过与输入 X t X_t Xt经过tanh函数激活后,传递至下一个时间步骤输入的一部分
RNN具体计算公式:

h t = t a n h ( W i h x t + b i h + W h h x t − 1 + b h h ) h_t=tanh(W_{ih}x_t+b_{ih}+W_{hh}x_{t-1}+b_{hh}) ht=tanh(Wihxt+bih+Whhxt1+bhh)
在这里插入图片描述

单个展开的RNN结构

在这里插入图片描述

整体展开的RNN结构

对于某 t 时刻的步骤,RNN隐藏状态大致的计算方法为:

RNN的分类
按照输入和输出的结构分类
N vs N - RNN输入长度为N,输出长度为N
N vs 1 - RNN输入长度为N,输出长度为1
1 vs N - RNN输入长度为1,输出长度为N
N vs M - RNN输入长度为N,输出长度为M

在机器翻译里,常见的是N vs M的情况,即包含编码器 (Encoder) 和解码器 (Decoder) 两部分的seq2seq模型,也是一种RNN的变体,后来的Transformer模型也是基于Encoder-Decoder架构。

长-短期记忆网络 (LSTM)

为了解决 RNN 处理长期依赖关系时存在梯度消失/爆炸问题(随着前后信息之间的距离不断拉大,RNN会逐渐难以学习其中的连接信息),陆续出现了一些改进的 RNN 变体,如长短期记忆网络(LSTM)和门控循环单元(Gated Recurrent Unit,GRU)。这些模型通过引入门控机制,允许网络有选择性地更新记忆和遗忘信息,从而更有效地处理时间序列的长期依赖关系,避免梯度消失。

LSTM的全称是Long Short-Term Memory,顾名思义,它具有记忆更长的短期信息能力的神经网络。

就像我们学习知识时会不断加深特别重要的记忆和遗忘部分不那么感兴趣的记忆,LSTM引入了门控机制用于控制特征的流通和损失。

标准RNN中只包含单个tanh层的重复模块:

而LSTM中包含了与之相似的链式结构,但不同的是它的重复模块结构不同,是加入了门控机制的神经网络:

LSTM结构中的符号定义:

LSTM单元包含的内容:

Cell 状态/记忆单元(Cell State):
cell状态本身是一个向量,包含了关于序列中过去的信息,以及在当前时刻步骤的输入中保留的新信息。它是LSTM单元的主要内部状态,用于存储长期依赖关系。
cell状态有点像传送带,它将遗忘门与cell状态的计算结果和输入门与候选记忆的计算结果贯穿整个链式结构,这其实也就是信息记忆的地方,因此信息能很容易地以不变的形式从中流过。


F t × C t − 1 F_t×C_{t−1} Ft×Ct1表示希望删除的信息, I t × C ~ t I_t× \widetilde{C}_t It×C t表示新增的信息

输入门(Input Gate):
控制有多少信息可以流入cell状态。它使用输入数据和先前的隐藏状态来决定更新哪些信息。
遗忘门(Forget Gate): 决定在cell状态中丢弃多少旧的信息。通过考虑先前的隐藏状态和输入,它确定要保留多少过去的信息。
输出门(Output Gate):
控制从cell状态到输出的信息流。通过考虑先前的隐藏状态和输入,它决定将多少cell状态的信息传递到当前的隐藏状态和输出。

候选记忆单元:
tanh将信息值映射到[-1,1]之间,有助于缓解梯度爆炸问题。

GRU网络

相比LSTM网络,GRU(Gate Recurrent Unit,门控循环单元)网络更为简化:

记录自B站大学上看到的一段针对GRU的讨论,凝炼了对GRU的理解,十分精彩:

R t R_t Rt Z t Z_t Zt 都是根据过去的状态 H t − 1 H_{t-1} Ht1和当前输入 X t X_t Xt计算得到的 [0,1] 之间的量;
R t R_t Rt首先与 H t − 1 H_{t-1} Ht1 进行元素积,由于 R t R_t Rt 内部都是 [0,1] 的变量,因此是对过去的状态 H t − 1 H_{t-1} Ht1 进行一次选择, R t R_t Rt在某个位置的值越趋近于0,则表示这个位置的过去信息越倾向于被丢弃,反之保留。随后与 X t X_t Xt一起构成候选隐藏变量 H ~ t \tilde{H}_t H~t。同样由于 R t R_t Rt的值在 [0,1] 中,它只会削弱过去的状态,而不会增强,因此被称为遗忘门(或重置门,重置过去的状态)。
Z t Z_t Zt被称为更新门,因为它控制了隐藏状态的更新。假如 Z t Z_t Zt全为1,则 H t H_t Ht将完全保留上一个时间的状态 H t − 1 H_{t-1} Ht1;反之,则全盘采用当前时刻的候选隐藏变量 H ~ t \tilde{H}_t H~t;

或许各位会有疑问,感觉 R t R_t Rt已经对过去有所选择,为何还要加上 Z t Z_t Zt多此一举。
实际上 Z t Z_t Zt 是对当前进行选择,比如,如果一个文本序列中已经有很多的“猫”,那么再输入猫,实际上对于网络的正收益不大,可以抛弃,而 R t R_t Rt 只能选择过去,不能抛弃当前,而 Z t Z_t Zt 可以。
总而言之,GRU通过两个门控网络,根据过去状态和当前输入,一方面对过去状态进行选择,一方面对当前状态也进行选择。”

横空出世的Transformer网络

如今在AI领域家喻户晓的Transformer网络源自Google 2017年发表的 Attention is all you need,

网络采用Encoder-Decoder结构:

基于自注意力机制以及多头自注意力机制增强全局上下文特征的整合能力,相比传统RNN、LSTM能捕捉更长的关联距离;起初Transformer由于该优点主要应用于NLP领域,后来热度逐渐攀升,诞生了诸多其他领域甚至具体下游任务的变体,如可用于语音信号处理的Conformer、用于CV的VisionTransformer,去雾的DeHazeFormer,复原的RestoreFomer等等,其中不乏SOTA级别。

Self-Attention

根据查询(Q)、键(K)和值(V)向量计算和分配全局注意力权重:

计算过程就是对输入数据编码或者说特征提取的过程,而编码的依据则是数据内部各元素之间的相关性。想要形象地理解自注意力机制的计算细节,可以通过结合网上博客、视频讲解的“顾客买衣服”,“海王选妃”之类的例子消化一下。

此外,还要通过位置编码给序列进行编号排序,计算公式:本质上就是利用积化合差

VisionTransformer

ViT受NLP中应用Transformer的启发,将图像数据拆分降维成序列数据送入Encoder处理,并同样引入一个位置编码,用于class分类排序:

相比CNN,ViT的优点在于:可以建立全局的依赖关系,扩大图像的感受野。相比于CNN,其感受野更大,可以获取更多上下文信息。

缺点:自注意力机制是通过筛选重要信息,过滤不重要信息实现的,这就导致其有效信息的抓取能力会比CNN小一些。这样是因为自注意力机制相比CNN,无法利用图像本身具有的尺度,平移不变性,以及图像的特征局部性(图片上相邻的区域有相似的特征,即同一物体的信息往往都集中在局部)这些先验知识,只能通过大量数据进行学习。这就导致自注意力机制只有在大数据的基础上才能有效地建立准确的全局关系,而在小数据的情况下,其效果不如CNN。

Mamba模型

在Mamba out之前,RWKV被认为是Transformer的时代的新RNN,它将Transformer与RNN各自的优点相结合,同时实现高度并行化训练与高效推理,时间复杂度为线性复杂度,在长序列推理场景下具有优于Transformer的性能潜力。

后来,Mamba 因其在语言处理、基因组学和音频分析等各个领域的应用而脱颖而出。这种创新模型采用线性时间序列建模架构,该架构结合了选择性状态空间,可在不同模式(包括语言、音频和基因组学)中提供一流的性能。
这种突破性的模型代表了机器学习方法的重大转变,这可能会提高效率和性能。
Mamba 的主要优势之一是能够解决与传统 Transformer 在处理长序列时相关的计算挑战。通过将选择机制集成到其状态空间模型中,Mamba 可以根据序列中每个token的相关性有效地决定是传播还是丢弃信息。这种选择性方法可显着加快推理速度,吞吐率比标准 Transformer 高出五倍,并展示了随序列长度的线性缩放。值得注意的是,即使在序列扩展到一百万个元素的情况下,Mamba 的性能也会随着实际数据的不断提高而不断提高。

状态空间模型结构图如下:

在这里插入图片描述
状态空间模型计算公式及其离散化:中间水去了海量推导细节和算法对比…
在这里插入图片描述
离散化方法同样也是采用信号处理中常见的双线性变换法和零阶保持器。

在近几个月里,基于Mamba模型的研究在AI领域的热度居高不下,可见其相比Transformer具有一定的推理优势和有效性。
在这里插入图片描述
在这里插入图片描述

Reference:

[1] 爱生活爱自己_RNN的网络结构
[2] 落花雨时_深度学习 RNN架构解析
[3] 程序遇上智能星空_【RNN】深入浅出讲解循环神经网络(介绍、原理)
[4] 大师兄_详解LSTM
[5] 李倩_LSTM的工作原理究竟是什么?深入了解LSTM
[6] 跟李沐学AI_56 门控循环单元(GRU)【动手学深度学习v2】
[7] 57 长短期记忆网络(LSTM)【动手学深度学习v2】
[8] 狗中赤兔–在线激情讲解transformer&Attention注意力机制
[9] RWKV解读:在Transformer的时代的新RNN
[10] markconca_一文搞定自注意力机制
[11] 人工智能|Mamba 介绍
[12] MindSpore_RWKV解读:在Transformer的时代的新RNN

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/540462.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

基于springboot仿雀语的文档管理系统

项目介绍 本项目借鉴了雀语的一些UI设计,实现了文档在线管理的功能,知识库可以对不同分类的文档建立不同的库,知识库里面左边可以维护菜单菜单目录,右边实现在线预览。该项目可以防止用户下载和复制文档,只支持在线预…

Excel从零基础到高手【办公】

第1课 - 快速制作目录【上篇】第1课 - 快速制作目录【下篇】第2课 - 快速定位到工作表的天涯海角第3课 - 如何最大化显示工作表的界面第4课 - 给你的表格做个瘦身第5课 - 快速定位目标区域所在位置第6课 - 快速批量填充序号第7课 - 按自定义的序列排序第8课 - 快速删除空白行第…

接招吧! selenium环境+元素定位大法

selenium 与 webdriver Selenium 是一个用于 Web 测试的工具,测试运行在浏览器中,就像真正的用户在手工操作一样。支持所有主流浏览器 WebDriver 就是对浏览器提供的原生API进行封装,使其成为一套更加面向对象的Selenium WebDriver API。 …

UltraScale 架构 SelectIO 资源之IODELAY与IOSERDES仿真与使用

平台:vivado2018.3 具体内容见ug571-ultrascale-selectio IDELAYE3 在调试超高速信号的时候,需要使用iodelayiserdes来调试校准输入信号。例如外部某ADC采样率为5GHZ,外部ADC使用2.5GHZ的时钟去采集输入信号。为了实现采集,adc芯…

普乐蛙VR航天体验馆设备VR太空飞船VR元宇宙展厅

三天小长假就要来啦!五一假期也即将到来。老板们想捉住人流量这个财富密码吗?那快快行动起来!开启VR体验项目,假期赚翻天!小编亲测!!这款设备刺激好玩,想必会吸引各位家长小孩、学生…

Normalization

Norm介绍 归一化层,目前主要有这几个方法,Batch Normalization(2015年)、Layer Normalization(2016年)、Instance Normalization(2017年)、Group Normalization(2018年&…

【研发日记】CANoe自动化测试的配置方式(三)——SystemVariables数组方式

文章目录 前言 一、例程功能 二、仿真ECU 三、SystemVariables数组: 四、测试模块 五、测试运行效果 六、分析和应用 总结 前言 近期在做的一个自动化测试项目,尝试了一种以前没用过的测试配置方式,感觉效果还不错。然后又回顾了一下以…

php其他反序列化知识学习

简单总结一下最近学习的,php其他的一些反序列化知识 phar soap session 其他 __wakeup绕过gc绕过异常非公有属性,类名大小写不敏感正则匹配,十六进制绕过关键字检测原生类的利用 phar 基础知识 在 之前学习的反序列化利用中&#xff0…

Golang | Leetcode Golang题解之第19题删除链表的倒数第N个结点

题目&#xff1a; 题解&#xff1a; func removeNthFromEnd(head *ListNode, n int) *ListNode {dummy : &ListNode{0, head}first, second : head, dummyfor i : 0; i < n; i {first first.Next}for ; first ! nil; first first.Next {second second.Next}second.N…

谷歌推出适用于安卓设备的“Find My Device”网络,功能类似苹果Find My

谷歌今日推出了适用于安卓设备的“Find My Device”网络&#xff0c;其功能类似于苹果的“Find My”网络&#xff0c;旨在帮助用户定位丢失、被盗的安卓产品。 安卓的“Find My Device”网络可以利用数以亿计运行 Android 9 或更高版本的安卓设备&#xff0c;通过蓝牙信号追踪丢…

Golang ProtoBuf 初学者完整教程:语法

一、编码规范推荐 1、文件名使用小写下划线的命名风格&#xff0c;例如 lower_snake_case.proto 2、使用 2 个空格缩进 3、包名应该和目录结构对应 4、消息名使用首字母大写驼峰风格(CamelCase)&#xff0c;例如message StudentRequest { ... } 5、字段名使用小写下划线的风格…

内网通如何去除广告,内网通免广告生成器

公司使用内网通内部传输确实方便&#xff01;但是会有广告弹窗推送&#xff01;这个很烦恼&#xff01;那么如何去除广告呢&#xff01; 下载&#xff1a; 链接&#xff1a;https://pan.baidu.com/s/1CVVdWexliF3tBaFgN1W9aw?pwdhk7m 提取码&#xff1a;hk7m ID&#xff1a;…

数据结构之来链表——单链表

什么是单链表&#xff1a; 文字说明&#xff1a; 单链表顾名思义&#xff0c;就是指单项链表&#xff0c;即只有一个方向的链性线性表。 图解&#xff1a; 如下图所示&#xff0c;即为链表&#xff08;DATA为我们自己所定义的数据类型&#xff09;&#xff1a; 单链表的创建&am…

酷柚易讯无人共享空间单开版安装说明

1、安装环境准备 PHP环境7.4 mysql数据库需要5.7 同时需要安装宝塔面板&#xff08;&#xff57;&#xff57;&#xff57;&#xff0e;&#xff42;&#xff54;&#xff0e;&#xff43;&#xff4e;&#xff09; &#xff12;、获取系统安装包 联系工作人员获取安装包后…

面试:线程和线程池

目录 目标 一、线程有哪些状态 1、新建态&#xff08;NEW&#xff09;&#xff1a; 2、可运行态&#xff08;RUNNABLE&#xff09;&#xff1a; 3、终结态&#xff08;TERMINATED&#xff09;&#xff1a; 4、阻塞态&#xff08;BLOCKED&#xff09;&#xff1a; 5、等待态…

springboot3使用自定义注解+AOP+redis优雅实现防重复提交

⛰️个人主页: 蒾酒 &#x1f525;系列专栏&#xff1a;《spring boot实战》 &#x1f30a;山高路远&#xff0c;行路漫漫&#xff0c;终有归途 目录 写在前面 实现思路 实现步骤 1.定义防重复提交注解 2.编写一个切面去发现该注解然后执行防重复提交逻辑 3.测试 …

VNC Viewer 连接远程主机及常见错误处理(The connection closed unexpectedly)

搭建可接收vnc连接的环境 1、下载镜像 https://github.com/fcwu/docker-ubuntu-vnc-desktop 该镜像是含有ubuntu 通过docker运行的桌面环境&#xff0c;并接受vnc 的连接 docker pull dorowu/ubuntu-desktop-lxde-vnc 2、运行容器 1&#xff09;只暴露容器的80端口&#…

1.汉诺塔问题

C力扣 汉诺塔 class Solution { public:void hanota(vector<int>& a, vector<int>& b, vector<int>& c) {dfs(a,b,c,a.size());}void dfs(vector<int>& a, vector<int>& b, vector<int>& c,int n){if(n1){c.push…

李廉洋;4.13黄金,原油最新资讯,下周一盘走势分析及策略。

美国杜克大学大宗商品研究教授Harvey表示&#xff0c;目前除了避险情绪外&#xff0c;“上涨惯性”也是促使黄金“疯涨”的原因。他表示&#xff1a;“目前不断涌入黄金市场的资金实际上在增加风险敞口&#xff0c;除了散户&#xff0c;对冲基金和其他机构投资者也加入了黄金热…

股票价格预测 | Python使用LSTM预测股票价格

文章目录 效果一览文章概述代码设计效果一览 文章概述 Python使用LSTM预测股票价格 代码设计 import pandas as pd import matplotlib.pyplot as plt import numpy as np import tensorflowfrom numpy import