从零实现深度学习框架——带Attentiond的Seq2seq机器翻译

article2024/11/23 1:33:05/文章来源:https://blog.csdn.net/yjw123456/article/details/131662891

引言

本着“凡我不能创造的，我就不能理解”的思想，本系列文章会基于纯Python以及NumPy从零创建自己的深度学习框架，该框架类似PyTorch能实现自动求导。

要深入理解深度学习，从零开始创建的经验非常重要，从自己可以理解的角度出发，尽量不使用外部完备的框架前提下，实现我们想要的模型。本系列文章的宗旨就是通过这样的过程，让大家切实掌握深度学习底层实现，而不是仅做一个调包侠。

本文我们为seq2seq模型加上注意力机制，同样也来做机器翻译任务。

注意力层

在上篇文章中我们对注意力机制有一个详细的解释，这里直接拿过来用。

class Attention(nn.Module)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/36642.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

学校公寓管理系统/基于微信小程序的学校公寓管理系统

摘要社会的发展和科学技术的进步，互联网技术越来越受欢迎。手机也逐渐受到广大人民群众的喜爱，也逐渐进入了每个学生的使用。手机具有便利性，速度快，效率高，成本低等优点。因此，构建符合自己要求的操作…

ChatGPT训练流程

图源：State of GPT - Microsoft Build 笔者翻译上图如下： 阶段子阶段目标备注Pre-Training--------语言建模Instruction Finetuning---------让模型能够理解自然语言指令RLHFReward Modeling奖励建模，用来代替人工打分，降低标注…

5G理论概述

文章目录 SA组网架构及协议栈4-5G核心网侧融合交互5G网络网元和设备类型，接口1、AMF(Access and Mobility Management Function)，接入和移动管理功能2、SMF（Session Management function），会话管理功能3、AUSF&#xf…

2023数学建模国赛常用算法-Topsis优劣解距离法

更多国赛数学建模资料思路，关注文末！ 1 优劣解距离法（TOPSIS）简介 1.1 概念 TOPSIS 法是一种常用的组内综合评价方法，能充分利用原始数据的信息，其结果能精确地反映各评价方案之间的差距。基本过程为基于…

多路转接高性能IO服务器｜select｜poll｜epoll｜模型详细实现

前言那么这里博主先安利一下一些干货满满的专栏啦！ Linux专栏https://blog.csdn.net/yu_cblog/category_11786077.html?spm1001.2014.3001.5482操作系统专栏https://blog.csdn.net/yu_cblog/category_12165502.html?spm1001.2014.3001.5482手撕数据结构https:/…

AppSpider Pro 7.4.053 for Windows - Web 应用程序安全测试

AppSpider Pro 7.4.053 for Windows - Web 应用程序安全测试 Rapid7 Dynamic Application Security Testing (DAST) 请访问原文链接：https://sysin.org/blog/appspider/，查看最新版。原创作品，转载请保留出处。作者主页：sysin…

微信小程序学习之数据绑定，事件绑定，事件传参与数据同步的学习记录

数据绑定，事件绑定，事件传参与数据同步 1. 数据绑定1.1. 在data中定义数据1.2. 在wxml中渲染数据 （mustache语法） 2. 事件绑定2.1. 事件2.2. 常用的事件2.3. 事件对象的属性列表2.4. target 和 currentTarget的区别 3. 事件传参与…

基于LLM大模型开发Web App生成器

随着越来越多的代码生成模型公开可用，现在可以以我们以前无法想象的方式进行文本到网络甚至文本到应用程序。本教程介绍了一种通过流式传输和渲染内容来生成 AI Web 内容的直接方法。推荐：用 NSDT设计器快速搭建可编程3D场景。 1、在 Node 应用程序中…

按日，周，年统计，无的数据补充0

需求：按日-周-年统计。统计涉及到3张表数据。写sql。先把3张表数据摘取出来，只需对3张表的时间做分组统计即可。按日统计 select DAY(dateff) as time,IFNULL(count(id),0)as num from(select create_time as dateff,id as id from cz_taxi_orders…

通过列排斥能比较两组迭代次数

( A, B )---3*30*2---( 1, 0 )( 0, 1 ) 让网络的输入只有3个节点，AB训练集各由6张二值化的图片组成，让差值结构中有6个1, 行分布是0，1，1，1，1，2列分布是2，2，2.统计迭代次…

【单片机】msp430f5529 万年历，数字时钟，矩阵键盘修改时间，7针OLED显示，内部温度读取

文章目录功能实物图原理图一些程序片段矩阵键盘内部温度读取将年月日转为星期功能 1 显示万年历，利用内部RTC模块 2 按键修改时间 3 显示芯片内部的温度数值实物图原理图一些程序片段矩阵键盘 https://qq742971636.blog.csdn.net/article/details/1316505…

OpenCV使用ellipse()函数来绘制一个椭圆

/*** void ellipse(* InputOutputArray img, // 图像* Point center, // 椭圆原心* Size axes, // 椭圆x轴长度的一半，y轴长度的一半* double angle, // 椭圆旋转角度* double startAngle, // 起始角度* double endAngle, // 终止角度* const Scalar& color, // 椭圆颜色*…

Hexo博客部署腾讯云服务器

✅作者简介：大家好，我是Cisyam，热爱Java后端开发者，一个想要与大家共同进步的男人😉😉 🍎个人主页：Cisyam-Shark的博客 💞当前专栏： 前端相关 ✨特色专栏&…

华为Harmony应用开发初探

HarmonyOS是一款面向万物互联时代的、全新的分布式操作系统。在传统的单设备系统能力基础上，HarmonyOS提出了基于同一套系统能力、适配多种终端形态的分布式理念，能够支持手机、平板、智能穿戴、智慧屏、车机等多种终端设备，提供全场景（移动办公、运动健康、社交通信、媒体…

＜Linux开发＞驱动开发 -之- Linux I2C 驱动

＜Linux开发＞驱动开发 -之- Linux I2C 驱动交叉编译环境搭建： ＜Linux开发＞ linux开发工具-之-交叉编译环境搭建 uboot移植可参考以下： ＜Linux开发＞ -之-系统移植 uboot移植过程详细…

springboot服务端接口公网远程调试，并实现HTTP服务监听

文章目录前言1. 本地环境搭建1.1 环境参数1.2 搭建springboot服务项目 2. 内网穿透2.1 安装配置cpolar内网穿透2.1.1 windows系统2.1.2 linux系统 2.2 创建隧道映射本地端口2.3 测试公网地址 3. 固定公网地址3.1 保留一个二级子域名3.2 配置二级子域名3.2 测试使用固定公网地址…

三个视频怎么合成一个视频？分享简单好用的合并方法

通过将多个视频合并成一个，可以将分散的内容整合在一起，形成一个连贯的故事或主题。这对于制作影片、剧集、纪录片或视频日志等需要综合多个片段的项目非常有用，可以产生更连贯和流畅的观看体验。那么怎么将视频进行合并呢？给大家…

外部中断实验(stm32)

目录 EXIT的相关代码exit.cexit.h LED的相关代码KEY的相关代码BEEP的相关代码main.cGPIO 跟中断线的映射关系图说明：以下内容参考正点原子资料 EXIT的相关代码 exit.c void EXTIX_Init(void) { EXTI_InitTypeDef EXTI_InitStructure;NVIC_InitTypeDef NVIC_InitS…

pycharm如何给一串中文快捷加引号（方法二）

点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤商人重利轻别离，前月浮梁买茶去。大家好，我是皮皮。一、前言前几天在Python白银群【此类生物】问了一个Pycharm基础的问题&a…

数据结构--哈夫曼树

数据结构–哈夫曼树带权路径长度结点的权 \color{red}权权:有某种现实含义的数值（如:表示结点的重要性等) 结点的带权路径长度 \color{red}结点的带权路径长度结点的带权路径长度:从树的根到该结点的路径长度(经过的边数）与该结点上权值的乘积树的…

从零实现深度学习框架——带Attentiond的Seq2seq机器翻译

引言

注意力层

相关文章