【原创】实现ChatGPT中Transformer模型之Encoder-Decoder

作者：黑夜路人

时间：2023年7月

Transformer Block （通用块）实现

看以上整个链路图，其实我们可以很清晰看到这心其实在Encoder环节里面主要是有几个大环节，每一层主要的核心作用如下：

  • Multi-headed self Attention（注意力机制层）：通过不同的注意力函数并拼接结果,提高模型的表达能力，主要计算词与词的相关性和长距离次的相关性。
  • Normalization layer（归一化层）：对每个隐层神经元进行归一化,使其特征值的均值为0,方差为1，解决梯度爆炸和消失问题。通过归一化,可以将数据压缩在一个合适范围内,避免出现超大或超小值,有利于模型训练，也能改善模型的泛化能力和加速模型收敛以及减少参数量的依赖。
  • Feed forward network（前馈神经网络）：对注意力输出结果进行变换。
  • Another normalization layer（另一个归一化层）：Weight Normalization用于对模型中层与层之间的权重矩阵进行归一化,其主要目的是解决梯度消失问题

注意力（Attention）实现

参考其他我们了解的信息可以看到里面核心的自注意力层等等，我们把每个层剥离看看核心这一层应该如何实现。

简单看看注意力的计算过程：

这张图所表示的大致运算过程是：

对于每个token，先产生三个向量query，key，value：

query向量类比于询问。某个token问：“其余的token都和我有多大程度的相关呀？”

key向量类比于索引。某个token说：“我把每个询问内容的回答都压缩了下装在我的key里”

value向量类比于回答。某个token说：“我把我自身涵盖的信息又抽取了一层装在我的value里”

注意力计算代码：

def attention(query: Tensor,
              key: Tensor,
              value: Tensor,
              mask: Optional[Tensor] = None,
              dropout: float = 0.1):
    """
    定义如何计算注意力得分
    参数:
        query: shape (batch_size, num_heads, seq_len, k_dim)
        key: shape(batch_size, num_heads, seq_len, k_dim)
        value: shape(batch_size, num_heads, seq_len, v_dim)
        mask: shape (batch_size, num_heads, seq_len, seq_len). Since our assumption, here the shape is
              (1, 1, seq_len, seq_len)
    返回:
        out: shape (batch_size, v_dim). 注意力头的输出。注意力分数：形状（seq_len，seq_ln）。
    """
    k_dim = query.size(-1)

    # shape (seq_len ,seq_len)，row: token，col: token记号的注意力得分
    scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(k_dim)

    if mask is not None:
        scores = scores.masked_fill(mask == 0, -1e10)

    attention_score = F.softmax(scores, dim=-1)

    if dropout is not None:
        attention_score = dropout(attention_score)

    out = torch.matmul(attention_score, value)

    return out, attention_score  # shape: (seq_len, v_dim), (seq_len, seq_lem)

以图中的token a2为例：

它产生一个query，每个query都去和别的token的key做“某种方式”的计算，得到的结果我们称为attention score（即为图中的$$\alpha $$）。则一共得到四个attention score。（attention score又可以被称为attention weight）。

将这四个score分别乘上每个token的value，我们会得到四个抽取信息完毕的向量。

将这四个向量相加，就是最终a2过attention模型后所产生的结果b2。

整个这一层，我们通过代码来进行这个逻辑的简单实现：

class MultiHeadedAttention(nn.Module):
    def __init__(self,
                 num_heads: int,
                 d_model: int,
                 dropout: float = 0.1):
        super(MultiHeadedAttention, self).__init__()
        assert d_model % num_heads == 0, "d_model must be divisible by num_heads"
        # 假设v_dim总是等于k_dim
        self.k_dim = d_model // num_heads
        self.num_heads = num_heads
        self.proj_weights = clones(
            nn.Linear(d_model, d_model), 4)  # W^Q, W^K, W^V, W^O
        self.attention_score = None
        self.dropout = nn.Dropout(p=dropout)

    def forward(self,
                query: Tensor,
                key: Tensor,
                value: Tensor,
                mask: Optional[Tensor] = None):
        """
        参数:
            query: shape (batch_size, seq_len, d_model)
            key: shape (batch_size, seq_len, d_model)
            value: shape (batch_size, seq_len, d_model)
            mask: shape (batch_size, seq_len, seq_len). 由于我们假设所有数据都使用相同的掩码，因此这里的形状也等于（1，seq_len，seq-len）

        返回:
            out: shape (batch_size, seq_len, d_model). 多头注意力层的输出
        """
        if mask is not None:
            mask = mask.unsqueeze(1)
        batch_size = query.size(0)

        # 1) 应用W^Q、W^K、W^V生成新的查询、键、值
        query, key, value \
            = [proj_weight(x).view(batch_size, -1, self.num_heads, self.k_dim).transpose(1, 2)
                for proj_weight, x in zip(self.proj_weights, [query, key, value])]  # -1 equals to seq_len

        # 2) 计算注意力得分和out
        out, self.attention_score = attention(query, key, value, mask=mask,
                                              dropout=self.dropout)

        # 3) "Concat" 输出
        out = out.transpose(1, 2).contiguous() \
            .view(batch_size, -1, self.num_heads * self.k_dim)

        # 4) 应用W^O以获得最终输出
        out = self.proj_weights[-1](out)

        return out

Norm 归一化层实现

# 归一化层,标准化的计算公式
class NormLayer(nn.Module):
    def __init__(self, features, eps=1e-6):
        super(LayerNorm, self).__init__()
        self.a_2 = nn.Parameter(torch.ones(features))
        self.b_2 = nn.Parameter(torch.zeros(features))
        self.eps = eps

    def forward(self, x):
        mean = x.mean(-1, keepdim=True)
        std = x.std(-1, keepdim=True)
        return self.a_2 * (x - mean) / (std + self.eps) + self.b_2

前馈神经网络实现

class FeedForward(nn.Module):

    def __init__(self, d_model, d_ff=2048, dropout=0.1):
        super().__init__()

        # 设置 d_ff 缺省值为2048
        self.linear_1 = nn.Linear(d_model, d_ff)
        self.dropout = nn.Dropout(dropout)
        self.linear_2 = nn.Linear(d_ff, d_model)

    def forward(self, x):
        x = self.dropout(F.relu(self.linear_1(x)))
        x = self.linear_2(x)

Encoder（编码器曾）实现

Encoder 就是将前面介绍的整个链路部分，全部组装迭代起来，完成将源编码到中间编码的转换。


class EncoderLayer(nn.Module):

    def __init__(self, d_model, heads, dropout=0.1):
        super().__init__()
        self.norm_1 = Norm(d_model)
        self.norm_2 = Norm(d_model)
        self.attn = MultiHeadAttention(heads, d_model, dropout=dropout)
        self.ff = FeedForward(d_model, dropout=dropout)
        self.dropout_1 = nn.Dropout(dropout)
        self.dropout_2 = nn.Dropout(dropout)

    def forward(self, x, mask):
        x2 = self.norm_1(x)
        x = x + self.dropout_1(self.attn(x2, x2, x2, mask))
        x2 = self.norm_2(x)
        x = x + self.dropout_2(self.ff(x2))
        return x

class Encoder(nn.Module):

    def __init__(self, vocab_size, d_model, N, heads, dropout):
        super().__init__()
        self.N = N
        self.embed = Embedder(d_model, vocab_size)
        self.pe = PositionalEncoder(d_model, dropout=dropout)
        self.layers = get_clones(EncoderLayer(d_model, heads, dropout), N)
        self.norm = Norm(d_model)

    def forward(self, src, mask):
        x = self.embed(src)
        x = self.pe(x)
        for i in range(self.N):
            x = self.layers[i](x, mask)
        return self.norm(x)

Decoder（解码器层）实现

Decoder部分和 Encoder 的部分非常的相似，它主要是把 Encoder 生成的中间编码，转换为目标编码。

class DecoderLayer(nn.Module):

    def __init__(self, d_model, heads, dropout=0.1):
        super().__init__()
        self.norm_1 = Norm(d_model)
        self.norm_2 = Norm(d_model)
        self.norm_3 = Norm(d_model)

        self.dropout_1 = nn.Dropout(dropout)
        self.dropout_2 = nn.Dropout(dropout)
        self.dropout_3 = nn.Dropout(dropout)

        self.attn_1 = MultiHeadAttention(heads, d_model, dropout=dropout)
        self.attn_2 = MultiHeadAttention(heads, d_model, dropout=dropout)
        self.ff = FeedForward(d_model, dropout=dropout)

    def forward(self, x, e_outputs, src_mask, trg_mask):
        x2 = self.norm_1(x)
        x = x + self.dropout_1(self.attn_1(x2, x2, x2, trg_mask))
        x2 = self.norm_2(x)
        x = x + self.dropout_2(self.attn_2(x2, e_outputs, e_outputs,
                                           src_mask))
        x2 = self.norm_3(x)
        x = x + self.dropout_3(self.ff(x2))
        return x

class Decoder(nn.Module):

    def __init__(self, vocab_size, d_model, N, heads, dropout):
        super().__init__()
        self.N = N
        self.embed = Embedder(vocab_size, d_model)
        self.pe = PositionalEncoder(d_model, dropout=dropout)
        self.layers = get_clones(DecoderLayer(d_model, heads, dropout), N)
        self.norm = Norm(d_model)

    def forward(self, trg, e_outputs, src_mask, trg_mask):
        x = self.embed(trg)
        x = self.pe(x)
        for i in range(self.N):
            x = self.layers[i](x, e_outputs, src_mask, trg_mask)
        return self.norm(x)

Transformer 实现

把整个链路结合，包括Encoder和Decoder，最终就能够形成一个Transformer框架的基本MVP实现。

class Transformer(nn.Module):

    def __init__(self, src_vocab, trg_vocab, d_model, N, heads, dropout):
        super().__init__()
        self.encoder = Encoder(src_vocab, d_model, N, heads, dropout)
        self.decoder = Decoder(trg_vocab, d_model, N, heads, dropout)
        self.out = nn.Linear(d_model, trg_vocab)

    def forward(self, src, trg, src_mask, trg_mask):
        e_outputs = self.encoder(src, src_mask)
        d_output = self.decoder(trg, e_outputs, src_mask, trg_mask)
        output = self.out(d_output)
        return output

代码说明

如果想要学习阅读整个代码，访问 black-transformer 项目，github访问地址：

GitHub - heiyeluren/black-transformer: black-transformer 是一个轻量级模拟Transformer模型实现的概要代码，用于了解整个Transformer工作机制

取代你的不是AI，而是比你更了解AI和更会使用AI的人！

##End##

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/39900.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

出租屋智能电表系统

出租屋智能电表系统

随着科技的不断发展，智能化逐渐成为人们生活中不可或缺的一部分。在房屋租赁市场中，智能电表系统成为越来越多出租屋的标配，为房东和租户带来了便捷和安全。本文将从以下几个方面介绍出租屋智能电表系统的特点和优势。 一、出租屋智能电表系统…
阅读更多...
第二十一章：CCNet:Criss-Cross Attention for Semantic Segmentation ——用于语义分割的交叉注意力

第二十一章：CCNet:Criss-Cross Attention for Semantic Segmentation ——用于语义分割的交叉注意力

0.摘要 全图像依赖关系为视觉理解问题提供了有用的上下文信息。在这项工作中，我们提出了一种称为Criss-Cross Network（CCNet）的方法，以更有效和高效的方式获取这种上下文信息。具体而言，对于每个像素，CCNet…
阅读更多...
Linux 系统编程-开发环境(二）

Linux 系统编程-开发环境(二）

目录 7 压缩包管理 7.1 tar 7.2 rar 7.3 zip 8 进程管理 8.1 who 8.2 ps 8.3 jobs 8.4 fg 8.5 bg 8.6 kill 8.7 env 8.8 top 9 用户管理 9.1 创建用户 9.2 设置用户组 9.3 设置密码 9.4 切换用户 9.5 root用户 9.6 删除用户 10 网络管理 10.1 i…
阅读更多...
Word之解决中文和英文混写导致字间距增大的问题(六)

Word之解决中文和英文混写导致字间距增大的问题(六)

简介： CSDN博客专家，专注Android/Linux系统，分享多mic语音方案、音视频、编解码等技术，与大家一起成长！ 优质专栏：Audio工程师进阶系列【原创干货持续更新中……】🚀 人生格言： 人生…
阅读更多...
机器学习1

机器学习1

核心梯度下降算法： import numpy as np from utils.features import prepare_for_trainingclass LinearRegression:def __init__(self,data,labels,polynomial_degree 0,sinusoid_degree 0,normalize_dataTrue):"""1.对数据进行预处理操作2.先得到…
阅读更多...
【iOS】编译与链接

【iOS】编译与链接

前言 计算机语言分为机器语言、汇编语言和高级语言。 可以将高级语言分为两种：编译语言和解释型语言（直译式语言）。 解释型语言（逐步进行解释执行） 解释语言编写的程序在每次运行时都需要通过解释器对程序进行动态…
阅读更多...
（四）「消息队列」之 RabbitMQ 路由（使用 .NET 客户端）

（四）「消息队列」之 RabbitMQ 路由（使用 .NET 客户端）

0、引言 先决条件 本教程假设 RabbitMQ 已安装并且正在 本地主机 的标准端口（5672）上运行。如果您使用了不同的主机、端口或凭证，则要求调整连接设置。 获取帮助 如果您在阅读本教程时遇到问题，可以通过邮件列表或者 RabbitMQ 社区…
阅读更多...
图数据库：neo4j学习笔记

图数据库：neo4j学习笔记

参考资料：neo4j 教程_w3cschool Springboot集成Neo4j_喝醉的咕咕鸟的博客-CSDN博客 SpringBoot 整合 Neo4j_springboot neo4j_$懒小猿$的博客-CSDN博客 图数据库Neo4j实战（全网最详细教程）_neo4j使用教程_星川皆无恙的博客-CSDN博客 代码片段…
阅读更多...
【个人笔记】linux的cd命令与目录结构理解

【个人笔记】linux的cd命令与目录结构理解

cd命令 cd（英文全拼：change directory）命令用于改变当前工作目录的命令，切换到指定的路径。 若目录名称省略，则变换至使用者的 home 目录 (也就是刚 login 时所在的目录)。 另外，~ 也表示为 home 目录 的…
阅读更多...
flask基本用法小白教程+按钮跳转到指定页面+python和pip安装（后附）

flask基本用法小白教程+按钮跳转到指定页面+python和pip安装（后附）

一、flask学习教程： 1.1 基本程序： 大家可以在pycharm中复制如下代码，先感受一下flask的基本用法： 点击链接可进入浏览器查看程序运行的结果，在127.0.0.1:5000后面添上/test1/等设定的文字，可查看不同函…
阅读更多...
Flutter：网络图像缓存插件——cached_network_image

Flutter：网络图像缓存插件——cached_network_image

前言 为什么要使用这个插件，有什么用呢？毕竟官方提供了Image.network来进行网络图片加载 Image.network和CachedNetworkImage都可以用于在Flutter中加载网络图片，但它们之间有一些区别。 Image.network是Flutter核心库提供的一个构造函数&…
阅读更多...
Python教程(4)——Python开发工具PyCharm的下载与安装

Python教程(4)——Python开发工具PyCharm的下载与安装

PyCharm是一种专业的Python集成开发环境（IDE），由JetBrains公司开发和维护。它提供了丰富的功能和工具，帮助开发人员更高效地编写、调试和测试Python代码。如果是一些大型Python项目强烈推荐用这个来开发。今天我们来介绍一下PyCha…
阅读更多...
Microsoft Update Assistant导致 MAC 电脑内存占用过高解决方案

Microsoft Update Assistant导致 MAC 电脑内存占用过高解决方案

目录 问题: 排查原因: 解决方案: 问题: 一直很苦恼,每次开机隔会发下电脑内存就 100%了,这次找了下原因,也记录下. 排查原因: 通过 mac 自带的活动监视器,发现居然是Microsoft Update Assistant它导致的 解决方案: 那这样就简单了,这个应该是 word,execl 的一个自动更新程序…
阅读更多...
融云出海：不止假发出口和四卡四待手机，「非洲市场」的参差与机遇

融云出海：不止假发出口和四卡四待手机，「非洲市场」的参差与机遇

↑ 点击预约“融云北极星”直播↑ 点击预约“实时社区”直播 比白皮书更精炼省流，比图谱更实用有效。 融云《社交泛娱乐出海作战地图》，被多位大咖标记为出海人必备工作手册。针对地图的核心模块，我们推出了系列解读文章，更详尽…
阅读更多...
56 # 实现 pipe 方法进行拷贝

56 # 实现 pipe 方法进行拷贝

pipe 是异步的，可以实现读一点写一点，管道的优势：不会淹没可用内存，但是在导入的过程中无法获取到内容 const fs require("fs"); const path require("path");fs.createReadStream(path.resolve(__dirname…
阅读更多...
苹果平板电容笔好用吗？第三方apple pencil推荐

苹果平板电容笔好用吗？第三方apple pencil推荐

自从苹果推出了ipad的电容笔之后，一直在市场上保持着十分火爆的热度，但是因为Apple Pencil的价格太高，一般的消费者根本没有足够预算去入手。所以市场上就不断涌现出了不少可以很好代替Apple Pencil的平替电容笔，并且深受人们的热…
阅读更多...
Word 插件实现读取excel自动填写

Word 插件实现读取excel自动填写

日常工作中碰到需要将EXCEL的对应数据记录填写到word文档对应的位置，人工操作的方式是： 打开exel表—>查找对应报告号的行—>逐列复制excel表列单元格内容到WORD对应的位置（如下图标注所示） 这种方法耗时且容易出错。实际上…
阅读更多...
精选了6款好用的AI绘画工具，值得一试

精选了6款好用的AI绘画工具，值得一试

近几年来，伴随着AI技术的发展，设计领域发生了巨大的变化。AI绘图工具的出现很大程度上减轻了设计师的工作负担，本文精选了6款优秀的AI绘图工具为大家推荐，一起来看看吧！ 1、即时灵感 即时灵感作为国产的AI绘图工具&a…
阅读更多...
java导出pdf（纯代码实现）

java导出pdf（纯代码实现）

java导出pdf 在项目开发中，产品的需求越来越奇葩啦，开始文件下载都是下载为excel的，做着做着需求竟然变了，要求能导出pdf。导出pdf倒也不是特别大的问题关键就是麻烦。 导出pdf我知道的一共有3中方法： 方法一&#xff…
阅读更多...
Spring Batch之读数据库—JdbcCursorItemReader之自定义PreparedStatementSetter（三十八）

Spring Batch之读数据库—JdbcCursorItemReader之自定义PreparedStatementSetter（三十八）

一、自定义PreparedStatementSetter 详情参考我的另一篇博客： Spring Batch之读数据库——JdbcCursorItemReader（三十五）_人……杰的博客-CSDN博客 二、项目实例 1.项目实例 2.代码实现 BatchMain.java： package com.xj.dem…
阅读更多...
最新文章

Copyright @ 2022~2023