【NLP自然语言处理】深入探索Self-Attention：自注意力机制详解

6122f3b5b5d5425b83bd1018bbe0f497.jpeg

目录

🍔 Self-attention的特点

🍔 Self-attention中的归一化概述

🍔 softmax的梯度变化

3.1 softmax函数的输入分布是如何影响输出的

3.2 softmax函数在反向传播的过程中是如何梯度求导的

3.3 softmax函数出现梯度消失现象的原因

🍔 维度与点积大小的关系

🍔 小结

6882c9d8e076472d8b71c956166ee9a4.gif

学习目标

🍀 掌握self-attention的机制和原理.

🍀 掌握为什么要使用三元组(Q, K, V)来计算self-attention.

🍀 理解softmax函数的输入是如何影响输出分布的.

🍀 理解softmax函数反向传播进行梯度求导的数学过程.

🍀 理解softmax函数出现梯度消失的原因.

🍀 理解self-attention计算规则中归一化的原因.

🍔 Self-attention的特点

self-attention是一种通过自身和自身进行关联的attention机制, 从而得到更好的representation来表达自身.

self-attention是attention机制的一种特殊情况，在self-attention中, Q=K=V, 序列中的每个单词(token)都和该序列中的其他所有单词(token)进行attention规则的计算.

attention机制计算的特点在于, 可以直接跨越一句话中不同距离的token, 可以远距离的学习到序列的知识依赖和语序结构.


32ce72b412cd42f5ba81b083c187a715.png

  • 从上图中可以看到, self-attention可以远距离的捕捉到语义层面的特征(its的指代对象是Law).

  • 应用传统的RNN, LSTM, 在获取长距离语义特征和结构特征的时候, 需要按照序列顺序依次计算, 距离越远的联系信息的损耗越大, 有效提取和捕获的可能性越小.

  • 但是应用self-attention时, 计算过程中会直接将句子中任意两个token的联系通过一个计算步骤直接联系起来,

关于self-attention为什么要使用(Q, K, V)三元组而不是其他形式:

  • 首先一条就是从分析的角度看, 查询Query是一条独立的序列信息, 通过关键词Key的提示作用, 得到最终语义的真实值Value表达, 数学意义更充分, 完备.
  • 这里不使用(K, V)或者(V)没有什么必须的理由, 也没有相关的论文来严格阐述比较试验的结果差异, 所以可以作为开放性问题未来去探索, 只要明确在经典self-attention实现中用的是三元组就好.

self-attention公式中的归一化有什么作用? 为什么要添加scaled?

🍔 Self-attention中的归一化概述

  • 训练上的意义: 随着词嵌入维度d_k的增大, q * k 点积后的结果也会增大, 在训练时会将softmax函数推入梯度非常小的区域, 可能出现梯度消失的现象, 造成模型收敛困难.

  • 数学上的意义: 假设q和k的统计变量是满足标准正态分布的独立随机变量, 意味着q和k满足均值为0, 方差为1. 那么q和k的点积结果就是均值为0, 方差为d_k, 为了抵消这种方差被放大d_k倍的影响, 在计算中主动将点积缩放1/sqrt(d_k), 这样点积后的结果依然满足均值为0, 方差为1.

🍔 softmax的梯度变化

这里我们分3个步骤来解释softmax的梯度问题:

  • 第一步: softmax函数的输入分布是如何影响输出的.
  • 第二步: softmax函数在反向传播的过程中是如何梯度求导的.
  • 第三步: softmax函数出现梯度消失现象的原因.

3.1 softmax函数的输入分布是如何影响输出的

  • 对于一个输入向量x, softmax函数将其做了一个归一化的映射, 首先通过自然底数e将输入元素之间的差距先"拉大", 然后再归一化为一个新的分布. 在这个过程中假设某个输入x中最大的元素下标是k, 如果输入的数量级变大(就是x中的每个分量绝对值都很大), 那么在数学上会造成y_k的值非常接近1.
  • 具体用一个例子来演示, 假设输入的向量x = [a, a, 2a], 那么随便给几个不同数量级的值来看看对y3产生的影响
a = 1时,   y3 = 0.5761168847658291
a = 10时,  y3 = 0.9999092083843412
a = 100时, y3 = 1.0
  • 采用一段实例代码将a在不同取值下, 对应的y3全部画出来, 以曲线的形式展示:
from math import exp
from matplotlib import pyplot as plt
import numpy as np 
f = lambda x: exp(x * 2) / (exp(x) + exp(x) + exp(x * 2))
x = np.linspace(0, 100, 100)
y_3 = [f(x_i) for x_i in x]
plt.plot(x, y_3)
plt.show()
  • 得到如下的曲线:


46e2ad761bf240b08bc04381a2e777eb.png

  • 从上图可以很清楚的看到输入元素的数量级对softmax最终的分布影响非常之大.

  • 结论: 在输入元素的数量级较大时, softmax函数几乎将全部的概率分布都分配给了最大值分量所对应的标签.

3.2 softmax函数在反向传播的过程中是如何梯度求导的

首先定义神经网络的输入和输出:

c62f68b527ad4d5bbc4ce183980d9f92.png

反向传播就是输出端的损失函数对输入端求偏导的过程, 这里要分两种情况, 第一种如下所示:

17fa769ec47f4c5dbb7f6292acdd3da3.png

第二种如下所示:

e8474e7b4c884235a8631a196caad5c2.png

经过对两种情况分别的求导计算, 可以得出最终的结论如下:

a05442354eaf419c9ab3ef864853be29.png

3.3 softmax函数出现梯度消失现象的原因

  • 根据第二步中softmax函数的求导结果, 可以将最终的结果以矩阵形式展开如下:

e475d8ca18c04f8f969f354d7f324c15.png

  • 根据第一步中的讨论结果, 当输入x的分量值较大时, softmax函数会将大部分概率分配给最大的元素, 假设最大元素是x1, 那么softmax的输出分布将产生一个接近one-hot的结果张量y_ = [1, 0, 0,..., 0], 此时结果矩阵变为:

78b1895b42ea4e2c974bbdca85c53f08.png

  • 结论: 综上可以得出, 所有的梯度都消失为0(接近于0), 参数几乎无法更新, 模型收敛困难.

🍔 维度与点积大小的关系

  • 针对为什么维度会影响点积的大小, 原始论文中有这样的一点解释如下:

To illustrate why the dot products get large, assume that the components of q and k 
are independent random variables with mean 0 and variance 1. Then their doct product,
q*k = (q1k1+q2k2+......+q(d_k)k(d_k)), has mean 0 and variance d_k.
 

  • 我们分两步对其进行一个推导, 首先就是假设向量q和k的各个分量是相互独立的随机变量, X = q_i, Y = k_i, X和Y各自有d_k个分量, 也就是向量的维度等于d_k, 有E(X) = E(Y) = 0, 以及D(X) = D(Y) = 1.

  • 可以得到E(XY) = E(X)E(Y) = 0 * 0 = 0

  • 同理, 对于D(XY)推导如下:

d5a04ac465ee4584b1c5bbc55ebc2101.png

  • 根据期望和方差的性质, 对于互相独立的变量满足下式:

c2b6b813dddf4f39a28d372c53b448d8.png

  • 根据上面的公式, 可以很轻松的得出q*k的均值为E(qk) = 0, D(qk) = d_k.

  • 所以方差越大, 对应的qk的点积就越大, 这样softmax的输出分布就会更偏向最大值所在的分量.

  • 一个技巧就是将点积除以sqrt(d_k), 将方差在数学上重新"拉回1", 如下所示:

2e0bda22f8214ba180dc18baf9443a59.png

  • 最终的结论: 通过数学上的技巧将方差控制在1, 也就有效的控制了点积结果的发散, 也就控制了对应的梯度消失的问题!

🍔 小结

  • self-attention机制的重点是使用三元组(Q, K, V)参与规则运算, 这里面Q=K=V.
  • self-attention最大的优势是可以方便有效的提取远距离依赖的特征和结构信息, 不必向RNN那样依次计算产生传递损耗.
  • 关于self-attention采用三元组的原因, 经典实现的方式数学意义明确, 理由充分, 至于其他方式的可行性暂时没有论文做充分的对比试验研究.
  • 学习了softmax函数的输入是如何影响输出分布的.
    • softmax函数本质是对输入的数据分布做一次归一化处理, 但是输入元素的数量级对softmax最终的分布影响非常之大.
    • 在输入元素的数量级较大时, softmax函数几乎将全部的概率分布都分配给了最大值分量所对应的标签.

  • 学习了softmax函数在反向传播的过程中是如何梯度求导的.

    • 具体的推导过程见讲义正文部分, 注意要分两种情况讨论, 分别处理.

  • 学习了softmax函数出现梯度消失现象的原因.

    • 结合第一步, 第二步的结论, 可以很清楚的看到最终的梯度矩阵接近于零矩阵, 这样在进行参数更新的时候就会产生梯度消失现象.

  • 学习了维度和点积大小的关系推导.

    • 通过期望和方差的推导理解了为什么点积会造成方差变大.
    • 理解了通过数学技巧除以sqrt(d_k)就可以让方差恢复成1.

eeb8e44aa06c41ccb301fe275994b6c9.gif82fe0d9e7075453f8c62e3f23bb8a185.jpeg 

💘若能为您的学习之旅添一丝光亮，不胜荣幸💘

🐼期待您的宝贵意见，让我们共同进步共同成长🐼

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/911440.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

MML 中使用 libevent +std::async unix socket domain 进程间通信

MML 中使用 libevent +std::async unix socket domain 进程间通信

可以执行大量超时的接口,直到任务执行完成 还可以在一个事件做检测，funtcure 中的值为ready 状态 uds 的用法和tcp 类似，会维护一个链接状态和分配一个链接套接字,这就为异步执行提供了很方便的条件 客户端就安静的做一个计时,看是否在固定事件内返回执行…
阅读更多...
基础算法练习--滑动窗口(已完结)

基础算法练习--滑动窗口(已完结)

算法介绍 滑动窗口算法来自tcp协议的一种特性,它的高效使得其也变成了算法题的一种重要考点.滑动窗口的实现实际上也是通过两个指针前后遍历集合实现,但是因为它有固定的解题格式,我将其单独做成一个篇章. 滑动窗口的解题格式: 首先,定义两个指针left和right,与双指针不同的…
阅读更多...
算法：只出现一次的数字II

算法：只出现一次的数字II

题目 链接：leetcode链接 思路分析 这道题目其实是一个观察题，比较考察观察能力。 数组中只有一个元素只出现一次，其他的元素都出现三次 我们假设有n个元素出现三次 那么所有的元素的第i位的和加起来只有下面的四种情况 3n * 0 0 3n * 0…
阅读更多...
【rust】rust基础代码案例

【rust】rust基础代码案例

文章目录 代码篇HelloWorld斐波那契数列计算表达式（加减乘除）web接口 优化篇target/目录占用一个g，仅仅一个actix的helloWorld demo升级rust版本， 通过rustupcargo换源windows下放弃吧，需要额外安装1g的toolchain并且要…
阅读更多...
鸿蒙基本组件结构

鸿蒙基本组件结构

组件结构 1. 认识基本的组件结构 ArkTS通过装饰器Component 和Entry 装饰 struct 关键字声明的数据结构，构成一个自定义组件 自定义组件中提供了一个build函数，开发者需要在函数内以链式调用的方式进行基本的UI描述，UI描述的方法请参考UI描述…
阅读更多...
Python并发编程库：Asyncio的异步编程实战

Python并发编程库：Asyncio的异步编程实战

Python并发编程库：Asyncio的异步编程实战 在现代应用中，并发和高效的I/O处理是影响系统性能的关键因素之一。Python的asyncio库是专为异步编程设计的模块，提供了一种更加高效、易读的并发编程方式，适用于处理大量的I/O密集型任务…
阅读更多...
快速开发工具 Vite

快速开发工具 Vite

快速开发工具 vite 摘要： **概念：**Vite 是一种新型前端构建工具，能够显著提升前端开发体验 **构造：**Vite 主要由一个开发服务器和一套构建指令组成。 Vite底层的服务器转换和转发：以处理ts文件为例 1-读取 forma…
阅读更多...
Servlet-Filter

Servlet-Filter

文章目录 一. Filter 过滤器1. 概括2. 原理3. api配置过滤器(Filter)拦截路径1.xml 方式2.注解方式 4. 生命流程a.执行流程b.拦截路径c.过滤器链 5. 登录校验-Filter 一. Filter 过滤器 1. 概括 过滤器，顾名思义就是对事物进行过滤的，在 Web 中的过滤器…
阅读更多...
Hadoop简介及单点伪分布式安装

Hadoop简介及单点伪分布式安装

目录 1. 大数据2. Hadoop简介3. Hadoop伪分布式安装4. Hadoop启动参考 1. 大数据 大数据的定义：一种规模大到在获取、存储、管理、分析方面大大超出传统数据库软件工具能力范围的数据集合。   特征：   1.海量的数据规模   2.快速的数据流转   3.…
阅读更多...
python练习-袭击敌机

python练习-袭击敌机

$ python -m pip install --user pygame1、画游戏框 class Settings:def __init__(self):self.screen_width 1200self.screen_height 800self.bg_color (230, 230, 230)import sys import pygame from settings import Settingsclass AlienInvasion:def __init__(self):pyg…
阅读更多...
京东零售推荐系统可解释能力详解

京东零售推荐系统可解释能力详解

作者：智能平台 张颖 本文导读 本文将介绍可解释能力在京东零售推荐系统中的应用实践。主要内容包括以下几大部分：推荐系统可解释定义、系统架构、排序可解释、模型可解释、流量可解释。 推荐系统可解释定义 推荐系统可解释的核心包括三部分&#xff0…
阅读更多...
设备数据采集网关工作原理及优势-天拓四方

设备数据采集网关工作原理及优势-天拓四方

在日益智能化的时代，设备数据采集网关作为物联网系统中的关键组件，正扮演着越来越重要的角色。它不仅连接着各种设备，还负责数据的采集、处理与传输，为企业的数字化转型提供了坚实的基础。本文将详细探讨设备数据采集网关的定义、…
阅读更多...
MLU运行SD3部署手册

MLU运行SD3部署手册

文章目录 前言一、平台环境准备二、模型下载三、环境准备四.代码准备五.效果展示 前言 Stable Diffusion 3各版本模型在以下多个方面表现出色： 可定制性：轻松微调模型以满足特定创作需求，或根据定制的工作流程构建应用程序。 高效性能&#…
阅读更多...
Webserver(3.3)生产者消费者模型

Webserver(3.3)生产者消费者模型

目录 生产者消费者简单模型条件变量信号变量 生产者消费者简单模型 //生产者消费者模型#include <stdio.h> #include<pthread.h> #include<stdlib.h> #include<unistd.h>struct Node{int num;struct Node * next; }; //头结点 struct Node * headNULL…
阅读更多...
Obsidian之与Typora图片格式相互兼容

Obsidian之与Typora图片格式相互兼容

来源 [Obsidian之与Typora图片格式相互兼容 - 简书 (jianshu.com)](https://www.jianshu.com/p/303433fe82b9) 下载插件customer attachment location&#xff0c;并设置
阅读更多...
计算机网络——TCP篇

计算机网络——TCP篇

TCP篇 基本认知 TCP和UDP的区别? TCP 和 UDP 可以使用同一个端口吗&#xff1f; 可以的 传输层中 TCP 和 UDP在内核中是两个完全独立的软件模块。可以根据协议字段来选择不同的模块来处理。 TCP 连接建立 TCP 三次握手过程是怎样的&#xff1f; 一次握手:客户端发送带有 …
阅读更多...
vue echarts左右间距调整 左右空白

vue echarts左右间距调整 左右空白

咱就说这样的左右间距丑不丑。。 经过调整后&#xff0c;嗯&#xff0c;好看了很多。页面也协调多了&#xff01; 直接上代码&#xff1a;添加以下配置数据&#xff1a; grid: {x: 50,y: 25,x2: 30,y2: 35 }, this.chart.setOption({width: 100%,xAxis: {show: false,type: ca…
阅读更多...
【React.js】AntDesignPro左侧菜单栏栏目名称不显示的解决方案

【React.js】AntDesignPro左侧菜单栏栏目名称不显示的解决方案

作者&#xff1a;CSDN-PleaSure乐事 欢迎大家阅读我的博客 希望大家喜欢 使用环境&#xff1a;WebStorm 目录 问题概述 原因 解决方案 解决方法 潜在问题修改 最终效果呈现 额外内容 管理员界面路由配置 WebStorm背景更换 法一&#xff1a; 法二&#xff1a; 问题概…
阅读更多...
[Joe3] 利用Halo后台注入功能定制Joe3主题页脚内容

[Joe3] 利用Halo后台注入功能定制Joe3主题页脚内容

1. 前言 如果你正使用Halo博客系统并选择了Joe3主题&#xff0c;你会发现其主题页脚设计非常丰富&#xff0c;也非常美观&#xff0c;可能也是我们选择Joe3的原因吧。但是每个人实际的需求是不同的&#xff0c;默认模板肯定不能都满足&#xff0c;你肯定也希望在页脚部分能有更…
阅读更多...
CogVideo模型部署教程

CogVideo模型部署教程

一、 介绍 CogVideo 是一款在开源社区 GitHub 上备受瞩目的 AI 驱动视频生成解决方案&#xff0c;其核心技术依托于前沿的深度学习算法和模型架构。以下是对 CogVideo 的详细介绍&#xff1a; 1. 模型介绍 CogVideoX是 清影 同源的开源版本视频生成模型。 下表展示我们提供的…
阅读更多...
最新文章

Copyright @ 2022~2023