1.空间注意力机制STN

参考链接：STN(Spatial Transformer Networks)
参考链接：通俗易懂的Spatial Transformer Networks(STN)

• 核心动机： 在空间中捕获重要区域特征(如图像中的数字)，将核心区域进行放大居中，使得结果更容易识别
• 主体结构： 局部网络、参数化网络采样（网络生成器）和差分图像采样
  

1.1 局部网络(Localisation net)

输入： U，U可以是输入图片也可以是Feature Map
输出：$\theta$，局部网络会将重要区域特征进行放大居中，$\theta$表示原图到变换后图像之间的变换和平移参数，参考上图(b)列

1.2 网络生成器(Grid generator)

输入：局部网络模块输出的变换关系$\theta$
输出：经过仿射变换后的特征图，参考上图中©列

1.3 差分图像采样(Sample)

Sample 就是用来解决Grid generator模块变换出现小数位置的问题的，当对小数进行仿射变换时，由于取整操作会将变换前不同的位置映射到同一个坐标下。针对这种情况，STN采用双线性插值(Bilinear Interpolation) 进行解决，即根据(x,y)的像素值根据周围坐标的像素值来确定。计算公式如下：

2.通道注意力之SENet

• 核心动机：在通道中捕获重要区域特征，通过学习的方式来自动获取到每个特征通道的重要程度，然后依照这个重要程度去提升有用的特征并抑制对当前任务用处不大的特征
• 主体结构：全局池化、权重预测、为每一个通道给不同的权重
  参考链接：【注意力机制】SENet（Squeeze-and-Excitation Networks）详解

2.1 全局池化(global average pooling)

Squeeze操作将一个channel上整个空间特征编码为一个全局特征，采用global average pooling 来实现，就是将每个通道上所有的特征相加，最终由H*W*C变为1*1*C。

2.2 权重预测(Excitation)

Excitation主要是通过两个全连接神经网络FC将将每个通道信息转换为相应的权重，网络结构如下：

第一个FC层对C个通道特征进行降维，目的是降低模型的复杂度以及泛化能力
第二个FC层再进行升维操作，最终通过Sigmoid函数将每个通道归一化到[0-1]区间

2.3 为通道赋予权重(Scale)

Scale操作是将学习到的各个channel的激活值（sigmoid激活，值为0到1）乘以U上的原始特征：

3.混合注意力机制CBAM

• 核心思想：同时经过了通道和空间两个注意力机制的处理，自适应细化特征。
  

这两个模块可以以并行或顺序的方式放置。结果表明，顺序排列的结果比并行排列的结果好。对于排列的顺序，实验结果表明，通道在前面略优于空间在前面

4.自注意力（Self-Attention）

参考链接：自注意力（Self-Attention）机制原理说明
参考链接：图解自注意力机制(Self-Attention)
参考链接：Vision Transformer 超详细解读 (原理分析+代码解读) (一)

• 核心思想：计算给定的input sequence各个位置之间彼此的影响力大小

4.1 自注意力机制简介

对于网络输入的一组向量，每个向量之间可能存在联系，自注意力机制会结合其他向量对当前向量的影响，可以帮助模型更好地理解序列中的上下文信息，从而更准确地处理序列数据。比如某个单词Games在孤独的语境中可能会将其识别为游戏，但是给定上下文信息the 2022 Beijing Winter Games，Games会被理解为奥运会。

和上述注意力机制一样，自注意力机制也是为输入向量添加一个权重信息，不过不是表征重要程度，而是和输入其他向量之间的关系。

在对图像的处理过程中，会将图像分割为一系列的像素块，每个像素块会作为一个序列，自注意力机制会寻找每个像素块之间的关系。

4.2 自注意力机制的实现过程

本节图像来自：https://cloud.tencent.com/developer/article/2407538

4.2.1 单个输出

对于每一个输入向量a，经过蓝色部分self-attention之后都输出一个向量b，这个向量b是考虑了所有的输入向量对a1产生的影响才得到的，这里有四个词向量a对应就会输出四个向量b。

以输入a1为例，介绍其他输入向量与a1之间的联系

1. 基于Dot-product计算sequence中各向量与a1的关联程度
   

绿色的部分就是输入向量a1和a2，灰色的Wq和Wk为权重矩阵，需要学习来更新，用a1去和Wq相乘，得到一个向量q，然后使用a2和Wk相乘，得到一个数值k。最后使用q和k做点积，得到α。α也就是表示两个向量之间的相关联程度。

2. 可以计算每一个α(又称为attention score），q称为query，k称为key
   

另外，也可以计算a1和自己的关联性，再得到各向量与a1的相关程度之后，用softmax计算出一个attention distribution，这样就把相关程度归一化(即图中公式)，通过数值就可以看出哪些向量是和a1最有关系。
假设[a1, a2, a3, a4]=[2, 3, 4, 5]，计算相关性后[a11, a12, a13, a14]=[0, 2, 8, 10]，归一化后就变为[0， 0.1, 0.4, 0.5]

3. 根据 α′ 抽取sequence里重要的信息
   

先求v，v就是键值value，v和q、k计算方式相同，也是用输入a乘以权重矩阵W，得到v后，与对应的α′ 相乘，每一个v乘与α’后求和，得到输出b1。
如果 a1 和 a2 关联性比较高， α1,2′ 就比较大，那么，得到的输出 b1 就可能比较接近 v2 ，即attention score决定了该vector在结果中占的分量；

4.2.2 矩阵形式

1. q、k、v的矩阵形式生成
   

把4个输入a拼成一个矩阵，乘上相应的权重矩阵W，得到相应的矩阵Q、K、V，分别表示query,key和value：

三个W是我们需要学习的参数

2. 利用得到的Q和K计算每两个输入向量之间的相关性
   也就是计算attention的值α， α的计算方法有多种，通常采用点乘的方式。
   先针对q1，通过与k1到k4拼接成的矩阵K相乘，得到${\alpha }_{1,n}$
   

同样，q1到q4也可以拼接成矩阵Q直接与矩阵K相乘：

写为矩阵形式：

矩阵A中的每一个值记录了对应的两个输入向量的Attention的大小α，A’是经过softmax归一化后的矩阵。

3. 利用得到的A’和V，计算每个输入向量a对应的self-attention层的输出向量b
   

写成矩阵形式：

4.2.3 总结

对self-attention操作过程做个总结，输入是I，输出是O，矩阵Wq、 Wk 、Wv是需要学习的参数。

4.3 多头自注意力机制(Multi-head Self-attention)

因为相关性有很多种不同的形式，有很多种不同的定义，所以有时不能只有一个q，要有多个q，不同的q负责不同种类的相关性。

4.3.1 计算单个输入a:

首先，和上面一样，用a乘权重矩阵W得到qkv，然后q再乘两个不同的W，得到两个不同的$q^{i,j}$，i代表的是位置，1和2代表的是这个位置的第几个q。

4.3.2 计算多个head

这上面这个图中，有两个head，代表这个问题有两种不同的相关性。
同样，k和v也需要有多个，两个k、v的计算方式和q相同，都是先算出来ki和vi，然后再乘两个不同的权重矩阵。

对于多个输入向量也一样，每个向量都有多个head：

4.3.3 计算self-attention

和上面讲的过程一样，只不过是1那类的一起做，2那类的一起做，两个独立的过程，算出来两个b。
对于1：

对于2：

4.4 Positional Encoding

在训练self attention的时候，实际上对于位置的信息是缺失的，没有前后的区别，上面讲的a1,a2,a3不代表输入的顺序，只是指输入的向量数量，不像rnn，对于输入有明显的前后顺序，比如在翻译任务里面，对于机器学习，机器学习依次输入。而self-attention的输入是同时输入，输出也是同时产生然后输出的。

如何在Self-Attention里面体现位置信息呢？就是使用Positional Encoding

如果ai加上了ei，就会体现出位置的信息，i是多少，位置就是多少。vector长度是人为设定的，也可以从数据中训练出来