Attention 注意力是一个非常有价值的机制，例如我们耳熟能详的 SE attention。我们常常看到这样的标题《YOLOv8，注意力， SEAttention注意力，效果秒杀CBAM》。

其实，CBAM 是一种“卷积神经网络注意力模块”(Convolutional Block Attention Module, CBAM)。这也是一篇论文《CBAM: Convolutional Block Attention Module》。CBAM旨在自动学习输入特征图的空间和通道注意力权重，从而更好地捕捉图像中的局部信息和全局上下文。CBAM包括两个主要组成部分: 空间注意力模块和通道注意力模块。它们可以作为插件，轻松地集成到现有的 CNNQ 架构中，以提高性能。

SEAttention 也是非常有名的。在2023 的CVPR 的激光3D板块的论文《BEV-SAN: Accurate BEV 3D Object Detection via Slice Attention Networks》也在用，还改进到了很好的效果呢。SE是指"Squeeze-and-Excitation"，通过两个步骤来实现注意力机制：压缩和激励。是一种用于增强卷积神经网络（CNN）的注意力机制。核心思想是在卷积神经网络中引入一个全局的注意力机制，以自适应地学习每个通道的重要性。在压缩步骤中，SE网络会对每个通道的特征图进行全局池化，将其压缩成一个标量。在激励步骤中，SE网络会通过一个全连接层，将压缩后的特征向量转换为一个权重向量，用于对每个通道的特征图进行加权。通过引入SE模块，CNN可以自适应地学习每个通道的重要性，从而提高模型的表现能力。SE网络在多个图像分类任务中取得了很好的效果，并被广泛应用于各种视觉任务中。

这是论文中对 inception 和resnet 的SE插入。

注意力机制并不是一个新的概念。计算机视觉领域很早就有关于显著性（自底向上的注意力）的研究，物体检测中常用的由粗到精策略也可以看作是一种注意力（自顶向下的硬注意力）。

神经网络中的注意力机制一般都是指自顶向下的，或者说任务/数据驱动的软注意力机制，包括通道注意力，空间注意力，分支注意力，自注意力和交叉注意力等。

Transformer中的自注意力和BEV感知中的交叉注意力是目前研究较多的两种注意力机制。前者常用于视觉感知中的特征提取，而后者常用于多传感器感知中的特征层融合。

本版本的目录设置：

【Attention(1)】注意力机制（attention mechanism）是解决信息超载问题的主要手段的一种资源分配方案：两种分类：自上而下和自下而上
【Attention(2)】 自上而下的会聚式注意力，注意力机制怎么运行的？自注意力是什么，为何会产生？多头注意力机制是什么？

【Attention(3)】【QKV的注意力机制】 主要思路（笔记）

【Attention(4)】【QKV的自注意力机制】 主要思路（笔记）
【Attention(5)】【注意力机制】CBAM: Convolutional Block Attention Module空间和通道两个维度依次推断出注意力权重（还没发出来）
【Attention(6)】【注意力机制】DANet空间和通道双重注意力Dual Attention Network for Scene Segmentation（还没发出来）
【Attention(7)】 南航提出AFF：注意力特征融合，即插即用！可用于分类、检测和分割等（还没发出来）
【Attention(8)】CV-Attention注意力【算子总结】（还没发出来）
【Attention(9)】【CNN-attention机制】Squeeze-and-Excitation Networks（SENet）通过压缩与激励实现特征强化，最简单最易实现的SE模块
【Attention(10)】RNN-＞Seq2Seq-＞Attention-＞Self-Attention-＞Transformer
【Attention(11)】经典Attention架构:Bahdanau Attention Mechanism 和Luong Attention