CBAM:Convolutional Block Attention Module

CBAM(Convolutional Block Attention Module)是一种深度学习领域的注意力机制,旨在增强卷积神经网络对图像特征的建模和表示能力。CBAM引入了通道和空间两种不同的注意力机制,使模型能够动态调整特征图的权重,以适应不同的任务和场景。
在这里插入图片描述
在这里插入图片描述

参考论文:https://arxiv.org/pdf/1807.06521.pdf

背景

深度学习中的卷积神经网络在图像分类、目标检测、图像分割等计算机视觉任务中取得了显著的成功。然而,随着网络结构的不断深化和任务复杂性的增加,传统的CNN模型在一些情况下仍然难以捕捉到图像中的关键特征。这可能是因为传统CNN在处理图像特征时对不同通道和空间位置的信息处理是均等的,忽略了不同通道和空间位置之间的差异性。CBAM的诞生正是为了应对这一挑战。

结构

CBAM模块由两部分组成,分别是通道注意力和空间注意力。以下是CBAM模块的主要组成部分:
(1)通道注意力(Channel Attention)
通道注意力机制用于自适应地调整不同通道的特征响应,以提高对不同特征的敏感性。通道注意力包括以下步骤:
平均池化:对每个通道的特征图进行全局平均池化,得到每个通道上的全局特征。
全连接层:将全局特征映射到一个新的特征空间。这个全连接层负责学习每个通道的权重,以确定其在最终的特征响应中的贡献。
预处理:在使用全连接层输出之前,对其进行一些适当的处理,如使用激活函数。这有助于限制权重的范围并增加模型的非线性表示能力。
广播与相乘:最后通过将通道特定的权重应用到原始的特征图上,获得了自适应调整后的特征响应。这个过程涉及将学习到的通道权重广播到每个空间位置,然后将它们应用到对应的通道特征上。

(2)空间注意力(Spatial Attention)
空间注意力机制用于自适应地调整不同空间位置的特征响应,以提高对不同位置的敏感性。空间注意力包括以下步骤:
最大池化:首先对每个通道的特征图进行全局最大池化,得到每个通道上的最大响应值。
全连接层:将全局最大响应值映射到一个新的特征空间。这个全连接层负责学习每个空间位置的权重,以确定其在最终的特征响应中的贡献。
预处理:与通道注意力类似,空间注意力中的全连接层输出也经过适当的处理,如激活函数。
广播与相乘:最后通过将空间位置特定的权重应用到原始的特征图上,获得了自适应调整后的特征响应。这个过程涉及将学习到的空间位置权重广播到每个通道特征上,然后将它们应用到对应的空间位置上。

通道注意力和空间注意力分别关注了不同方面的特征响应,通道注意力关注通道之间的关系,而空间注意力关注空间位置的关系。通道注意力通过学习每个通道的权重,使模型能够自适应地调整通道特征的重要性,增强对不同特征的建模能力。空间注意力通过学习每个空间位置的权重,使模型能够自适应地调整空间位置特征的重要性,增强对不同位置的建模能力。通过将通道注意力和空间注意力相乘,得到最终的自适应特征响应,这样模型可以在通道和空间维度上更好地捕捉和表示图像特征。

代码实现

import torch
import torch.nn as nn
import torch.nn.functional as F
class ChannelAttentionModule(nn.Module):
    def __init__(self, c1, reduction=16):
        super(ChannelAttentionModule, self).__init__()
        mid_channel = c1 // reduction
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)

        self.shared_MLP = nn.Sequential(
            nn.Linear(in_features=c1, out_features=mid_channel),
            nn.LeakyReLU(0.1, inplace=True),
            nn.Linear(in_features=mid_channel, out_features=c1)
        )
        self.act = nn.Sigmoid()
        # self.act=nn.SiLU()

    def forward(self, x):
        avgout = self.shared_MLP(self.avg_pool(x).view(x.size(0), -1)).unsqueeze(2).unsqueeze(3)
        maxout = self.shared_MLP(self.max_pool(x).view(x.size(0), -1)).unsqueeze(2).unsqueeze(3)
        return self.act(avgout + maxout)


class SpatialAttentionModule(nn.Module):
    def __init__(self):
        super(SpatialAttentionModule, self).__init__()
        self.conv2d = nn.Conv2d(in_channels=2, out_channels=1, kernel_size=7, stride=1, padding=3)
        self.act = nn.Sigmoid()

    def forward(self, x):
        avgout = torch.mean(x, dim=1, keepdim=True)
        maxout, _ = torch.max(x, dim=1, keepdim=True)
        out = torch.cat([avgout, maxout], dim=1)
        out = self.act(self.conv2d(out))
        return out


class CBAM(nn.Module):
    def __init__(self, c1, c2):
        super(CBAM, self).__init__()
        self.channel_attention = ChannelAttentionModule(c1)
        self.spatial_attention = SpatialAttentionModule()

    def forward(self, x):
        out = self.channel_attention(x) * x
        out = self.spatial_attention(out) * out
        return out

在YOLOv5模型中配置模块:

# Parameters
nc:3  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple

# anchors
anchors:
  #- [5,6, 7,9, 12,10]      # P2/4
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 backbone
backbone:
  # [from, number, module, args]               
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2           [c=3,64*0.5=32,3]
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4    
   [-1, 3, C3, [128]],                                
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8            
   [-1, 6, C3, [256]],                         
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16       
   [-1, 9, C3, [512]],                     
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]], 
   [-1, 1, CBAM, [1024]], #9
   [-1, 1, SPPF, [1024,5]], #10
  ]

# YOLOv5 head
head:
  [[-1, 1, Conv, [512, 1, 1]], 
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 14

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 18 (P3/8-small)
   [-1, 1, CBAM, [256]],   #19
   
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 15], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 22 (P4/16-medium)       [256, 256, 1, False]  
   [-1, 1, CBAM, [512]],

   [-1, 1, Conv, [512, 3, 2]],                           #[256, 256, 3, 2] 
   [[-1, 11], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 25 (P5/32-large)       [512, 512, 1, False]
   [-1, 1, CBAM, [1024]],     

   [[19, 23, 27], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

在配置文件中,Backbone和Head中均包含CBAM模块,在训练时加入CBAM训练更稳定,因此一般推荐在Backbone中SPPF前面添加以及在输出预测层前添加

应用领域

CBAM注意力模块已经在多个计算机视觉任务中取得了显著的成功,以下是一些主要应用领域:

  1. 图像分类:CBAM模块可以嵌入到CNN架构中,用于提高图像分类任务的性能。通过自适应特征调整,模型可以更好地捕获图像中不同通道和位置的特征。
  2. 目标检测:在目标检测任务中,CBAM模块可以应用于改进目标检测器的性能。通过引入通道和空间的自适应调整,CBAM可以增强目标检测器对不同目标尺寸和位置的敏感性,提高检测的准确性。
  3. 图像分割:在图像分割任务中,CBAM模块有助于提高分割模型对图像不同区域的关注度。这可以导致更准确的分割结果,尤其在复杂的场景中。
  4. 迁移学习:CBAM模块的自适应特征调整性质使其非常适合迁移学习。预训练的模型可以通过微调以适应不同的任务,而CBAM模块有助于提高模型性能,无需从头开始训练。

延伸方向

  1. 轻量化:目前CBAM模块在一些轻量级模型或嵌入式设备上的应用仍然有挑战,因为它引入了额外的计算和参数。未来的研究可以关注如何设计更轻量级的CBAM变体,以适应资源受限的环境。
  2. 多尺度和多模态:CBAM模块的设计主要针对单一尺度的图像,未来可以考虑如何扩展CBAM以处理多尺度和多模态数据。这将使CBAM更适用于更广泛的应用领域。
  3. 结合其他注意力机制:CBAM是通道和空间注意力的组合,未来的研究可以探索如何将CBAM与其他类型的注意力机制结合,以进一步提高模型的性能。
  4. 可解释性:CBAM的内部机制相对复杂,如何提高模型的可解释性仍然是一个重要的研究方向。理解CBAM如何决定通道和空间的权重以及如何将其应用于特征响应的过程将有助于更好地理解模型的决策。

总结

CBAM作为一种强大的注意力模块,为卷积神经网络的性能提升和特征建模提供了重要的工具。随着未来研究的不断发展,CBAM模块将继续在计算机视觉和其他领域中发挥关键作用,为解决复杂的模式识别和数据建模问题提供更好的解决方案。同时,CBAM的核心思想也将激发更多关于注意力机制和特征调整的研究,推动深度学习领域的发展。欢迎大家关注本博主的微信公众号 BestSongC,后续更多的资源如模型改进、可视化界面等都会在此发布。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/118430.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

MVC、MVP、MVVM区别

MVC、MVP、MVVM区别 MVC(Model-View-Controller) 。是一种设计模式,通常用于组织与应用程序的数据流。它通常包括三个组件:模型(Model)、视图(View)和控制器(Controller&…

sql中的加减乘除

自学SQL网(教程 视频 练习全套)

[vmware]vmware虚拟机压缩空间清理空间

vmware中的ubuntu使用如果拷贝文件进去在删除,vmare镜像文件并不会减少日积月累会不断是的真实物理磁盘空间大幅度减少,比如我以前windows操作系统本来只有30GB最后居然占道硬盘200GB,清理方法有2种。 第一种:vmware界面操作 第二…

阿里云服务器省钱购买和使用方法(图文详解)

阿里云服务器使用教程包括云服务器购买、云服务器配置选择、云服务器开通端口号、搭建网站所需Web环境、安装网站程序、域名解析到云服务器公网IP地址,最后网站上线全流程,新手站长xinshouzhanzhang.com分享阿里云服务器详细使用教程: 一&am…

数学建模比赛中常用的建模提示词(数模prompt)

以下为数学建模比赛中常用的建模提示词,希望对你有所帮助! 帮我总结一下数学建模有哪些预测类算法? 灰色预测模型级比检验是什么意思? 描述一下BP神经网络算法的建模步骤 对于分类变量与分类变量相关性分析用什么算法 前10年的数据分别是1&a…

从传统货架到智能货架电子标签PTL仓储亮灯系统的革新

在现代物流仓储行业中,仓库的管理和物料的寻找一直是一个难题。仓库内物料数量种类繁多,寻找物料耗时长、困难大,盘点更是耗费人力多、成本高、速度慢。此外,货物存储位置不清晰,经常性找不到物料。多发、少发、错料现…

centos7安装oxidized备份软件

首先需要提前下载ruby,因为默认yum安装的版本太低 https://cache.ruby-lang.org/pub/ruby/3.1/ruby-3.1.0.tar.gz 1、yum remove ruby ruby-devel(有就卸载,没有则忽略) 2、将下载好的ruby包解压到/opt下 [rootoxidized ruby-…

【广州华锐互动】VR历史古城复原:沉浸式体验古代建筑,感受千年风华!

在科技日新月异的今天,虚拟现实(VR)技术已经成为了我们生活中不可或缺的一部分。从娱乐游戏到医疗健康,从教育培训到房地产销售,VR技术的应用领域日益广泛。而近年来,VR技术在文化遗产保护和古迹复原方面的…

阿里云安全恶意程序检测(速通一)

阿里云安全恶意程序检测 赛题理解赛题介绍赛题说明数据说明评测指标 赛题分析数据特征解题思路 数据探索数据特征类型数据分布箱型图 变量取值分布缺失值异常值分析训练集的tid特征标签分布测试集数据探索同上 数据集联合分析file_id分析API分析 特征工程与基线模型构造特征与特…

【stack题解】最小栈 | 栈的压入、弹出序列

目录 最小栈 思路 ​编辑 实现 栈的压入、弹出序列 思路 实现 需要注意的 最小栈 力扣(LeetCode)官网 - 全球极客挚爱的技术成长平台 设计一个支持 push ,pop ,top 操作,并能在常数时间内检索到最小元素的栈。…

​软考-高级-信息系统项目管理师教程 第四版【第15章-项目风险管理-思维导图】​

软考-高级-信息系统项目管理师教程 第四版【第15章-项目风险管理-思维导图】 课本里章节里所有蓝色字体的思维导图

K8s学习笔记——资源组件篇

引言 前一篇文章我们介绍了K8s的概念理解和常用命令,这篇我们重点介绍K8s的资源组件和相关配置使用。 1. Node & Pod Node: 是 Pod 真正运行的主机,可以是物理机,也可以是虚拟机。为了管理 Pod,每个 Node 节点上至少要运行…

军用机场信息化数字孪生监测平台助力企业运营

随着直升机的不断发展,其在军用和民用领域得到越来越广泛的应用,在民用领域直升机广泛用于客货运输、紧急救援、农林作业、地质勘探、油气开发、公安巡逻等。直升机相关经营数据也逐渐被重视起来,数字孪生公司深圳华锐视点通过web3d开发构建虚…

XR Interaction ToolKit

一、简介 XR Interaction Toolkit是unity官方的XR交互工具包。 官方XRI示例地址:https://github.com/Unity-Technologies/XR-Interaction-Toolkit-Examples 2023.3.14官方博客,XRIT v2.3 https://blog.unity.com/engine-platform/whats-new-in-xr-int…

8-3、T型加减速单片机程序【51单片机控制步进电机-TB6600系列】

摘要:根据前两节内容,已完成所有计算工作,本节内容介绍具体单片机程序流程及代码 一、程序流程图 根据前两节文章内容可知,T型加减速的关键内容是运动类型的判断以及定时器初值的计算,在输出运动参数后即可判断出运动…

新闻稿的写作注意事项!纯干货

新闻稿是企业、机构、政府等组织向公众传递信息的重要途径之一,也是媒体获取新闻素材的主要来源。一篇优质的新聞稿不仅可以吸引读者的注意力,还可以提高组织的形象和声誉。因此写好新闻稿至关重要。下面伯乐网络传媒来给大家探讨一些新闻稿写作的注意事…

人工智能AI 全栈体系(十二)

第二章 计算机是如何学会下棋的 下棋一直被认为是人类的高智商游戏,从人工智能诞生的那一天开始,研究者就开始研究计算机如何下棋。著名人工智能学者、图灵奖获得者约翰麦卡锡在 50 年代就开始从事计算机下棋方面的研究工作,并提出了著名的 …

如何使用Node.js快速创建HTTP服务器并实现公网访问本地Server

文章目录 前言1.安装Node.js环境2.创建node.js服务3. 访问node.js 服务4.内网穿透4.1 安装配置cpolar内网穿透4.2 创建隧道映射本地端口 5.固定公网地址 前言 Node.js 是能够在服务器端运行 JavaScript 的开放源代码、跨平台运行环境。Node.js 由 OpenJS Foundation&#xff0…

哪一波最容易亏钱,昂首资本这样讲

有交易者咨询anzo capital昂首资本,按照波浪理论最容易亏钱是在第几波,通过调查得知80%的错误发生在第四波。所以对哪一波最容易亏钱,很有可能就是第四波。当然了如果能准确的判断第四波时,也可能获得相当丰厚的利润。 第四波通…