YOLOv5-7.0改进（四）添加EMA注意力机制

前言

关于网络中注意力机制的改进有很多种，本篇内容从EMA注意力机制开始！

往期回顾

YOLOv5-7.0改进（一）MobileNetv3替换主干网络

YOLOv5-7.0改进（二）BiFPN替换Neck网络

YOLOv5-7.0改进（三）添加损失函数EIoU、AlphaIoU、SIoU、WIoU、MPDIoU、NWD

目录

  • 一、EMA简介
  • 二、Neck端添加EMA
    • 第一步：在common.py中添加EMA模块
    • 第二步：在yolo.py中的parse_model函数加入类名
    • 第三步：制作模型配置文件
    • 第四步：验证新加入的Neck网络
  • 三、C3中添加EMA
    • 第一步：在common.py中添加EMA模块
    • 第二步：在yolo.py中的parse_model函数加入类名
    • 第三步：制作模型配置文件
    • 第四步：验证新加入的Neck网络

一、EMA简介

论文题目：Efficient Multi-Scale Attention Module with Cross-Spatial Learning

EMA注意力机制：基于跨空间学习的高效多尺度注意力机制，该模块首先将部分通道维度重塑为批量维度，以避免通用卷积进行某种形式的降维，接着在每个并行子网络中构建局部的跨通道交互，利用一种新的跨空间学习方法融合两个并行子网络的输出特征图，设计了一个多尺度并行子网络来建立长短依赖关系。

网络结构：

在这里插入图片描述

二、Neck端添加EMA

第一步：在common.py中添加EMA模块

代码如下：

#EMA
class EMA(nn.Module):
    def __init__(self, channels, factor=8):
        super(EMA, self).__init__()
        self.groups = factor # 分组因子
        assert channels // self.groups > 0
        self.softmax = nn.Softmax(-1) #softmax操作
        self.agp = nn.AdaptiveAvgPool2d((1, 1)) # 1×1平均池化层
        self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) # X平均池化层 h=1
        self.pool_w = nn.AdaptiveAvgPool2d((1, None)) # Y平均池化层 w=1
        self.gn = nn.GroupNorm(channels // self.groups, channels // self.groups) # 分组操作
        self.conv1x1 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=1, stride=1, padding=0) # 1×1卷积分支 
        self.conv3x3 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=3, stride=1, padding=1) # 3×3卷积分支
 
    def forward(self, x):
        b, c, h, w = x.size()
        group_x = x.reshape(b * self.groups, -1, h, w)  # b*g,c//g,h,w
        x_h = self.pool_h(group_x) # 得到平均池化之后的h
        x_w = self.pool_w(group_x).permute(0, 1, 3, 2) # 得到平均池化之后的w
        hw = self.conv1x1(torch.cat([x_h, x_w], dim=2)) # 先拼接，然后送入1×1卷积
        x_h, x_w = torch.split(hw, [h, w], dim=2)
        x1 = self.gn(group_x * x_h.sigmoid() * x_w.permute(0, 1, 3, 2).sigmoid())
        x2 = self.conv3x3(group_x) # 3×3卷积分支
        x11 = self.softmax(self.agp(x1).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
        x12 = x2.reshape(b * self.groups, c // self.groups, -1)  # b*g, c//g, hw
        x21 = self.softmax(self.agp(x2).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
        x22 = x1.reshape(b * self.groups, c // self.groups, -1)  # b*g, c//g, hw
        weights = (torch.matmul(x11, x12) + torch.matmul(x21, x22)).reshape(b * self.groups, 1, h, w)
        return (group_x * weights.sigmoid()).reshape(b, c, h, w)

插入效果：

在这里插入图片描述

第二步：在yolo.py中的parse_model函数加入类名

将EMA类名添加到注册表中，效果如下：

在这里插入图片描述

第三步：制作模型配置文件

1、复制models/yolov5s.yaml文件，并重命名

在这里插入图片描述
2、将以下代码复制到新创建的yaml文件

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
 
# Parameters
nc: 12  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32
 
# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]
 
# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13
 
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)
   [-1, 1, EMA, [256]],  # 加入到小目标层后
 
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)
   [-1, 1, EMA, [512]],  # 加入到中目标层后
 
   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)
   [-1, 1, EMA, [1024]],  # 加入到大目标层后
 
   [[18, 22, 26], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

第四步：验证新加入的Neck网络

1、修改yolo.py中以下两个地方

（1）DetectionModel函数下的cfg

在这里插入图片描述
（2）parser = argparse.ArgumentParser()下的cfg

在这里插入图片描述
2、运行yolo.py

(1)yolov5s_EMA.yaml

在这里插入图片描述

好了，到这一步在Neck端添加EMA基本完成，接下就可以开始训练~

三、C3中添加EMA

第一步：在common.py中添加EMA模块

代码如下：

#EMA
class EMA(nn.Module):
    def __init__(self, channels, factor=8):
        super(EMA, self).__init__()
        self.groups = factor # 分组率
        assert channels // self.groups > 0
        self.softmax = nn.Softmax(-1) # Softmax
        self.agp = nn.AdaptiveAvgPool2d((1, 1)) # 平均池化层
        self.pool_h = nn.AdaptiveAvgPool2d((None, 1)) # x平均池化层 h=1
        self.pool_w = nn.AdaptiveAvgPool2d((1, None)) # y平均池化层 w=1
        self.gn = nn.GroupNorm(channels // self.groups, channels // self.groups) # 分组操作
        self.conv1x1 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=1, stride=1, padding=0) # 1×1卷积分支
        self.conv3x3 = nn.Conv2d(channels // self.groups, channels // self.groups, kernel_size=3, stride=1, padding=1) # 3×3卷积分支
 
    def forward(self, x):
        b, c, h, w = x.size()
        group_x = x.reshape(b * self.groups, -1, h, w)  # b*g,c//g,h,w
        x_h = self.pool_h(group_x)
        x_w = self.pool_w(group_x).permute(0, 1, 3, 2)
        hw = self.conv1x1(torch.cat([x_h, x_w], dim=2))
        x_h, x_w = torch.split(hw, [h, w], dim=2)
        x1 = self.gn(group_x * x_h.sigmoid() * x_w.permute(0, 1, 3, 2).sigmoid())
        x2 = self.conv3x3(group_x)
        x11 = self.softmax(self.agp(x1).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
        x12 = x2.reshape(b * self.groups, c // self.groups, -1)  # b*g, c//g, hw
        x21 = self.softmax(self.agp(x2).reshape(b * self.groups, -1, 1).permute(0, 2, 1))
        x22 = x1.reshape(b * self.groups, c // self.groups, -1)  # b*g, c//g, hw
        weights = (torch.matmul(x11, x12) + torch.matmul(x21, x22)).reshape(b * self.groups, 1, h, w)
        return (group_x * weights.sigmoid()).reshape(b, c, h, w)
 
class C3_EMA3(nn.Module):
    # CSP Bottleneck with 3 convolutions
    def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, number, shortcut, groups, expansion
        super().__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c1, c_, 1, 1)
        self.cv3 = Conv(2 * c_, c2, 1)  # optional act=FReLU(c2)
        self.m = nn.Sequential(*(Bottleneck(c_, c_, shortcut, g, e=1.0) for _ in range(n)))
        self.m1 = nn.ModuleList([EMA(2 * c_)])  # 添加在最后一个卷积之前
 
    def forward(self, x):
        return self.cv3(self.m1[0](torch.cat((self.m(self.cv1(x)), self.cv2(x)), 1)))
 
 
class C3_EMA2(nn.Module):
    # CSP Bottleneck with 3 convolutions
    def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, number, shortcut, groups, expansion
        super().__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c1, c_, 1, 1)
        self.cv3 = Conv(2 * c_, c2, 1)  # optional act=FReLU(c2)
        self.m = nn.Sequential(*(Bottleneck(c_, c_, shortcut, g, e=1.0) for _ in range(n)))
        self.m1 = nn.ModuleList([EMA(c1)])  # 添加在最后一个卷积之前
 
    def forward(self, x):
        return self.cv3(torch.cat((self.m(self.cv1(x)), self.cv2(self.m1[0](x))), 1))
 
 
class C3_EMA1(nn.Module):
    # CSP Bottleneck with 3 convolutions
    def __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, number, shortcut, groups, expansion
        super().__init__()
        c_ = int(c2 * e)  # hidden channels
        self.cv1 = Conv(c1, c_, 1, 1)
        self.cv2 = Conv(c1, c_, 1, 1)
        self.cv3 = Conv(2 * c_, c2, 1)  # optional act=FReLU(c2)
        self.m = nn.Sequential(*(Bottleneck(c_, c_, shortcut, g, e=1.0) for _ in range(n)))
        self.m1 = nn.ModuleList([EMA(c_)])  # 添加在最后一个卷积之前
 
    def forward(self, x):
        return self.cv3(torch.cat((self.m(self.m1[0](self.cv1(x))), self.cv2(x)), 1))

效果如下：

在这里插入图片描述

第二步：在yolo.py中的parse_model函数加入类名

将以下类名添加到注册表中

EMA, C3_EMA1, C3_EMA2, C3_EMA3

效果如下：
在这里插入图片描述

第三步：制作模型配置文件

将以下代码复制到yaml文件中

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
 
# Parameters
nc: 12  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32
 
# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3_EMA1, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]
 
# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13
 
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)
 
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)
 
   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)
 
   [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

第四步：验证新加入的Neck网络

1、运行yolo.py

在这里插入图片描述
接下来也是对这个模型进行训练，需要注意的是这是在主干网络部分改进~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/614735.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

python实现pip一键切换国内镜像源脚本分享

python实现pip一键切换国内镜像源脚本分享

本文主要分享一个自己写的pip一键切换国内镜像源python脚本 import subprocess# pip 国内镜像源加速 source_urls [{"name": "默认镜像源", "url": ""},{"name": "清华大学镜像源(推荐使用)", "url": …
阅读更多...
示例十、红外遥控器

示例十、红外遥控器

通过以下几个示例来具体展开学习,了解红外遥控器原理及特性，学习红外遥控器的应用（干货版）： 示例十、红外遥控器 ino文件源码： //Arduino C demo #include "IRremote.h"IRrecv irrecv(4); decode_results …
阅读更多...
自主实现Telnet流量抓取

自主实现Telnet流量抓取

自主实现Telnet流量抓取 根据测试需求，需要抓取Telnet流量包，使用wireshark Python（socket、telnetlib库）实现 实现代码 主要此处有坑， 根据协议规则，wireshark 默认端口为23 的是Telnet协议&#xff0…
阅读更多...
递归，搜索，和回溯算法

递归，搜索，和回溯算法

目录 一、什么是递归： 二、为什么要用到递归 三、如何看待递归这个过程 四、如何写好一个递归 大家也看到了，我们这个算法篇章的开头就比较长，这主要是因为他们三者关系紧密。 一、什么是递归： 我们在学习C语言和数据结构二…
阅读更多...
java--io流（二）

java--io流（二）

一、打印流（PrintStream[字节]、PrintWriter[字符]） （基本上可以代替前面所学的字节、字符输出流），二者关于打印数据功能相同（都方便且高效），但是关于数据写出不同，前者…
阅读更多...
【算法】并查集

【算法】并查集

并查集是一种树形的数据结构，通常可以用于高效的合并多个集合和查询两个数是否属于同一个集合的情况。 其原理在于，把每个集合变成一棵树，树根的值就是整个集合的编号，通过查找两个数所在树根是否相同即可判断是否在同一个集合&a…
阅读更多...
IDEA 常见设置问题

IDEA 常见设置问题

OutOfMemoryError IDEA 第一次运行项目时，会报错误 - java.lang.OutOfMemoryError: Java heap space / insufficient memory，解决办法是： 将图示部分由默认的 700 改为 2048。 import * 工程lint检查时不允许使用import *，IDE…
阅读更多...
容器监控与日志管理

容器监控与日志管理

前言：本博客仅作记录学习使用，部分图片出自网络，如有侵犯您的权益，请联系删除 一、Docker监控工具 二、容器日志工具docker logs 三、第三方日志工具 四、容器日志驱动 五、示例 5.1、查看容器中运行的进程的信息 5.2、查看…
阅读更多...
小红书·电商运营课：小红书开店流程，小红书电商如何运营（18节视频课）

小红书·电商运营课：小红书开店流程，小红书电商如何运营（18节视频课）

课程目录 第1节课:学习流程以及后续实操流程注意事项 第2节课:小红书店铺类型解析以及开店细节 第3节课:小红书电商运营两种玩法之多品店铺解析 第4节课:小红书电商运营两种玩法之单品店铺解析 第5节课:选品课(多品类类目推荐) 第6节课:选品课(多品类类目推荐) 第7节课:…
阅读更多...
中东电商Noon测评Hepsiburada贺百狮，Souq，Temu，Nice One，MEIG如何自己养号补单？

中东电商Noon测评Hepsiburada贺百狮，Souq，Temu，Nice One，MEIG如何自己养号补单？

养买家号进行中东跨境电商测评，是一个需要细心和技术的过程，特别是在不同的电商平台上Noon（Namshi）、Hepsiburada（贺百狮）、Souq（亚马逊）、Nice One、MEIG、Wadi、Temu。需要搭建完整…
阅读更多...
严肃处理！光伏巨头被罚2.3亿 | 百能云芯

严肃处理！光伏巨头被罚2.3亿 | 百能云芯

5月7日，江苏阳光股份有限公司（600220 SH，以下简称“ST阳光”）公告称，其控股股东江苏阳光集团有限公司（以下简称“阳光集团”） 近日收到中国证监会《行政处罚事先告知书》，阳光集团涉…
阅读更多...
BUU-[极客大挑战 2019]Http

BUU-[极客大挑战 2019]Http

考察点 信息收集 http构造请求数据包 题目 解题步骤 参考文章：https://zhuanlan.zhihu.com/p/367051798 查看源代码 发现有一个a标签，但是οnclick"return false"就是点击后不会去跳转到Secret.php的页面 所以我就自己拼接url http://no…
阅读更多...
什么是IP跳变？

什么是IP跳变？

IP 跳跃（也称为 IP 跳动）的概念已引起使用代理访问网站的用户的极大关注。但 IP 跳跃到底是什么？为什么它对于各种在线活动至关重要？ 在本文中，我们将深入探讨 IP 跳跃的世界，探索其实际应用、用例、潜在问…
阅读更多...
《中阿科技论坛（中英文）》是什么级别的期刊？是正规期刊吗？

《中阿科技论坛（中英文）》是什么级别的期刊？是正规期刊吗？

问题解答 问：《中阿科技论坛（中英文）》是核心期刊吗？ 答：不是，但是正规期刊 问：《中阿科技论坛（中英文）》是什么级别期刊？ 答：省级 主管单位…
阅读更多...
嵌入式学习70-复习（wireshark使用和http协议）

嵌入式学习70-复习（wireshark使用和http协议）

--------------------------------------------------------------------------------------------------------------------------------- wireshark 1.sudo wireshark 2.选择 any ， 3.搜索 http/tcp 54 为 发送的数据包 58 回复的数据包 请求报文 请求报文…
阅读更多...
视频资源汇聚平台常见的几种接入方式

视频资源汇聚平台常见的几种接入方式

视频资源汇聚平台 视频汇聚平台可以实现海量资源的接入、汇聚、存储、处理、分析、运维等，平台具备轻量化接入能力，可支持多协议方式接入，包括主流标准协议GB28181、RTSP、ONVIF、RTMP、FLV、WEBSOCKET等，以及厂家私有协议与SDK接…
阅读更多...
示例九、红外接收模块

示例九、红外接收模块

通过以下几个示例来具体展开学习,了解红外接收模块原理及特性，学习红外接收模块的应用（干货版）： 示例九、红外接收模块 ino文件源码： //Arduino C demoIRrecv irrecv(4); decode_results results; unsigned long key…
阅读更多...
459.重复的子字符串

459.重复的子字符串

给定一个非空的字符串，判断它是否可以由它的一个子串重复多次构成。给定的字符串只含有小写英文字母，并且长度不超过10000。 示例 1: 输入: "abab"输出: True解释: 可由子字符串 "ab" 重复两次构成。 示例 2: 输入: "aba&q…
阅读更多...
Sql Server 2016数据库定时备份

Sql Server 2016数据库定时备份

一、 配置备份计划任务 选中“维护计划“--右键--“维护计划向导” 完成
阅读更多...
Java --- 集合（1）--- 带你了解Collection接口以及三种遍历方式

Java --- 集合（1）--- 带你了解Collection接口以及三种遍历方式

引言：本期博客摘选黑马程序员与Java从入门到精通，如果有不准确的地方还请指出，另外也感谢各位大佬点击进来观看。 目录 一.什么是集合？ 二.单列集合的体系结构： 三.Collection接口的使用： 四.Collection…
阅读更多...
最新文章

Copyright @ 2022~2023