YOLOv5改进 | 主干网络 | 用SimRepCSP作为主干网络提取特征【附完整代码 + 降本增效】

💡💡💡本专栏所有程序均经过测试，可成功执行💡💡💡

SimRepCSP 类似于 YOLOv7的主干网络，由卷积模块和重参数化卷积（RepConv）模块组合而成，以 Cross Stage Partial（CSP）网络作为模块之间的连接。通过将 SimRepCSP 作为替代主干纳入 YOLOv5，本文介绍了一种简单而有效的替代模块SimRepCSP 。在本文中，给大家带来的教程是在原来的主干网络修改为SimRepCSP 。文章在介绍主要的原理后，将手把手教学如何进行模块的代码添加和修改，并将修改后的完整代码放在文章的最后，方便大家一键运行，小白也可轻松上手实践。以帮助您更好地学习深度学习目标检测YOLO系列的挑战。

专栏地址： YOLOv5改进+入门——持续更新各种有效涨点方法 点击即可跳转

目录

1. 原理

2. SimRepCSP的代码实现

2.1 将SimRepCSP添加到YOLOv5中

SimRepCSP 主要流程：

2.2 新增yaml文件

2.3 注册模块

 2.4 执行程序

3. 完整代码分享

4. GFLOPs

5.总结

1. 原理

 

官方论文：Modified YOLO Model for Small Platform Application using SimRepCSP Module with Case Study——点击即可跳转

SimRepCSP 是一种针对 YOLO 模型的改进背骨模块，其设计旨在提高训练效率和模型性能，同时降低成本。以下是 SimRepCSP 的主要原理及其应用：

SimRepCSP 主要原理

  1. 模块组合：

    • 卷积模块：SimRepCSP 集成了标准的卷积模块。

    • 重新参数化卷积模块（RepConv）：这些是专门设计的卷积层，通过增加模型参数来提高性能，而不会显著增加计算成本。

    • 跨阶段部分网络（CSP）：该网络结构连接不同的模块，增强特征传播和网络学习能力。

  2. 结构和效率：

    • SimRepCSP 通过组合三个卷积模块、一个 RepConv 模块和一个连接到 CSP 网络的级联模块构建而成。

    • 这些模块排列的目的是最大化特征提取和重用，从而在减少参数数量的情况下提升性能。

    • 每个卷积模块都包含批量归一化和 SiLU 激活函数。

  3. 与 YOLO 的集成：

    • SimRepCSP 可以作为替代背骨集成到 YOLOv8 模型中，分别称为 SimRepCSPv1 和 SimRepCSPv2。这种集成旨在提升模型性能指标，相较于原始的 YOLOv8 背骨。

    • SimRepCSP 的架构包括一个焦点层、多层 SimRepCSP 模块和一个 SPPF（快速空间金字塔池化）模块，用于多尺度特征聚合。

  4. 实验结果：

    • 在 GlobalWheat2020 数据集上进行的实验表明，带有 SimRepCSP 模块（SimRepCSPv1 和 SimRepCSPv2）的模型在减少训练和应用成本的同时，实现了更高的性能指标。

    • 主要改进包括减少了 FLOPS（每秒浮点运算次数）、GPU 内存使用量和整体模型重量，同时保持或提高了目标检测的准确性。

  5. 目标和优势：

    • 降低计算成本：通过减少所需操作次数，SimRepCSP 旨在使模型更加高效。

    • 增强参数性能：通过微调和优化参数来提高模型的准确性和有效性。

    • 降低 GPU 内存成本：最小化内存需求以允许更大的批处理大小和更高效的训练。

    • 减少模型重量：创建一个轻量级模型，便于部署而不影响性能。

总结

SimRepCSP 通过优化网络架构、减少计算和内存成本以及增强特征提取和参数调优，显著提高了 YOLO 模型的效率和性能。

2. SimRepCSP的代码实现

2.1 将SimRepCSP添加到YOLOv5中

关键步骤一: 将下面代码粘贴到/projects/yolov5-6.1/models/common.py文件中

*注：代码过长，请查看完整代码 

class RepConv(nn.Module):
    # Represented convolution
    # https://arxiv.org/abs/2101.03697

    def __init__(self, c1, c2, k=3, s=1, p=None, g=1, act=True, deploy=False):
        super(RepConv, self).__init__()

        self.deploy = deploy
        self.groups = g
        self.in_channels = c1
        self.out_channels = c2

        assert k == 3
        assert autopad(k, p) == 1

        padding_11 = autopad(k, p) - k // 2

        self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity()) #

        if deploy:
            self.rbr_reparam = nn.Conv2d(c1, c2, k, s, autopad(k, p), groups=g, bias=True)

        else:
            self.rbr_identity = (nn.BatchNorm2d(num_features=c1) if c2 == c1 and s == 1 else None)

            self.rbr_dense = nn.Sequential(
                nn.Conv2d(c1, c2, k, s, autopad(k, p), groups=g, bias=False),
                nn.BatchNorm2d(num_features=c2),
            )

            self.rbr_1x1 = nn.Sequential(
                nn.Conv2d( c1, c2, 1, s, padding_11, groups=g, bias=False),
                nn.BatchNorm2d(num_features=c2),
            )

    def forward(self, inputs):
        if hasattr(self, "rbr_reparam"):
            return self.act(self.rbr_reparam(inputs))

        if self.rbr_identity is None:
            id_out = 0
        else:
            id_out = self.rbr_identity(inputs)

        return self.act(self.rbr_dense(inputs) + self.rbr_1x1(inputs) + id_out)
    
    def get_equivalent_kernel_bias(self):
        kernel3x3, bias3x3 = self._fuse_bn_tensor(self.rbr_dense)
        kernel1x1, bias1x1 = self._fuse_bn_tensor(self.rbr_1x1)
        kernelid, biasid = self._fuse_bn_tensor(self.rbr_identity)
        return (
            kernel3x3 + self._pad_1x1_to_3x3_tensor(kernel1x1) + kernelid,
            bias3x3 + bias1x1 + biasid,
        )

    def _pad_1x1_to_3x3_tensor(self, kernel1x1):
        if kernel1x1 is None:
            return 0
        else:
            return nn.functional.pad(kernel1x1, [1, 1, 1, 1])

    def _fuse_bn_tensor(self, branch):
        if branch is None:
            return 0, 0
        if isinstance(branch, nn.Sequential):
            kernel = branch[0].weight
            running_mean = branch[1].running_mean
            running_var = branch[1].running_var
            gamma = branch[1].weight
            beta = branch[1].bias
            eps = branch[1].eps
        else:
            assert isinstance(branch, nn.BatchNorm2d)
            if not hasattr(self, "id_tensor"):
                input_dim = self.in_channels // self.groups
                kernel_value = np.zeros(
                    (self.in_channels, input_dim, 3, 3), dtype=np.float32
                )
                for i in range(self.in_channels):
                    kernel_value[i, i % input_dim, 1, 1] = 1

 

SimRepCSP 主要流程：

  1. 输入图片预处理：

    • 图片读取：从存储介质或摄像头读取输入图片。

    • 图片缩放：将图片缩放到模型所需的输入尺寸（例如，YOLOv8 通常使用 640x640 像素的输入大小）。

    • 归一化处理：将图片像素值归一化到 [0, 1] 区间。

  2. 特征提取（通过 SimRepCSP 模块）：

    • 初始卷积和下采样：输入图片首先通过一个初始卷积层和下采样层，这有助于减少图片的空间尺寸并提取基本特征。

    • CSP 模块处理：图片特征进入多个 SimRepCSP 模块，每个模块由标准卷积、RepConv 和 CSP 网络组成。具体流程如下：

      • 标准卷积：标准卷积层提取局部特征。

      • RepConv：重新参数化卷积层在训练期间增强模型的表示能力。

      • CSP 网络：跨阶段部分网络将特征进行跨层传递和整合，进一步丰富特征表示。

  3. 多尺度特征提取：

    • 特征金字塔网络（FPN）：SimRepCSP 结合特征金字塔网络，提取不同尺度的特征以应对不同尺寸的目标物体。

    • 空间金字塔池化（SPPF）：在 SimRepCSPv1 和 SimRepCSPv2 中引入 SPPF 模块，用于多尺度特征的聚合和增强。

  4. 特征融合与预测：

    • 特征融合：将不同尺度的特征融合，生成最终的特征图。

    • 检测头：最终特征图传递给检测头，进行目标的分类和定位预测。检测头包括一系列的卷积层和激活函数，用于输出目标的类别和边界框坐标。

    2.2 新增yaml文件

    关键步骤二：在下/projects/yolov5-6.1/models下新建文件 yolov5_SimRepCSP.yaml并将下面代码复制进去

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license
# Parameters
nc: 80  # number of classes
depth_multiple: 1  # model depth multiple
width_multiple: 1  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32


# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]], #1 1-P2/4
   
   [-1, 1, Conv, [64, 1, 1]], #2

   [-1, 1, RepConv, [64, 3, 1]], #3
   [[-1,-2], 1, Concat, [1]], #4
   [-1, 1, Conv, [128, 1, 1]], #5

   [-1, 1, Conv, [256, 3, 2]],  #6/ 3-P3/8
   
   [-1, 1, Conv, [128, 1, 1]], #7

   [-1, 1, RepConv, [128, 3, 1]], #8
   [[-1,-2], 1, Concat, [1]], #9
   [-1, 1, Conv, [256, 1, 1]],  #10 -P4/16 

   [-1, 1, Conv, [512, 3, 2]], #11
   [-1, 1, Conv, [256, 1, 1]], #12

   [-1, 1, RepConv, [256, 3, 1]], #13
   [[-1,-2], 1, Concat, [1]], #14
   [-1, 1, Conv, [512, 1, 1]], #15

   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32 16

   [-1, 1, Conv, [512, 1, 1]], #17

   [-1, 1, RepConv, [512, 3, 1]], #18
   [[-1,-2], 1, Concat, [1]], #19
   [-1, 1, Conv, [1024, 1, 1]], #20

   [-1, 1, SPPF, [1024, 5]],  # 21
  ]


# YOLOv5 v6.0 head
head:
   [[-1, 1, Conv, [512, 1, 1]], #22
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 11], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 25


   [-1, 1, Conv, [256, 1, 1]], #26
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  #28 cat backbone P3
   [-1, 3, C3, [256, False]],  # 29 (P3/8-small)


   [-1, 1, Conv, [256, 3, 2]],
   [[-1,26], 1, Concat, [1]],  # 31 cat head P4
   [-1, 3, C3, [512, False]],  # 32 (P4/16-medium)


   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 22], 1, Concat, [1]],  #34 cat head P5
   [-1, 3, C3, [1024, False]],  #35 (P5/32-large)


   [[29, 32, 35], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

温馨提示：本文只是对yolov5l基础上添加模块，如果要对yolov5n/l/m/x进行添加则只需要指定对应的depth_multiple 和 width_multiple。

# YOLOv5n
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.25  # layer channel multiple
 
# YOLOv5s
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
 
# YOLOv5l 
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple
 
# YOLOv5m
depth_multiple: 0.67  # model depth multiple
width_multiple: 0.75  # layer channel multiple
 
# YOLOv5x
depth_multiple: 1.33  # model depth multiple
width_multiple: 1.25  # layer channel multiple

2.3 注册模块

关键步骤三：在yolo.py中注册, 大概在260行左右添加 ‘RepConv’

 2.4 执行程序

在train.py中，将cfg的参数路径设置为yolov5_SimRepCSP.yaml的路径

建议大家写绝对路径，确保一定能找到

🚀运行程序，如果出现下面的内容则说明添加成功🚀

3. 完整代码分享

https://pan.baidu.com/s/17lq0bRONXbtMRgAalj77gA?pwd=39uq

 提取码: 39uq  

4. GFLOPs

关于GFLOPs的计算方式可以查看：百面算法工程师 | 卷积基础知识——Convolution

未改进的GFLOPs

改进后的GFLOPs

5.总结

SimRepCSP 是一种针对 YOLO 模型的改进backbone模块，其设计旨在提高训练效率和模型性能，同时降低成本。它通过集成标准卷积模块、重新参数化卷积模块（RepConv）和跨阶段部分网络（CSP）来增强特征传播和网络学习能力。SimRepCSP 的结构包括三个卷积模块、一个 RepConv 模块和一个连接到 CSP 网络的级联模块，这些模块的排列旨在最大化特征提取和重用，从而在减少参数数量的情况下提升性能。每个卷积模块都包含批量归一化和 SiLU 激活函数。SimRepCSP 可以作为替代backbone集成到 YOLOv5 模型中，分别称为 SimRepCSPv1 和 SimRepCSPv2，这种集成旨在提升模型性能指标，相较于原始的backbone。SimRepCSP 的架构包括一个焦点层、多层 SimRepCSP 模块和一个 SPPF（快速空间金字塔池化）模块，用于多尺度特征聚合。带有 SimRepCSP 模块的模型在减少训练和应用成本的同时，实现了更高的性能指标，主要改进包括减少了 FLOPS（每秒浮点运算次数）、GPU 内存使用量和整体模型重量，同时保持或提高了目标检测的准确性。SimRepCSP 的目标和优势在于通过减少所需操作次数降低计算成本，通过微调和优化参数增强参数性能，最小化内存需求以允许更大的批处理大小和更高效的训练，并创建一个轻量级模型，便于部署而不影响性能。总体而言，SimRepCSP 通过优化网络架构、减少计算和内存成本以及增强特征提取和参数调优，显著提高了 YOLO 模型的效率和性能。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/683818.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

搭建Vulnhub靶机网络问题(获取不到IP)

搭建Vulnhub靶机网络问题(获取不到IP)

搭建好靶场后，在攻击机运行arp-scan -l无法发现靶机IP。 这时候去看下靶机网络有没有问题。 重新启动客户机，一直按e进入安全模式（要是直接开机了就先按shift进入grub界面，再按e）找到ro，将ro改为rw signie…
阅读更多...
大坝监测资料分析的新规范与实践

大坝监测资料分析的新规范与实践

在大坝安全管理中，监测资料分析是一个至关重要的环节。为确保大坝的长期稳定性和安全性，新的规范对监测资料分析的内容和方法进行了详细的规定和改进。本文将探讨这些改进的具体内容及其实施方法。 点击输入图片描述（最多30字） 监…
阅读更多...
2024年最新测评，6款好用的在线代码编辑器推荐

2024年最新测评，6款好用的在线代码编辑器推荐

前言 在线IDE对于每一位开发来说都是一种福利，无需下载安装到本地进行安装，安装完成以后还要配置环境，极其繁琐，在线IDE很好的规避了这些琐事，除此之外在线IDE无需占用本地内存以及本地计算计算资源，还能实…
阅读更多...
【python】ValueError: If using all scalar values, you must pass an index

【python】ValueError: If using all scalar values, you must pass an index

成功解决“ValueError: If using all scalar values, you must pass an index”错误的全面指南 在Pandas库中，当你尝试创建一个新的DataFrame或Series时，如果所有值都是标量（scalar，即单个值而非列表、数组或Series）…
阅读更多...
SpringBoot+Vue课程作业管理系统（前后端分离）

SpringBoot+Vue课程作业管理系统（前后端分离）

技术栈 JavaSpringBootMavenMySQLMyBatisVueShiroElement-UI 系统角色 学生教师管理员 系统功能截图
阅读更多...
Go 1.19.4 语法基础-Day 02

Go 1.19.4 语法基础-Day 02

1. 注释 1.1 多行注释 1.1.1 方式一（不推荐使用） package main/* 多行注释test函数的作用参数a类型和作用参数b类型和作用参数c类型和作用 */ func test1(a int, b string, c bool){}1.1.2 方式二（推荐） go的源码库中也是使用这…
阅读更多...
Aigtek高压放大器在纳米材料中的应用研究

Aigtek高压放大器在纳米材料中的应用研究

随着纳米材料科学的迅速发展，纳米材料在各个领域中的应用也逐渐扩展。而高压放大器作为一种重要的电子元件，在纳米材料研究中起着至关重要的作用。下面将介绍高压放大器在纳米材料研究中的应用以及相关的研究进展。 高压放大器是一种能够将输入信号放大到…
阅读更多...
【论文精读】DCRNN-扩散图卷积循环神经网络

【论文精读】DCRNN-扩散图卷积循环神经网络

DCRNN 模型是南加州大学的 Li 等人发表在 I C L R 2018 ICLR 2018 ICLR2018 会议上一个用于交通预测的时空预测模型，论文题目为: 《DIFFUSION CONVOLUTIONAL RECURRENT NEURAL NETWORK: DATA-DRIVEN TRAFFIC FORECASTING》，文章地址为: https://arxiv.o…
阅读更多...
算法导论实战（三）（算法导论习题第十六章）

算法导论实战（三）（算法导论习题第十六章）

🌈 个人主页：十二月的猫-CSDN博客 🔥 系列专栏： 🏀算法启示录 💪🏻 十二月的寒冬阻挡不了春天的脚步，十二点的黑夜遮蔽不住黎明的曙光 前言 算法导论的知识点学习将持续性更新在算…
阅读更多...
ARM32开发--GPIO输入模式

ARM32开发--GPIO输入模式

知不足而奋进 望远山而前行 目录 文章目录 前言 浮空输入 上拉输入 下拉输入 模拟输入 总结 前言 在数字电路设计和嵌入式系统开发中，理解输入信号的处理方式对确保系统稳定性和可靠性至关重要。不同的输入处理方式包括上拉输入、下拉输入、浮空输入和模拟输…
阅读更多...
【C#学习笔记】属性和字段

【C#学习笔记】属性和字段

文章目录 前言属性和字段的区别字段访问修饰符和关键字定义变量类型的定义变量命名变量的赋值 属性 不同的使用情况 前言 最近在工作的过程中常常会觉得自己在程序设计方面的能力还是有欠缺。例如一直对于变量的声明感到不足，在工作中为了图方便总是直接public定义…
阅读更多...
Nvidia Jetson/Orin +FPGA+AI大算力边缘计算盒子：无人机自主飞行软件平台

Nvidia Jetson/Orin +FPGA+AI大算力边缘计算盒子：无人机自主飞行软件平台

案例简介 北京泛化智能科技有限公司（gi）所主导开发的 Generalized Autonomy Aviation System (GAAS) 是为无人机以及城市空中交通 (UAM, Urban Air Mobility) 所设计的开源无人机自主飞行框架。通过 SLAM、路径规划和 Global Optimization Graph 等功能…
阅读更多...
骨传导耳机有哪些是值得入手的？看完这篇推荐就懂了！

骨传导耳机有哪些是值得入手的？看完这篇推荐就懂了！

骨传导耳机在运动圈非常的受欢迎，因为佩戴运动的时候，骨传导耳机能够稳固佩戴，无论是跳跃或者是摇晃身体等，耳机都不会轻易掉落！而很多朋友对于骨传导耳机总是想尝试却又害怕掉坑！于是为了给大家提供更多的…
阅读更多...
分布式事务Seata中XA和AT模式介绍

分布式事务Seata中XA和AT模式介绍

Seata中XA和AT模式介绍 分布式事务介绍分布式解决方案解决分布式事务的思路Seata的架构Seata中的XA模式Seata的XA模型流程XA模式优缺点实现XA模式 Seata中的AT模式Seata中的AT模式流程实现AT模式AT模式优缺点 AT模式与XA模式的区别 分布式事务介绍 分布式事务，就是…
阅读更多...
HCIA-RS基础-VLAN配置

HCIA-RS基础-VLAN配置

目录 前言创建拓扑创建VLAN查看创建的VLAN配置trunk口并放行VLAN配置access接口查看所有vlan基本信息测试网络连通性命令合集 前言 VLAN定义：VLAN是一种将局域网内的设备从逻辑上划分成一个个网段，从而实现虚拟工作组的新兴数据交换技术。VLAN优点&…
阅读更多...
移动硬盘读不出来？5个解决技巧公开！

移动硬盘读不出来？5个解决技巧公开！

“不知道为什么，我的移动硬盘突然就读不出来了，大家有什么方法可以更好的读取移动硬盘吗？希望大家帮帮我！” 在数字化日益盛行的今天，移动硬盘已成为我们存储和携带大量数据的重要工具。然而，当这个“数据仓…
阅读更多...
HashMap第2讲——put方法源码及细节

HashMap第2讲——put方法源码及细节

上篇文章介绍了HashMap在JDK 1.8前后的四大变化，今天就进入到put方法的源码解析。HashMap的设计非常巧妙，细节也很多，今天来看看部分细节，后续的文章会一一介绍。 ps：学习源码的目的不仅仅是为了了解它的运行机制&…
阅读更多...
idea的代码没有提交到仓库怎么撤回到本地？

idea的代码没有提交到仓库怎么撤回到本地？

代码已经提交到变更列表但是还没有push推送到仓库上，可以用这个方法 点击日志-右键要撤回的记录-选择撤销提交 撤销的又回到本地变更 当然你只能撤销自己提交的，别人的你撤销不了
阅读更多...
AI基础设施是AI落地赋能的核心关键

AI基础设施是AI落地赋能的核心关键

AI基础设施内涵与特性 以深度落地赋能为导向，AI供给侧持续推进技术要素全面融合、技术能力自主可控、技术服务普惠低成本，AI供给“基建 化”势在必行，AI基础设施正成为AI的关键供给形态。算法、算力、数据是AI技术应用的三大核心支撑要素&am…
阅读更多...
SpringBoot+Vue在线视频课程网站（前后端分离）

SpringBoot+Vue在线视频课程网站（前后端分离）

技术栈 JavaSpringBootMavenMySQLMyBatisVueShiroElement-UI 角色对应功能 用户教师管理员 系统功能截图
阅读更多...
最新文章

Copyright @ 2022~2023