YOLOv7保姆级教程(个人踩坑无数)----训练自己的数据集

目录

一、前言:

二、YOLOv7代码下载

三、环境配置

四、测试结果

 五、制作自己的数据集

六、训练自己的数据集


一、前言:

上一篇已经详细讲解了如何安装深度学习所需要的环境,这一篇则详细讲解如何配置YOLOv7,在本地电脑或者服务器都可,然后利用自己的数据集进行训练、推理、检测等。

二、YOLOv7代码下载

YOLOv7是原YOLOv4团队打造,在精度与速度之间取得较好的平衡,并且是现在较为优秀的目标检测模型

论文地址:https://arxiv.org/abs/2207.02696

论文代码下载地址:mirrors / WongKinYiu / yolov7 · GitCode

 这块直接下载zip安装包打开就可以了。

三、环境配置

如果是windows系统的话,打开Anaconda的终端。如果是远程服务器的话,直接创建一个就可以了。剩下的windows和服务器都是一个操作了。

如下:输入 conda create -n yolov7(代表环境名称)  python=3.8 (使用Python的版本),然后创建就可以了

 环境安装完成后,conda  activate yolov7进入刚才创建的环境(这块我设置的为yolov7_1,只是一个名称,无伤大雅)

然后cd切换至刚才下载解压后的yolov7-main文件夹中

接下来安装requirements.txt文件就可以了,后面加这个清华的镜像源会快点。

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 

 

 这块,我个人的torch与trochvison是直接指定的,你们按照官方来的就可以。(这块库里也写了torch版本不能等于1.12.0,torchvision不能等于0.13.0,所以一定要注意。)

接下来有一个很重要的点一定要强调!!!

(1)numpy库如果安装最新的1.24.1,会发生module numpy has no attribute int 错误,这个错误我找了很久, 这个是因为numpy版本的原因,1.24以上的版本没有int了,改为inf了,换成1.23的版本就好了,或者把报错出的int改成inf就可以了,所以requirements.txt中的numpy库建议直接替换成numpy==1.23.0,这个就没有问题了。

等安装输入pip list 可以查看一下安装的对不对

这块其实就能看到,其实torch和torchvision都是cpu版本的,而不是gpu版本的, 需要在这个网站上找寻适合自己cuda版本的torch口令然后下载

pytorch下载地址:Previous PyTorch Versions | PyTorch

 

例如我的是11.3的cuda版本复制这条指令

pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 torchaudio==0.11.0 --extra-index-url https://download.pytorch.org/whl/cu113

 

 等安装完毕后 就可以看到后面多了+cu113,gpu的训练环境就基本配置结束了。

四、测试结果

此时打开detect.py,--wgeights中的default需要修改为下载的权重,具体地址在YOLOv7源码下载页面的下面

 

detect后在runs中找检测后的图,如果出现检测框就说明模型基本布置完成 。

这块说一下第二个重要的点

(2)如果你的项目场景如下:

操作系统为win10或者win11

GPU:RTX1650、1660、1660Ti,会发生在cpu的torch环境中跑出检测框来,但是gpu中无法识别检测框

像上图所示,博主本人电脑是1660Ti的,个人猜测原因这是由于 RTX1660Ti没有达到CUDnn_Half

使用要求,yolov7的话就在主函数中添加:

torch.backends.cudnn.enabled = False

 五、制作自己的数据集

数据集制作这块要仔细,毕竟需要看模型训练出来的好坏,进行改进。

文件夹设置如下

 Annotations为数据集的xml文件,ImageStes中再创建一个Main文件夹,JPEGImages为数据集的图片,接下来需要将xml文件划分,再转为txt文件,因为yolo使用的是txt格式的,

 创建一个split.py文件,将下面代码粘贴进去,这块只写了训练集和验证集,并没有测试集,需要可以再自己更改重写

import os
import random

xmlfilepath = r'../VOCData/VOCTrainVal/Annotations/'  # xml文件的路径
saveBasePath = r'../VOCData/VOCTrainVal/ImageSets/'  # 生成的txt文件的保存路径

trainval_percent = 0.9 # 训练验证集占整个数据集的比重(划分训练集和测试验证集)
train_percent = 0.9  # 训练集占整个训练验证集的比重(划分训练集和验证集)
total_xml = os.listdir(xmlfilepath)
num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)

print("train and val size", tv)
print("traub suze", tr)
ftrainval = open(os.path.join(saveBasePath, 'Main/trainval.txt'), 'w')
ftest = open(os.path.join(saveBasePath, 'Main/test.txt'), 'w')
ftrain = open(os.path.join(saveBasePath, 'Main/train.txt'), 'w')
fval = open(os.path.join(saveBasePath, 'Main/val.txt'), 'w')

for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftrain.write(name)
        else:
            fval.write(name)
    else:
        ftest.write(name)

ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

可以看到输出结果,将数据集划分后,生成四个txt文件

然后再将xml文件转化为txt文件

这块创建一个voc_label.py文件

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
import  shutil

sets=[('TrainVal', 'train'), ('TrainVal', 'val'), ('Test', 'test')]

classes =["mask_weared_incorrect","with_mask","without_mask"]

def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

def convert_annotation(year, image_set, image_id):
    in_file = open('VOC%s/Annotations/%s.xml'%(year, image_id))
    out_file = open('VOC%s/labels/%s_%s/%s.txt'%(year, year, image_set, image_id), 'w',encoding='utf-8')
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

def copy_images(year,image_set, image_id):
    in_file = 'VOC%s/JPEGImages/%s.jpg'%(year, image_id)
    out_flie = 'VOC%s/images/%s_%s/%s.jpg'%(year, year, image_set, image_id)
    shutil.copy(in_file, out_flie)

wd = getcwd()

for year, image_set in sets:
    if not os.path.exists('VOC%s/labels/%s_%s'%(year,year, image_set)):
        os.makedirs('VOC%s/labels/%s_%s'%(year,year, image_set))
    if not os.path.exists('VOC%s/images/%s_%s'%(year,year, image_set)):
        os.makedirs('VOC%s/images/%s_%s'%(year,year, image_set))
    image_ids = open('VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip().split()
    list_file = open('VOC%s/%s_%s.txt'%(year, year, image_set), 'w')
    for image_id in image_ids:
        list_file.write('%s/VOC%s/images/%s_%s/%s.jpg\n'%(wd, year, year, image_set, image_id))
        convert_annotation(year, image_set, image_id)
        copy_images(year, image_set, image_id)

    list_file.close()



 转换后会从三个文件夹变为五个文件夹,然后还有训练与验证的txt文件。

 下一步创建自己数据集的yaml文件,这块我的文件命名为myvoc.yaml

# 上面那三个txt文件的位置
train: ./VOCData/VOCTrainVal/TrainVal_train.txt
val: ./VOCData/VOCTrainVal/TrainVal_val.txt
test: ./VOCData/VOCTest/Test_test.txt
# number of classes
nc: 3  # 修改为自己的类别数量
# class names
names: ["第一个标签", "第二个标签","第三个标签"]   # 自己来的类别名称  0 ,1 , 2  

标签有几类,那么nc类别就改为几个,进行到这,基本工作已经做齐,接下来就是训练。

六、训练自己的数据集

 --weights代表权重,可以使用默认权重,也可以不用预训练权重,也可以使用官方提供的训练权重yolov7_training.pt

--data代表数据集,这块就写入咱们刚才制作的数据集的位置就可以了,可以使用相对路径,也可以使用绝对路径

--batch-size代表大小,这个根据个人电脑情况调整,一般为2 - 16不等,均为偶数

--resume继续训练,如果因为断电或者其他不可抗力因素导致训练终止,将此处的default改为True,便可以接着上一次的训练。

接下来开始训练就可以了,如果是windows系统直接训练,若为服务器的话

 输入下列指令

python train.py --weights yolov7.pt --cfg ./cfg/training/yolov7.yaml
--data  VOCData/myvoc.yaml  --device 0 --batch-size 2 --epoch 300

然后 就开始训练了,训练结果保存在runs/train/exp下,训练结束后就可以看到一系列数据了。

如果复现或者训练过程中遇到什么问题,可以私信博主,看到会及时回的,写作不易,烦请点个赞,一起学习进步。

2-16日更新

有很多同学私信表示会有这个UnicodeDecodeError: 'gbk' codec can't decode byte 0xae in position 34: illegal multibyte sequence的解码错误。

        解决该问题第一步先检查xml文件是否含有中文路径,如果xml文件有中文路径,就会出现这种问题。

        第二步,如果你是在windows平台训练,检查过后仍然存在这种问题,建议舍弃掉xml数据集,直接使用txt文件进行划分,因为yolo是通过xml转换为 txt文件进行训练,有帮同学用txt文件在windows上调试成功的。如果你只有xml文件,建议在linux环境下进行训练,v7的小问题比较多,个人用xml文件在Ubuntu成功运行,但是windows也会报错,所以windows平台建议txt格式的数据集。

3月31日更新

        鉴于很多同学私信或者评论,对这篇文章再更新一下,由于前段时间比较忙,所以更新一下txt版本的。

        以下情况可以选择txt版本运行

        1、如果你是windows版本,xml文件转换txt文件训练后经常报错,建议直接使用这个版本

        2、如果你的数据集只有图片和txt版本的话,就直接重新制作数据集,直接制作一个txt版本的数据集想,现在开始教程。

        

        首先,在yolov7-main文件夹下面再次创建一个文件夹,起名datasets,其次在datasets下面创建images和labels文件夹,其中images存放图片,labels存放txt格式的数据集

        data.yaml文件就是train.py文件中数据集来源,设置如下

 

 其中将数据集分为train 训练集 、val验证集、test测试集,其中nc为类别个数,对应names中个数。

准备好基础这些文件夹后,此时在yolov7-main文件夹下,与train.py文件同一层创建split_txt.py文件,为划分数据集做准备。

# 将图片和标注数据按比例切分为 训练集和测试集
# 直接划分txt文件jpg文件
#### 强调!!! 路径中不能出现中文,否则报错找不到文件
import shutil
import random
import os

# 原始路径
image_original_path = r"图片地址/JPEGImages/"
label_original_path = r"标签地址/labels/"

cur_path = os.getcwd()

# 训练集路径
train_image_path = os.path.join(cur_path, "datasets/images/train/")
train_label_path = os.path.join(cur_path, "datasets/labels/train/")
print("----------")
# 验证集路径
val_image_path = os.path.join(cur_path, "datasets/images/val/")
val_label_path = os.path.join(cur_path, "datasets/labels/val/")
print("----------")
# 测试集路径
test_image_path = os.path.join(cur_path, "datasets/images/test/")
test_label_path = os.path.join(cur_path, "datasets/labels/test/")
print("----------")
# 训练集目录
list_train = os.path.join(cur_path, "datasets/train.txt")
list_val = os.path.join(cur_path, "datasets/val.txt")
list_test = os.path.join(cur_path, "datasets/test.txt")
print("----------")
train_percent = 0.8
val_percent = 0.1
test_percent = 0.1
print("----------")

def del_file(path):
    for i in os.listdir(path):
        file_data = path + "\\" + i
        os.remove(file_data)


def mkdir():
    if not os.path.exists(train_image_path):
        os.makedirs(train_image_path)
    else:
        del_file(train_image_path)
    if not os.path.exists(train_label_path):
        os.makedirs(train_label_path)
    else:
        del_file(train_label_path)

    if not os.path.exists(val_image_path):
        os.makedirs(val_image_path)
    else:
        del_file(val_image_path)
    if not os.path.exists(val_label_path):
        os.makedirs(val_label_path)
    else:
        del_file(val_label_path)

    if not os.path.exists(test_image_path):
        os.makedirs(test_image_path)
    else:
        del_file(test_image_path)
    if not os.path.exists(test_label_path):
        os.makedirs(test_label_path)
    else:
        del_file(test_label_path)


def clearfile():
    if os.path.exists(list_train):
        os.remove(list_train)
    if os.path.exists(list_val):
        os.remove(list_val)
    if os.path.exists(list_test):
        os.remove(list_test)


def main():
    mkdir()
    clearfile()

    file_train = open(list_train, 'w')
    file_val = open(list_val, 'w')
    file_test = open(list_test, 'w')

    total_txt = os.listdir(label_original_path)
    num_txt = len(total_txt)
    list_all_txt = range(num_txt)

    num_train = int(num_txt * train_percent)
    num_val = int(num_txt * val_percent)
    num_test = num_txt - num_train - num_val

    train = random.sample(list_all_txt, num_train)
    # train从list_all_txt取出num_train个元素
    # 所以list_all_txt列表只剩下了这些元素
    val_test = [i for i in list_all_txt if not i in train]
    # 再从val_test取出num_val个元素,val_test剩下的元素就是test
    val = random.sample(val_test, num_val)

    print("训练集数目:{}, 验证集数目:{}, 测试集数目:{}".format(len(train), len(val), len(val_test) - len(val)))
    for i in list_all_txt:
        name = total_txt[i][:-4]

        srcImage = image_original_path + name + '.jpg'
        srcLabel = label_original_path + name + ".txt"

        if i in train:
            dst_train_Image = train_image_path + name + '.jpg'
            dst_train_Label = train_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_train_Image)
            shutil.copyfile(srcLabel, dst_train_Label)
            file_train.write(dst_train_Image + '\n')
        elif i in val:
            dst_val_Image = val_image_path + name + '.jpg'
            dst_val_Label = val_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_val_Image)
            shutil.copyfile(srcLabel, dst_val_Label)
            file_val.write(dst_val_Image + '\n')
        else:
            dst_test_Image = test_image_path + name + '.jpg'
            dst_test_Label = test_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_test_Image)
            shutil.copyfile(srcLabel, dst_test_Label)
            file_test.write(dst_test_Image + '\n')

    file_train.close()
    file_val.close()
    file_test.close()


if __name__ == "__main__":
    main()

其中有最原始图片地址与标签地址,将原始数据集划分为8:1:1,点击运行后,就会出现训练集数目,测试集数目,验证集数目,结果如图所示:

此时原来的datasets文件夹会多出几个txt文件

 这时候,txt版本的数据集制作完成,在train.py文件中,将data那一栏的数据集来源更换就ok了

 更换为datatsets下之前创建的data.yaml文件 之后点击运行就可以训练了。

 如果复现或者训练过程中遇到什么问题,可以私信博主,看到会及时回的,写作不易,烦请点个赞,点个关注一起学习进步。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/236078.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

springboot整合xxl-job,通过代码进行调度中心注册开启任务等

背景:由于工作需要,当用户在登录时自动触发定时任务。而不需要我们手动到调度中心管理页面去创建任务。 工程介绍:分为两个项目,第一个是调度中心的项目(xxl-job-admin)。第二个是我们自己的项目&#xff0…

基于ssm实验室开放管理系统论文

摘 要 现代经济快节奏发展以及不断完善升级的信息化技术,让传统数据信息的管理升级为软件存储,归纳,集中处理数据信息的管理方式。本实验室开放管理系统就是在这样的大环境下诞生,其可以帮助管理者在短时间内处理完毕庞大的数据信…

为什么推荐将静态资源放到CDN上?

一、什么是静态资源 说到静态资源,我们还要知道什么是动态资源 静态资源 静态资源是指在服务器上存储的不经常改变的文件,如图片、CSS 文件、JavaScript 文件、字体文件等。与之相对的是动态资源,动态资源是根据用户请求和服务器端处理生成的…

【后端学前端】第二天 css动画 动感菜单(css变量、过渡动画、过渡延迟、js动态切换菜单)

目录 1、学习信息 2、源码 3、变量 1.1 定义变量 1.2 使用变量 1.3 calc() 函数 4、定位absolute和fixed 5、transform 和 transition,动画 5.1 变形transform 5.2 transition 5.3 动画animation 6、todo 1、学习信息 视频地址:css动画 动感菜…

.9.png的创建

1、创建.9.png 选中图片,右击,选择Create 9-Patch file,点击确定会生成一个xxx.9.png的图片 2、绘制拉伸区域 在图片的最外边界绘制拉伸区域,按住鼠标左键不放,绘制完成后保存就可以使用了。绘制结果示意如下&…

【AI绘画】万字长文——(超详细)ControlNet的详细介绍使用Stable Diffusion的艺术二维码完全生成攻略

目录 前言一、名词解释1-1、Stable Diffusion介绍1-2、ControlNet介绍1-2-1、ControlNet介绍&工作原理1-2-2、ControlNet控制方法介绍 1-3、案例分析1-3-1、室内装修设计1-3-2、品牌创意海报 1-4、stable-diffusion-webui 的参数解释 二、生成方法2-1、图像到图像2-1-1、二…

nodejs微信小程序+python+PHP健身服务应用APP-计算机毕业设计推荐 android

人类的进步带动信息化的发展,使人们生活节奏越来越快,所以人们越来越重视信息的时效性。以往的管理方式已经满足不了人们对获得信息的方式、方便快捷的需求。即健身服务应用APP慢慢的被人们关注。首先,网上获取信息十分的实时、便捷&#xff…

工业级路由器在货运物流仓储管理中的应用

工业级路由器在货运物流仓储管理中扮演着重要的角色,为整个物流系统提供了稳定可靠的网络连接和数据传输支持。下面将从以下几个方面介绍工业级路由器在货运物流仓储管理中的应用。 实时监控和追踪:工业级路由器通过与各种传感器、监控设备和物联网设备的…

高仿互站网站源码 后台手机端两套模板 电脑端二十套模版

源码简介 高仿互站网 后台手机端两套模板 电脑端二十套模版,简单介绍几个功能, 支持用户注册开店 开店申请,支持用户发布自己商品 支持卡密形式或实物形式, 支持用户自己发布求助 任务大厅功能,源码完整

解决火狐浏览器拖拽事件打开新页面的问题

产生原因及解决方案 我们在进行拖拽事件的编写时会发现,在火狐浏览器上会发生打开新窗口的问题,这是火狐浏览器的一个特性。 这是因为在 Firefox 中 ondrop 事件会触发 Firefox 自带的拖拽搜索功能,在 ondrop 事件触发执行时触发的函数中加…

A-23 P离子交换树脂:高效去除无机有机污染物的新选择

在当今水处理行业中,高效、环保的离子交换树脂备受关注。本文将为您介绍一款具有卓越性能的碱性季胺基阴离子交换树脂——Tulsion A-23 P。通过分析其特性和应用,展示其在水处理领域的优势。 一、Tulsion A-23 P离子交换树脂的特性 物理化学稳定性&#…

<习题集><LeetCode><队列><225/232/387/622/641>

目录 225. 用队列实现栈 232. 用栈实现队列 387. 字符串中的第一个唯一字符 622. 设计循环队列 641. 设计循环双端队列 225. 用队列实现栈 https://leetcode.cn/problems/implement-stack-using-queues/ class MyStack{private Queue<Integer> queue1;private Queu…

SQL命令---修改字段的数据类型

介绍 使用sql语句修改字段的数据类型。 命令 alter table 表明 modify 字段名 数据类型;例子 有一张a表&#xff0c;表里有一个id字段&#xff0c;长度为11。使用命令将长度修改为12 下面使用命令进行修改&#xff1a; alter table a modify id int(12) NOT NULL;下面使修…

基于lambda简化设计模式

前言 虽说使用设计模式可以让复杂的业务代码变得清晰且易于维护&#xff0c;但是某些情况下&#xff0c;开发可能会遇到我为了简单的业务逻辑去适配设计模式的情况&#xff0c;本文笔者就以四种常见的设计模式为例&#xff0c;演示如何基于lambda来简化设计模式的实现。 策略…

node.js express JWT token生成与校验

目录 JWT header&#xff08;标头&#xff09; payload&#xff08;有效负载&#xff09; signature&#xff08;签名&#xff09; 访问令牌&#xff08;token&#xff09; express jwt生成、验证 生成jwt 验证jwt JWT JWT 是轻量级的数据交换格式&#xff0c;相对于传…

银行数据分析入门篇:信用卡全生命周期分析,到底应该怎么做?

最近有朋友向我咨询银行信贷业务的数据分析&#xff0c;就看了很多案例&#xff0c;刚好看到一个信用卡全生命周期分析的案例&#xff0c;做得很详细又通俗易懂&#xff0c;基本上可以直接复制套用&#xff0c;所以特地分享给大家。 本文主要分享作者整个分析作品的思路&#x…

力扣17. 电话号码的字母组合(java 回溯法)

Problem: 17. 电话号码的字母组合 文章目录 题目描述思路解题方法复杂度Code 题目描述 思路 题目给定一串数字&#xff0c;要求我们找出所有可能的字母组合&#xff0c;即我们可以穷举出所有可能的结果&#xff0c;而涉及到穷举我们自然可以想到利用回溯来解决问题&#xff0c…

我的NPI项目之Android 安全系列 -- Android Strongbox 初识

从Android9(Pie)开始,Google强烈建议支持Strongbox. 具体描述如下: 一直到目前的Android14. 对应的内容也一并贴出来: 说人话就是Android开始通过独立于主SoC的单元进行密钥存储了。 通常&#xff0c;这样的单元就是我们通常称作的Secure Element&#xff08;SE&#xff09;&am…

5分钟搞懂K8S Pod Terminating/Unknown故障排查

Kubernetes集群中的Pod有时候会进入Terminating或Unknown状态&#xff0c;本文列举了6种可能的原因&#xff0c;帮助我们排查这种现象。原文: K8s Troubleshooting — Pod in Terminating or Unknown Status 有时我们会看到K8S集群中的pod进入"Terminating"或"U…