YOLOV8逐步分解(3)_trainer训练之模型加载

yolov8逐步分解(1)--默认参数&超参配置文件加载

yolov8逐步分解(2)_DetectionTrainer类初始化过程

接上2篇文章,继续讲解yolov8训练过程中的模型加载过程。

使用默认参数完成训练器trainer的初始化后,执行训练函数train()开始YOLOV8的训练。

1. train()方法实现代码如下所示:

    def train(self):
        """Allow device='', device=None on Multi-GPU systems to default to device=0."""
        #判断设置使用设备总数
        if isinstance(self.args.device, int) or self.args.device: # i.e.device=0 or device=[0,1,2,3]
            world_size = torch.cuda.device_count()  #计算当前可用设备数
        elif torch.cuda.is_available():  # i.e. device=None or device=''#判断cuda是否可用
            world_size = 1  # default to device 0
        else:  # i.e. device='cpu' or 'mps'
            world_size = 0

        # Run subprocess if DDP training, else train normally 分布式训练
        #分布式训练
        if world_size > 1 and 'LOCAL_RANK' not in os.environ:
            # Argument checks
            if self.args.rect:
                LOGGER.warning("WARNING ⚠️ 'rect=True' is incompatible with Multi-GPU training, setting rect=False")
                self.args.rect = False
            # Command
            cmd, file = generate_ddp_command(world_size, self)
            try:
                LOGGER.info(f'DDP command: {cmd}')
                subprocess.run(cmd, check=True)
            except Exception as e:
                raise e
            finally:
                ddp_cleanup(self, str(file))
        else:
            self._do_train(world_size)

        上述代码中,主要实现一个功能:判断本次训练使用的机器的个数即world_size的值。world_size 可用于配置分布式训练系统,确保所有设备都能够正确地参与到训练过程中。详细解释请参考博客yolo中RANK、LOACL_RANK以及WORLD_SIZE的介绍-CSDN博客。

        若world_size > 1,则进行分布式训练,本次训练使用的机器为单机单卡,所以world_size = 1,不支持分布式训练。直接进入单机训练函数self._do_train(world_size)。

2. _do_train()函数实现代码(部分)截图如下:

下面将逐步讲解_setup_train()函数的功能.

3.  _setup_train()代码实现如下

  def _setup_train(self, world_size):
        """
        Builds dataloaders and optimizer on correct rank process.  #构建数据加载器和优化器
        """
        # Model
        self.run_callbacks('on_pretrain_routine_start')
        ckpt = self.setup_model()#加载模型
        self.model = self.model.to(self.device)
        self.set_model_attributes()
        
        # Check AMP
        self.amp = torch.tensor(self.args.amp).to(self.device)  # True or False
        if self.amp and RANK in (-1, 0):  # Single-GPU and DDP 
            callbacks_backup = callbacks.default_callbacks.copy()  # backup callbacks as check_amp() resets them,
            self.amp = torch.tensor(check_amp(self.model), device=self.device) 
            callbacks.default_callbacks = callbacks_backup  # restore callbacks,         
        if RANK > -1 and world_size > 1:  
            dist.broadcast(self.amp, src=0)  # broadcast the tensor from rank 0 to all other ranks (returns None)
        self.amp = bool(self.amp)  # as boolean
        self.scaler = amp.GradScaler(enabled=self.amp)         if world_size > 1:
            self.model = DDP(self.model, device_ids=[RANK])
        
        # Check imgsz
        gs = max(int(self.model.stride.max() if hasattr(self.model, 'stride') else 32), 32)  # grid size (max stride)
        self.args.imgsz = check_imgsz(self.args.imgsz, stride=gs, floor=gs, max_dim=1)
        
        # Batch size
        if self.batch_size == -1: #表示批量大小需要自动估计
            if RANK == -1:  # single-GPU only, estimate best batch size
                self.args.batch = self.batch_size = check_train_batch_size(self.model, self.args.imgsz, self.amp)#估计最佳批量大小
            else:
                SyntaxError('batch=-1 to use AutoBatch is only available in Single-GPU training. '
                            'Please pass a valid batch size value for Multi-GPU DDP training, i.e. batch=16')

        # Dataloaders
        batch_size = self.batch_size // max(world_size, 1)
        self.train_loader = self.get_dataloader(self.trainset, batch_size=batch_size, rank=RANK, mode='train')#获取训练集
        if RANK in (-1, 0):
            self.test_loader = self.get_dataloader(self.testset, batch_size=batch_size * 2, rank=-1, mode='val') #获取测试集
            self.validator = self.get_validator() #创建验证器(validator),用于评估模型在验证数据集上的性能。
            metric_keys = self.validator.metrics.keys + self.label_loss_items(prefix='val')
            self.metrics = dict(zip(metric_keys, [0] * len(metric_keys)))  # TODO: init metrics for plot_results()?
            self.ema = ModelEMA(self.model)
            if self.args.plots and not self.args.v5loader: #如果 self.args.plots 为真且 self.args.v5loader 为假
                self.plot_training_labels() #绘制训练标签的图表

        # Optimizer
        self.accumulate = max(round(self.args.nbs / self.batch_size), 1)  # accumulate loss before optimizing
        weight_decay = self.args.weight_decay * self.batch_size * self.accumulate / self.args.nbs  # scale weight_decay
        iterations = math.ceil(len(self.train_loader.dataset) / max(self.batch_size, self.args.nbs)) * self.epochs
        self.optimizer = self.build_optimizer(model=self.model,
                                              name=self.args.optimizer,
                                              lr=self.args.lr0,
                                              momentum=self.args.momentum,
                                              decay=weight_decay,
                                              iterations=iterations)
        # Scheduler
        if self.args.cos_lr:
            self.lf = one_cycle(1, self.args.lrf, self.epochs)  # cosine 1->hyp['lrf']
        else:
            self.lf = lambda x: (1 - x / self.epochs) * (1.0 - self.args.lrf) + self.args.lrf  # linear
        self.scheduler = optim.lr_scheduler.LambdaLR(self.optimizer, lr_lambda=self.lf)
        self.stopper, self.stop = EarlyStopping(patience=self.args.patience), False
        self.resume_training(ckpt) #恢复训练过程。ckpt 是一个检查点文件,用于加载之前保存的模型和训练状态。
        self.scheduler.last_epoch = self.start_epoch - 1  # do not move
        self.run_callbacks('on_pretrain_routine_end') #运行预训练过程结束时的回调函数。

4.1 模型加载配置

# Model
self.run_callbacks('on_pretrain_routine_start')
ckpt = self.setup_model()#加载模型
self.model = self.model.to(self.device)
self.set_model_attributes()

        这段代码是在训练过程中对模型进行加载和设置。

  首先,通过 self.run_callbacks('on_pretrain_routine_start') 调用了一个名为 'on_pretrain_routine_start' 的回调函数。这可能是在训练过程中的某个特定时间点执行的回调。

        然后,通过 self.setup_model() 加载模型,并将返回的模型断点(checkpoint)保存在变量 ckpt 中。

     接下来,通过 self.model = self.model.to(self.device) 将模型移动到指定的设备(self.device)上。

        最后,调用 self.set_model_attributes() 来设置模型的属性。这可能是根据特定需求对模型进行自定义设置的函数。

4.1.1 模型加载函数setup_model()详解

def setup_model(self):
        """
        load/create/download model for any task.
        """
        #判断是否是module模块,如果是直接退出
        if isinstance(self.model, torch.nn.Module):  # if model is loaded beforehand. No setup needed
            return

        model, weights = self.model, None
        ckpt = None
        if str(model).endswith('.pt'): #判断是否是pt格式
            weights, ckpt = attempt_load_one_weight(model) #加载模型
            cfg = ckpt['model'].yaml
        else:
            cfg = model
        self.model = self.get_model(cfg=cfg, weights=weights, verbose=RANK == -1)  # calls Model(cfg, weights)
        return ckpt

        setup_model()用于加载、创建或下载任务的模型。 以下是该方法的逐条详细说明:

        它首先检查 self.model 属性是否已经是 torch.nn.Module 的实例,若是,表明模型已经预先加载。 在这种情况下,该方法只是返回而不进行任何进一步的设置。

        如果模型尚未加载,它将继续检查模型文件的格式。 如果模型文件为.pt格式,则调用attempt_load_one_weight函数加载模型权重和检查点。 加载权重和检查点后,它从检查点中提取模型配置。

        如果模型文件不是 .pt 格式,则假定模型变量直接保存模型配置。

        然后,它使用提取或提供的模型配置 (cfg) 和加载的权重 (weights) 调用 get_model 方法来创建模型的实例。

        最后,它将创建的模型实例分配给 self.model 属性并返回加载的检查点(ckpt)。

4.1.1.1 模型加载函数attempt_load_one_weight()详解

def attempt_load_one_weight(weight, device=None, inplace=True, fuse=False):
    """Loads a single model weights."""
    ckpt, weight = torch_safe_load(weight)  
    args = {**DEFAULT_CFG_DICT, **(ckpt.get('train_args', {}))}  
    model = (ckpt.get('ema') or ckpt['model']).to(device).float()  
    model.args = {k: v for k, v in args.items() if k in DEFAULT_CFG_KEYS}  
    model.pt_path = weight  # attach *.pt file path to model,  值为'yolov8n.pt'
    model.task = guess_model_task(model)  # 'detect'
    if not hasattr(model, 'stride'): #如果没有该属性,则添加一个
        model.stride = torch.tensor([32.])
  
    model = model.fuse().eval() if fuse and hasattr(model, 'fuse') else model.eval()  # model.eval(): 将模型设置为评估模式
    # Module compatibility updates
    for m in model.modules():
        t = type(m)
        if t in (nn.Hardswish, nn.LeakyReLU, nn.ReLU, nn.ReLU6, nn.SiLU, Detect, Segment):
            m.inplace = inplace  
        elif t is nn.Upsample and not hasattr(m, 'recompute_scale_factor'):
            m.recompute_scale_factor = None  # torch 1.11.0 compatibility 
    # Return model and ckpt
    return model, ckpt

        上述代码定义了一个名为 attempt_load_one_weight 的函数,功能如下:

        函数参数 weight 表示模型权重的路径或文件,device 表示设备(默认为 None),inplace 表示是否原地操作(默认为 True),fuse 表示是否进行融合操作(默认为 False)。

        a. 函数首先调用 torch_safe_load 函数来加载权重,并将返回的结果赋值给 ckpt 和 weight 变量。torch_safe_load 函数内部功能为:判断yolov8*.pt文件是否存在,不存在从github下载,最后通过torch.load加载模型。其中weight类型为字符串,值为’yolov8.pt’ , ckpt 类型为字典,内部为模型结构以及 训练时保存的参数,内容如下:

        b. 根据加载的权重,将默认配置字典 DEFAULT_CFG_DICT 和 ckpt 字典中的 'train_args' 键对应的值进行合并,得到 args 字典。键值相同,以后面字典的键值为最终结果。 ckpt字典的内容(后半段数据)如下:

        c. 将 ckpt 字典中的 'ema' 键对应的值或者 'model' 键对应的值赋给 model 变量,并将其转移到指定的设备上(默认为 device 参数指定的设备),然后将其转换为浮点型。

        d. 将 args 字典中的键值对赋值给 model.args 属性,但仅保留键在 DEFAULT_CFG_KEYS 列表中的键值对。

     e. 将 weight 的值赋给 model.pt_path 属性,将模型文件的路径附加到模型中。值为model.pt_path = ‘yolov8.pt’

        f .推测模型的任务类型,并将结果赋给 model.task 属性。本次该值为‘detect’.

    g. 如果模型中没有名为 stride 的属性,则添加一个名为 stride 的属性,其值为 torch.tensor([32.])。

        h. 如果 fuse 为 True 并且模型具有 fuse 属性,则对模型进行融合操作,并将模型设置为评估模式。  此处设置为eval模式,是因为下面要对网络的一些值进行更换,必须进入该模式。后面开始训练时会重新将model设置回训练模式

        i. 对于模型中的每个模块,根据模块的类型进行相应的操作:

        如果模块的类型是 nn.Hardswish、nn.LeakyReLU、nn.ReLU、nn.ReLU6、nn.SiLU、Detect 或 Segment,则设置 m.inplace 属性为 inplace 参数的值。

        如果模块的类型是 nn.Upsample 并且模块不存在 recompute_scale_factor 属性,则将其设置为 None,以保持与 Torch 1.11.0 的兼容性。

        j. 返回经过以上处理的模型实例和加载的检查点,即 model 和 ckpt。

4.1.1.2  提取模型配置

cfg = ckpt['model'].yaml

        cfg类型为字典,内部存放为模型配置参数,即yolov8.yaml中的内容,使用的为YOLOV8n,内容如下图所示:

        工程中yolov8.yaml文件位置及内容如下:

 

4.1.1.3 获取目标检测模型

self.model = self.get_model(cfg=cfg, weights=weights, verbose=RANK == -1)  # calls Model(cfg, weights)

 get_model实现代码如下:

def get_model(self, cfg=None, weights=None, verbose=True):
        """Return a YOLO detection model."""
        model = DetectionModel(cfg, nc=self.data['nc'], verbose=verbose and RANK == -1)
        if weights:
            model.load(weights)
        return model

        该方法用于返回一个 YOLO 检测模型。

        方法的参数包括:

                self:表示类的实例对象,即调用该方法的对象本身。

                cfg:表示模型的配置参数(默认为 None)。

                weights:表示模型的权重文件路径(默认为 None)。

                verbose:表示是否显示详细信息(默认为 True)。

        a. 创建一个 DetectionModel 实例,并传入 cfg 参数和 nc 参数(self.data['nc'])作为构造函数的参数。verbose 参数的值为 verbose and RANK == -1,其中 RANK 是全局变量,用于判断是否为主进程(多进程环境中的一个标识)。

        b. 如果 weights 参数不为 None,则调用 model.load(weights) 方法加载权重文件。

        c. 返回创建的 model 对象。

        

        至此模型加载完成。

        下一章节将详细介绍yolov8检测模型DetectionModel()的实例化过程,内部包含模型的解析构造过程。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/506298.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

windows下安装iteliij Idea2023.3

首先从官网下载 双击打开进行安装: 安装完成后,需要对Idea进行稍微处理下。使用我分享给大家的文件,操作以下步骤: 注意:不能打开IDEA软件。 进入到scripts中点击uninstall-all-users.vbs,最后点击确定。 接下来运行in…

如何成功找到理想的工作,java不行了吗?我靠这个方法成功拿到大厂10个offer

第一段:引言 作为一名即将毕业的大学生,步入职场是每个毕业生都要面对的现实挑战。随着社会竞争的日益激烈,如何成功找到一份理想的工作成为许多毕业生所关注的焦点。本文将分享一些关于毕业生求职的经验和建议,希望能够帮助毕业生…

图的遍历试题

一、单项选择题 01.下列关于广度优先算法的说法中,正确的是( ). Ⅰ.当各边的权值相等时,广度优先算法可以解决单源最短路径问题 Ⅱ.当各边的权值不等时,广度优先算法可用来解决单源最短路径问题 Ⅲ.广度优先遍历算法类似于树中的后序遍历算法…

C++中的动态内存管理

1.C中动态内存管理 C语言内存管理方式在C中可以继续使用,但有些地方就无能为力,而且使用起来比较麻烦,因此C又提出了自己的内存管理方式:通过new和delete操作符进行动态内存管理。 1.1 new/delete操作内置类型 c语言和c的动态内存…

Java_22 蓝桥杯真题——拼数

问题描述 给定几 个正整数 a1,a2....,an&#xff0c;你可以将它们任意排序, 现要将这 几 个数字连接成一排&#xff0c;即令相邻数字收尾相接&#xff0c;组成一个数。 问&#xff0c;这个数最大可以是多少。 输入格式 第一行输入个正整数 n(l < n< 20)。 第二行输入几 个…

Linux USB驱动(二)

1. Linux USB驱动软件框架 应用程序有两种访问硬件的途径&#xff1a;通过设备驱动程序来访问和跳过设备驱动程序&#xff08;直接使用host驱动程序&#xff09;来访问。 当直接使用Host驱动程序时&#xff0c;可以调用libusb库中已经封装好的函数接口。 2. USB电气信号 一个…

特征融合篇 | 利用RT-DETR的AIFI去替换YOLOv8中的SPPF(附2种改进方法)

前言:Hello大家好,我是小哥谈。RT-DETR模型是一种用于目标检测的深度学习模型,它基于transformer架构,特别适用于实时处理序列数据。在RT-DETR模型中,AIFI(基于注意力的内部尺度特征交互)模块是一个关键组件,它通过引入注意力机制来增强模型对局部和全局信息的处理能力…

2024全开源小狐狸ai付费创作系统V2.8.0

源码介绍 小狐狸GPT付费体验系统的开发基于国外很火的ChatGPT&#xff0c;这是一种基于人工智能技术的问答系统&#xff0c;可以实现智能回答用户提出的问题。相比传统的问答系统&#xff0c;ChatGPT可以更加准确地理解用户的意图&#xff0c;提供更加精准的答案。同时&#x…

从0开始搭建基于VUE的前端项目(三) Vuex的使用与配置

准备与版本 vuex 3.6.2(https://v3.vuex.vuejs.org/zh/)概念 vuex是什么? 是用作 【状态管理】的 流程图如下 state 数据状态,成员是个对象 mapState 组件使用this.$store.state.xxx获取state里面的数据 getters 成员是个函数,方便获取state里面的数据,也可以加工数据 ma…

HarmonyOS 应用开发之组件启动规则(Stage模型)

启动组件是指一切启动或连接应用组件的行为&#xff1a; 启动UIAbility、ServiceExtensionAbility、DataShareExtensionAbility&#xff0c;如使用startAbility()、startServiceExtensionAbility()、startAbilityByCall()等相关接口。 连接ServiceExtensionAbility、DataShare…

[BT]BUUCTF刷题第12天(3.31)

第12天 Basic BUU BURP COURSE 1 经过尝试&#xff0c;在这里X-Forwarded-For不管用&#xff0c;要用X-Real-IP BP抓包添加X-Real-IP:127.0.0.1&#xff08;注意这一行前面不要有空行&#xff09; 发送后返回提示了用户名和密码&#xff0c;这里直接给了&#xff0c;登录即可…

unity学习(78)--unity调试--长痛不如短痛

1.在vs2022中&#xff0c;工具--获取工具与功能。 2. 安装图中工具&#xff0c;原来我早就安装了。 3 f9下断 同时点击图中按钮 vs此时变为如下状态 unity中出现如下提示&#xff1a; 4 在unity中运行游戏&#xff0c;vs这边确实成功断住了&#xff01;

【千帆杯】K12教育常规赛 北京场线下交流会心得

千帆杯K12教育常规赛 北京场线下交流会心得 ​ 周日有幸参加了 百度智能云千帆AppBuilder北京场线下交流会 ( 活动链接 )&#xff0c;去线下组队创作了 K12教育 相关的智能体。参赛过程中认识了不少大佬与朋友&#xff0c;抱大佬队友的腿&#xff0c;他的 猜成语 应用获得了线…

【详细讲解WebView的使用与后退键处理】

&#x1f3a5;博主&#xff1a;程序员不想YY啊 &#x1f4ab;CSDN优质创作者&#xff0c;CSDN实力新星&#xff0c;CSDN博客专家 &#x1f917;点赞&#x1f388;收藏⭐再看&#x1f4ab;养成习惯 ✨希望本文对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出…

前端三剑客 —— CSS (第二节)

目录 内容回顾&#xff1a; CSS选择器*** 属性选择器 伪类选择器 1&#xff09;:link 超链接点击之前 2&#xff09;:visited 超链接点击之后 3&#xff09;:hover 鼠标悬停在某个标签上时 4&#xff09;:active 鼠标点击某个标签时&#xff0c;但没有松开 5&#xff09;:fo…

TypeScript-自动编译

1.生成文件 tsc --init 2.修改配置文件 说明&#xff1a;通过CTRLF搜索到以下单词&#xff0c;进行修改。 "strict": true, //是否开启严格模式 "outDir": "./outFile", //表示ts文件最终编译为js文件&#xff0c;js文件存放的位置 3.新…

JavaScript异步编程规范->实现一个简易版本的 Promise

文章目录 1.Promise基本使用2.实现一个Promise2.1.resolve/reject2.1.1.初始化状态及返回值2.1.2.实现resolve/reject2.1.3.状态不可逆2.1.4.处理throw 2.2.then2.2.1.实现then2.2.2.通过队列实现setTimeout2.2.3.链式调用2.2.4.执行顺序 2.3.其他方法2.3.1.all2.3.2.race2.3.3…

量化交易入门(三十四)DMI指标学习和应用

什么是DMI指标 DMI(Dynamic Momentum Index)指标是一种趋势型指标,由威尔斯威尔德(Welles Wilder)于1978年提出。它通过比较价格的正向和负向变动幅度来衡量市场趋势的强度和方向。 DMI指标由三部分组成: DI(Positive Directional Indicator):衡量价格上涨趋势的强度。-DI(N…

域攻防渗透之委派攻击

出身寒微&#xff0c;不是耻辱&#xff0c;能屈能伸&#xff0c;方为丈夫。 约束性委派的利用 原理 非约束性委派被委派的机器会直接得到发布委派的用户的TGT&#xff0c;是十分不安全的&#xff0c;因此微软推出了约束性委派&#xff0c;还扩充kerberos协议&#xff0c;添加…

适用于 Linux 的 Windows 子系统安装初体验

1、简述 Windows Subsystem for Linux (WSL) 是 Windows 的一项功能&#xff0c;允许您在 Windows 计算机上运行 Linux 环境&#xff0c;而无需单独的虚拟机或双重启动。 WSL 旨在为想要同时使用 Windows 和 Linux 的开发人员提供无缝且高效的体验。 使用 WSL 安装和运行各种 L…