【mmengine】配置器(config)(进阶)继承与导出,命令行修改配置

一、配置文件的继承

1.1 继承机制概述

新建optimizer_cfg.py:

optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)

新建runtime_cfg.py:

device = "cuda"
gpu_ids = [0, 1]
batch_size = 64
epochs = 100
num_workers = 8

新建resnet50.py:

_base_ = ['optimizer_cfg.py',"runtime_cfg.py"]

新建inherit_and_export.py:

from mmengine.config import Config

cfg = Config.fromfile('resnet50.py')
print(cfg)

运行inherit_and_export.py:
在这里插入图片描述
虽然我们在resnet50.py 中没有定义 optimizer 字段和run_time参数,但由于我们写了 base = [‘optimizer_cfg.py’, runtime_cfg.py],会使这个配置文件获得 optimizer_cfg.py和 runtime_cfg.py中的所有配置信息。

1.2 修改继承字段

由于 optimizer 这个字段是一个字典,我们只需要重新定义这个字典里面需修改的下级字段即可。这个规则也适用于增加一些下级字段。
修改resnet50.py:

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)

# 覆盖
optimizer_SHUAI = dict(lr=0.123456)

在这里插入图片描述
对于非字典类型的字段,例如整数,字符串,列表等,重新定义即可完全覆盖,例如下面的写法就将 gpu_ids 这个字段的值修改成了 [0,1,2,3,4,5,6,7]。

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)
# 覆盖
# 字典类
optimizer_SHUAI = dict(lr=0.123456)
# 非字典类,重新定义即是覆盖
gpu_ids = [0, 1, 2, 3, 4, 5, 6, 7]

在这里插入图片描述

1.3 删除字典中的 key

有时候我们对于继承过来的字典类型字段,不仅仅是想修改其中某些 key,可能还需要删除其中的一些 key。这时候在重新定义这个字典时,需要指定 delete=True,表示将没有在新定义的字典中出现的 key 全部删除。

_base_ = ['optimizer_cfg.py', 'runtime_cfg.py']
model = dict(type='ResNet', depth=50)

# 覆盖
# 字典类
optimizer_SHUAI = dict(lr=0.123456)
# 非字典类,重新定义即是覆盖
gpu_ids = [0, 1, 2, 3, 4, 5, 6, 7]

# 删除, 只保留type和lr
optimizer = dict(_delete_=True, type='SGD', lr=0.01)

在这里插入图片描述
这时候,optimizer_SHUAI 这个字典中就只有 type 和 lr 这两个 key,momentum 和 weight_decay 将不再被继承。

1.4 引用被继承文件中的变量

有时我们想重复利用 base 中定义的字段内容,就可以通过 {{base.xxxx}} 获取来获取对应变量的拷贝。例如:
新建refer_base_var.py:

_base_ = ['resnet50.py']
a = {{_base_.model}}

在inherit_and_export.py中

cfg = Config.fromfile('refer_base_var.py')
print(cfg.a)

结果
在这里插入图片描述
解析后发现,a 的值变成了 resnet50.py 中定义的 model

配置类提供了一种更 pythonic 的方式,让我们能够在 python 类配置文件中修改 base 中定义的变量(类配置文件专属特性,目前不支持在 json、yaml 配置文件中修改 base 中定义的变量)。

_base_ = ['resnet50.py']
# a = {{_base_.model}}

a = _base_.model
a.type = 'MobileNet'

在这里插入图片描述

二、 配置文件的导出

==在启动训练脚本时,用户可能通过传参的方式来修改配置文件的部分字段,为此我们提供了 dump 接口来导出更改后的配置文件。==与读取配置文件类似,用户可以通过 cfg.dump(‘config.xxx’) 来选择导出文件的格式。dump 同样可以导出有继承关系的配置文件,导出的文件可以被独立使用,不再依赖于 base 中定义的文件。

基于继承一节定义的 resnet50.py,我们将其加载后导出:

cfg = Config.fromfile('resnet50.py')
cfg.dump('resnet50_dump.py')

optimizer = dict(type='SGD', lr=0.02, momentum=0.9, weight_decay=0.0001)
model = dict(type='ResNet', depth=50)

cfg.dump(‘resnet50_dump.py’)导出的py格式的:
在这里插入图片描述
cfg.dump(‘resnet50_dump.yaml’)导出的yaml格式的:
在这里插入图片描述
cfg.dump(‘resnet50_dump.json’)导出的json格式的:
在这里插入图片描述

三、 其他进阶用法

3.1 命令行修改配置

考虑到我们想修改的配置通常是一些内层参数,如优化器的学习率、模型卷积层的通道数等,因此 MMEngine 提供了一套标准的流程,让我们能够在命令行里轻松修改配置文件中任意层级的参数。

1.使用 argparse 解析脚本运行的参数
2.使用 argparse.ArgumentParser.add_argument 方法时,让 action 参数的值
3.为 DictAction,用它来进一步解析命令行参数中用于修改配置文件的参数使用配置类的 merge_from_dict 方法来更新配置

新建argparse_demo.py:

import argparse

from mmengine.config import Config, DictAction


def parse_args():
    # 1. 定义
    parser = argparse.ArgumentParser(description='Train a model')

    # 2. 增加参数
    parser.add_argument('config', help='train config file path')
    parser.add_argument('--cfg-options',
        nargs='+',
        action=DictAction,
        help='要在使用的配置中覆盖某些设置,应采用 xxx=yyy 格式的键值对 它们将被合并到配置文件中。如果要被覆盖的值是一个列表,它应该像')
    # 3. 解析
    args = parser.parse_args()
    return args


def main():
    args = parse_args()
    cfg = Config.fromfile(args.config)
    if args.cfg_options is not None:
        cfg.merge_from_dict(args.cfg_options)
    print(cfg)


if __name__ == '__main__':
    main()

新建emample.py:

model = dict(type='CustomModel', in_channels=[1, 2, 3])
optimizer = dict(type='SGD', lr=0.01)

通过命令行的方式修改model和optimizer中的值:

python argparse_demo.py ./example.py 
--cfg-options optimizer.type="Adam" 
--cfg-options model.in_channels="[1, 1, 1]"

结果:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/886894.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

数据结构-3.9.栈在递归中的应用

一.函数被调用背后的过程:最后被调用的函数最先结束也符合栈的后进先出 1.main函数为主函数即程序入口,运行时主函数先入栈,然后存入主函数里的数据; 2.func1函数加载在栈中时他后面的代码的地址#1(调用返回地址,不是…

OpenAI全新多模态内容审核模型上线:基于 GPT-4o,可检测文本和图像

在数字时代,内容安全问题愈发受到重视。9月26日,OpenAI 正式推出了一款全新的多模态内容审核模型,名为 “omni-moderation-latest”。 该模型基于最新的 GPT-4o 技术,能够准确地识别检测有害文本图像。这一更新将为开发者提供强大…

Woocommerce怎么分类显示产品?如何将Shopify的产品导入到Woocommerce?

WooCommerce作为WordPress的一个电子商务插件,功能强大、使用简洁,能够轻松集成到WordPress网站中,为用户提供了一个完整的在线商店解决方案,在国外还是挺受欢迎的。 Woocommerce怎么分类显示产品? 在Woocommerce中&a…

TCP Analysis Flags 之 TCP ZeroWindowProbe

前言 默认情况下,Wireshark 的 TCP 解析器会跟踪每个 TCP 会话的状态,并在检测到问题或潜在问题时提供额外的信息。在第一次打开捕获文件时,会对每个 TCP 数据包进行一次分析,数据包按照它们在数据包列表中出现的顺序进行处理。可…

【C++】空指针和野指针

文章目录 1.空指针2.野指针总结 1.空指针 概念:指针变量指向内存中编号为0的空间。 用途:初始化指针变量。 注意:空指针指向的内存是不可以访问的。 示例: int main(){//指针变量p指向内存地址编号为0的空间int *PNULL&#…

在java后端发送HTTPClient请求

简介 HttpClient遵循http协议的客户端编程工具包支持最新的http协议 部分依赖自动传递依赖了HttpClient的jar包 明明项目中没有引入 HttpClient 的Maven坐标,但是却可以直接使用HttpClient原因是:阿里云的sdk依赖中传递依赖了HttpClient的jar包 发送get请…

Django 配置邮箱服务,实现发送信息到指定邮箱

一、这里以qq邮箱为例,打开qq邮箱的SMTP服务 二、django项目目录设置setting.py 文件 setting.py 添加如下内容: # 发送邮件相关配置 EMAIL_BACKEND django.core.mail.backends.smtp.EmailBackend EMAIL_USE_TLS True EMAIL_HOST smtp.qq.com EMAIL…

1.2.2 计算机网络的分层结构(下)

水平视角 YSCS协议(压缩传输协议) 发送方先压缩然后接收方再解压。 为什么要分层?为什么要制定协议? 计算机网路功能负责->采用分层结构,将诸多功能合理地划分在不同层次->对等层之间制定协议,以…

正则表达式的使用示例--Everything文件检索批量重命名工具

一、引言 Everything是一款非常实用的文件搜索工具,它可以帮助您快速定位并查找计算机中的文件和文件夹。Everything搜索文件资料之神速,有使用过的朋友们都深有体会,相对于Windows自带的搜索功能,使用Everything,可以…

QT将QBytearray的data()指针赋值给结构体指针变量后数据不正确的问题

1、问题代码 #include <QCoreApplication>#pragma pack(push, 1) typedef struct {int a; // 4字节float b; // 4字节char c; // 1字节int *d; // 8字节 }testStruct; #pragma pack(pop)#include <QByteArray> #include <QDebug>int main() {testStruct …

基于VUE的在线手办交易平台购物网站前后端分离系统设计与实现

目录 1. 需求分析 2. 技术选型 3. 系统架构设计 4. 前端开发 5. 后端开发 6. 数据库设计 7. 测试 8. 部署上线 9. 运维监控 随着二次元文化的兴起&#xff0c;手办作为一种重要的周边产品&#xff0c;受到了广大动漫爱好者的喜爱。手办市场的需求日益增长&#xff0c;…

Android-Handle消息传递和线程通信

本文为作者学习笔记&#xff0c;如有误&#xff0c;请各位大佬指点 目录 一、同步异步 二、Java多线程通信 三、Handler是什么 四、Handler相关的类 五、Handler常用方法 1. 发送消息 2. 接收处理消息 3. 切换线程 六、使用Handler 使用Handler更新UI 使用Handler延…

electron教程(三)窗口设置

在main.js文件中&#xff0c;创建窗口时会设置窗口的大小&#xff0c;其实还有很多其他属性&#xff0c;可以根据实际需求选择设置&#xff0c;但部分属性存在局限性&#xff0c;官网也有明确告知&#xff1a;自定义窗口 | Electron (electronjs.org) 项目文件目录如下&#x…

Windows安装Vim,并在PowerShell中直接使用vim

大家好啊&#xff0c;我是豆小匠。 这期介绍下怎么在windows的PowerShell上使用vim&#xff0c;方便在命令行里修改配置文件等。 先上效果图&#xff1a; 1、下载Vim GitHub传送门&#xff1a;https://github.com/vim/vim-win32-installer/releases 选择win-64的版本下载即可&…

信息技术网络安全政策制定

为什么要制定网络安全政策&#xff1f; 通常&#xff0c;公司并不认为需要制定网络安全政策。现有的政策是为了保护公司的资产&#xff0c;而数据也是一项资产。 网络安全政策的真正必要性很简单&#xff1a;网络安全并不像锁门或不偷公司笔那么简单。在许多情况下&#xff0…

HTML的修饰(CSS) -- 第三课

文章目录 前言一、CSS是什么&#xff1f;二、使用方式1. 基本语法2. 引入方式1.行内式2.内嵌式3. 链入式 3. 选择器1. 标签选择器2.类选择器3. id选择器4. 通配符选择器 4. css属性1. 文本样式属性2. 文本外观属性 5. 元素类型及其转换1. 元素的类型2. 元素的转换 6.css高级特性…

【Java的SPI机制】Java SPI机制:实现灵活的服务扩展

在Java开发中&#xff0c;SPI&#xff08;Service Provider Interface&#xff0c;服务提供者接口&#xff09;机制是一种重要的设计模式&#xff0c;它允许在运行时动态地插入或更换组件实现&#xff0c;从而实现框架或库的扩展点。本文将深入浅出地介绍Java SPI机制&#xff…

08_OpenCV文字图片绘制

import cv2 import numpy as npimg cv2.imread(image0.jpg,1) font cv2.FONT_HERSHEY_SIMPLEXcv2.rectangle(img,(500,400),(200,100),(0,255,0),20) # 1 dst 2 文字内容 3 坐标 4 5 字体大小 6 color 7 粗细 8 line type cv2.putText(img,flower,(200,50),font,1,(0,0,250)…

【AI学习】Mamba学习(二):线性注意力

上一篇《Mamba学习&#xff08;一&#xff09;&#xff1a;总体架构》提到&#xff0c;Transformer 模型的主要缺点是&#xff1a;自注意力机制的计算量会随着上下文长度的增加呈平方级增长。所以&#xff0c;许多次二次时间架构&#xff08;指一个函数或算法的增长速度小于二次…

国外电商系统开发-运维系统批量添加服务器

您可以把您准备的txt文件&#xff0c;安装要求的格式&#xff0c;复制粘贴到里面就可以了。注意格式&#xff01; 如果是“#” 开头的&#xff0c;则表示注释&#xff01;