在Milk-v Duo上部署YOLOV8模型

建议自己编译images固件,我使用官方给的固件在部署中出现了一些问题,请参考: 编译Milkv-duo固件-CSDN博客

下载YOLOv8

git clone https://github.com/ultralytics/ultralytics.git

下载yolo_export.zip

下载链接:链接:百度网盘 请输入提取码 提取码:184a

在Windows下搭建配置yolov8虚拟环境

将yolo_export/yolov8_export.py 代码复制到 yolov8 仓库下,下载YOLOv8的权重文件: https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n.pt

然后使用以下命令导出分支版本的 onnx 模型:

python yolov8_export.py --weights ./weights/yolov8n.pt

运行上述代码之后,可以在./weights/目录下得到 yolov8n.onnx 文件。

在Windows上搭建Docker环境

请参考:在Milk-V Duo上部署MobileNetV2_mobilenetv2 部署-CSDN博客

docker run -it 镜像名字 /bin/bash    //创建并拉取镜像

若已有Docker环境,则使用docker ps 列出所有镜像,并使用以下命令进入Docker环境(一定要先运行Docker客户端)

docker pull sophgo/tpuc_dev:v3.1    //拉取镜像

 在Docker环境中创建名为workpace的文件夹,在该文件夹下面创建yolov8n文件夹,将yolov8n.onnx通过以下命令将其传送到Docker的yolov8n文件夹下

复制文件到容器:使用docker cp <path>/文件 容器id:/目标路径将文件从主机复制到容器。
复制文件从容器:使用docker cp 容器id:/容器内路径 <path>/文件将文件从容器复制到主机。
例如:
docker cp  funny_noyce:/workspace/cvitek_tdl_sdk.tar  C:\Users\xuankui\Desktop\
docker cp  funny_noyce:/workspace/tpu-mlir C:\Users\xuankui\Desktop\

 下载 tpu-mlir 工具包

下载链接:链接:百度网盘 请输入提取码 提取码:5fht(git clone GitHub - milkv-duo/tpu-mlir: TPU-MLIR model conversion tool),将其发送到/workspace,并设置环境变量:

source tpu-mlir/envsetup.sh

下载数据集

cp -rf $TPUC_ROOT/regression/dataset/COCO2017 .
cp -rf $TPUC_ROOT/regression/image .

模型转换

转换模型需要在指定的 docker 执行,主要的步骤可以分为两步:

  • 第一步是通过 model_transform.py 将原始模型转换为 mlir 文件
  • 第二步是通过 model_deploy.py 将 mlir 文件转换成 cvimodel

如果需要转换为 INT8 模型,还需要在第二步之前调用 run_calibration.py 生成校准表,然后传给 model_deploy.py

ONNX 转 MLIR

model_transform.py \
--model_name yolov8n \
--model_def yolov8n.onnx \
--input_shapes [[1,3,640,640]] \
--mean 0.0,0.0,0.0 \
--scale 0.0039216,0.0039216,0.0039216 \
--keep_aspect_ratio \
--pixel_format rgb \
--test_input ./dog.jpg \
--test_result yolov8n_top_outputs.npz \
--mlir yolov8n.mlir

 MLIR 转 INT8 模型

转 INT8 模型前需要跑 calibration,得到校准表;输入数据的数量根据情况准备 100~1000 张左右。然后用校准表,生成 cvimodel。生成校对表的图片尽可能和训练数据分布相似。这个数据集从COCO2017提取100来做校准,用其他图片也是可以的。

run_calibration.py yolov8n.mlir \
--dataset COCO2017 \
--input_num 100 \
-o yolov8n_cali_table

运行完成之后会生成名为 yolov8n_cali_table 的文件,该文件用于后续编译 cvimode 模型的输入文件。然后生成 int8 对称量化 cvimodel 模型,执行如下命令:

model_deploy.py \
--mlir yolov8n.mlir \
--quant_input \
--quant_output \
--quantize INT8 \
--calibration_table yolov8n_cali_table \
--chip cv180x \
--model yolov8n_cv180x_int8_sym.cvimodel \
--test_input yolov8n_in_f32.npz \
--test_reference yolov8n_top_outputs.npz \
--tolerance 0.85,0.45

 其中–quant_output 参数表示将输出层也量化为 int8,不添加该参数则保留输出层为float32。从后续测试结果来说,将输出层量化为 int8,可以减少部分 ion,并提高推理速度,并且模型检测精度基本没有下降,推荐添加–quant_output 参数。在上述步骤运行成功之后,我们就获得了我们量化好的yolov8n_cv180x_int8_sym.cvimodel模型。

TDL-SDK编译与验证

首先使用以下命令获取交叉编译工具

wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/23/03/07/16/host-tools.tar.gz
tar xvf host-tools.tar.gz
cd host-tools
export PATH=$PATH:$(pwd)/gcc/riscv64-linux-musl-x86_64/bin

 下载cvitek_tdl_sdk并将其发送到/workspace下,下载链接:链接:链接:百度网盘 请输入提取码 提取码:ltro,进入到cvitek_tdl_sdk下的sample目录下。

chmod 777 compile_sample.sh
./compile_sample.sh

模型推理验证 

通过nfs或者ssh的方式将cvitek_tdl_sdk(可以压缩一下,可能在传输过程中会有文件丢失)、yolov8n_cv180x_int8_sym.cvimodel以及一张测试图像传输到开发板的/mnt目录下。

 首先,我们需要配置我们开发板的环境变量,此命令在milkv-duo重启后需要再次执行

export LD_LIBRARY_PATH=/mnt/cvitek_tdl_sdk/lib:\
/mnt/cvitek_tdl_sdk/sample/3rd/opencv/lib:\
/mnt/cvitek_tdl_sdk/sample/3rd/tpu/lib:\
/mnt/cvitek_tdl_sdk/sample/3rd/ive/lib:\
/mnt/cvitek_tdl_sdk/sample/3rd/middleware/v2/lib:\
/mnt/cvitek_tdl_sdk/sample/3rd/lib:\
/mnt/cvitek_tdl_sdk/sample/3rd/middleware/v2/lib/3rd:
cd  /mnt/cvitek_tdl_sdk/bin

 输入以下命令,看到如下推理结果,就说明模型部署成功。

./sample_yolov8 /mnt/yolov8n_cv180x_int8_sym.cvimodel /mnt/dog.jpg 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/567518.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Linux加强篇-Vim编辑器

目录 ⛳️推荐 Vim文本编辑器 编写简单文档 配置主机名称 配置网卡信息 配置软件仓库 ⛳️推荐 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到网站 Vim文本编辑器 在Linux系统中一切都…

使用FPGA实现除法器

介绍 除法都已经很熟悉了。这里我主要是使用fpga来实现一下除法器的功能。我这里使用的算法是&#xff0c;首先将除数进行左移n位&#xff0c;如果被除数比左移后的除数还要大&#xff0c;说明商的第n位是1&#xff0c;大家可以理解或者验证一下。 设计文件 library ieee; us…

Linux KASAN使用与实现原理

一、KASAN工具使用 KASAN工具&#xff1a;Kernel Address SANitizer(KASAN)是一种动态内存安全错误检测工具&#xff0c;主要功能是检查内存越界访问和使用已释放内存的问题。 1.1 KASAN宏控开关 KASAN有三种模式&#xff1a;1.通用KASAN&#xff1b;2.基于软件标签的KASAN&…

Apple II首席设计师为中国家庭设计,鹿客指脉锁S6 Max引领科技美学

智能门锁设计正在步入一个科技与艺术交织的美学时代。鹿客科技认为&#xff0c;智能门锁的设计理念是将锁视为人类与仿生形状之间的接口&#xff0c;将门视为几何建筑的一部分&#xff0c;产品设计应该通过提供诱人且用户友好的“触摸和感觉”来传达这种转变。 鹿客近日发布的最…

clickhouse学习笔记04

ClickHouse高可用之ReplicatedMergeTree引擎介绍 ClickHouse高可用架构准备-环境说明和ZK搭建 RPM安装ClickHouse 上传我们的clickhouse rpm文件。 安装&#xff1a; 中途需要输入用户名和密码 可以不设置 直接回车。 启动&#xff1a; 查看状态&#xff1a; 查看端口是否占用…

嵌入式s5p5818核心板介绍

底板寻址空间介绍 s5p6818 寻址空间采用统一编址方式进行管理 寻址空间映射图&#xff1a; 独立寻址&#xff1a;片内片外存储器只能选择其中一个 统一寻址&#xff1a;片内片外存储器都能使用&#xff0c;且使用的是同一片连续的寻址空间 reserved保留&#xff0c;Normaol …

晶振在PCB设计中,要注意哪些事项?

晶振(Crystal Oscillator)在PCB(Printed Circuit Board&#xff0c;印刷电路板)设计中扮演着至关重要的角色&#xff0c;因为它提供了稳定的时钟信号&#xff0c;这是许多电子设备正常运行的基础。在设计含有晶振的PCB时&#xff0c;应该注意以下几个关键事项&#xff1a; 1. …

实用电路图轻松掌握,一通百通 | 百能云芯

通过以下各种各样的实用电路&#xff0c;大家可以了解元器件的结构、特性、动作原理及电路的基本控制方式&#xff0c;掌握一些控制规律&#xff0c;这样的话&#xff0c;在日后的电路识图中就能融会贯通&#xff0c;一通百通。 文章中的电路图有难有易&#xff0c;有些图现在…

2024066期传足14场胜负前瞻

2024066期售止时间为4月24日&#xff08;周三&#xff09;17点30分&#xff0c;敬请留意&#xff1a; 本期1.5以下赔率5场&#xff0c;1.5-2.0赔率3场&#xff0c;其他场次是平半盘、平盘。本期14场难度中等。以下为基础盘前瞻&#xff0c;大家可根据自身判断&#xff0c;复选增…

想冲宇宙厂,直接挂了。。。

宇宙厂实际是字节&#xff0c;这个称呼是因为字节跳动主宰了宇宙内一切App&#xff0c;有点家大业大的意思。 今天分享一位字节春招凉经&#xff0c;问了一些数据库和Java八股&#xff0c;没出算法题&#xff0c;直接挂了&#xff0c;竟然最喜欢出算法题的字节&#xff0c;这次…

Web3革命:区块链如何重塑互联网

引言 互联网的发展已经深刻地改变了我们的生活方式&#xff0c;而现在&#xff0c;Web3和区块链技术正在为我们提供一个全新的数字世界的视角。本文将带你深入了解Web3的核心概念、技术特性以及它如何正在重塑我们的互联网体验。 从Web1.0到Web3&#xff1a;数字革命的演进 W…

Git TortoiseGit 详细安装使用教程

前言 Git 是一个免费的开源分布式版本控制系统&#xff0c;是用来保存工程源代码历史状态的命令行工具&#xff0c;旨在处理从小型到非常大型的项目&#xff0c;速度快、效率高。《请查阅Git详细说明》。TortoiseGit 是 Git 的 Windows Shell 界面工具&#xff0c;基于 Tortoi…

在Visual Studio配置C++的netCDF库的方法

本文介绍在Windows电脑的Visual Studio软件中&#xff0c;配置C 语言最新版netCDF库的方法。 netCDF&#xff08;Network Common Data Form&#xff09;是一种用于存储、访问和共享科学数据的文件格式和库&#xff0c;其提供了一种灵活的方式来组织、描述和存储多维数据&#…

Python-VBA函数之旅-id函数

目录 一、id函数的常见应用场景&#xff1a; 二、id函数使用注意事项&#xff1a; 1、id函数&#xff1a; 1-1、Python&#xff1a; 1-2、VBA&#xff1a; 2、推荐阅读&#xff1a; 个人主页&#xff1a;神奇夜光杯-CSDN博客 一、id函数的常见应用场景&#xff1a; id函…

【Linux开发实用篇】备份与恢复

备份 实体机无法做快照&#xff0c;我们可以使用备份和恢复技术 第一种方式 把需要的文件&#xff08;或者分区&#xff09;用TAR打包就好&#xff0c;下次恢复的时候进行解压 第二种方式 使用dump 和 restore 指令&#xff1a; 首先安装这两个指令 yum -y install dump, …

2024平替电容笔买哪个品牌好?iPad电容笔全能榜单热门款TOP5分享!

2024年&#xff0c;随着科技的不断发展和消费者对生活品质的追求&#xff0c;电容笔作为一种创新的无纸化工具&#xff0c;逐渐走进人们的生活和工作中。然而&#xff0c;在电容笔市场的繁荣背后&#xff0c;也隐藏着品质良莠不齐的现象。众多品牌为了追求利润&#xff0c;推出…

Ubuntu 安装 Harbor

一、安装 docker 原文参考传送门 1st 卸载系统自带的 docker 应用 for pkg in docker.io docker-doc docker-compose docker-compose-v2 podman-docker containerd runc; do sudo apt-get remove $pkg; done 2nd 设置Docker 的apt源 # Add Dockers official GPG key: sudo…

2024/4/23 C++day1

有以下定义&#xff0c;说明哪些量可以改变哪些不可以改变&#xff1f; const char *p; 指针可以改变 值不可以改变 const (char *) p; 语法错误 char *const p; 指针不可以改变 值可以改变 const char* const p; 指针和值…

做抖音小店正确起店的方式,新店铺想快速爆单,步骤就这几个

大家好&#xff0c;我是电商笨笨熊 开通了抖音小店&#xff0c;但是店铺一直没有流量&#xff1b; 很多新手玩家进入抖店后都会遇到这样那样的问题&#xff0c;烦恼的事情一大堆&#xff1b; 没关系&#xff0c;今天我们就来聊聊新店铺该怎么快速起店&#xff0c;新手如何做…

使用CSS3 + Vue3 + js-tool-big-box工具,实现炫酷五一倒计时动效

时间过得真是飞速&#xff0c;很快又要到一年一度的五一劳动节啦&#xff0c;今年五天假&#xff0c;做好准备了吗&#xff1f;今天我们用CSS3 Vue3 一个前端工具库 js-tool-big-box来实现一个炫酷的五一倒计时动效吧。 目录 1 先制作一个CSS3样式 2 Vue3功能提前准备 3…