瑞芯微 Rockchip 系列 RK3588 主流深度学习框架模型转成 rknn 模型教程

前言

在瑞芯微 Rockchip 芯片上进行 NPU 推理，需要先将模型文件转换成 rknn 模型文件，才能执行各种推理任务。本文将介绍如何安装各种工具，并最终实现将各种深度学习框架的模型文件转换成 rknn 文件。

本教程不仅适合 RK3588 平台，也适合其他 RK 系列平台，例如 RK3566、RK3568、RK3562 等。具体平台请参考 RKNN-Toolkit2 文档。

安装 RKNN-Toolkit2 环境

RKNN-Toolkit2 是瑞芯微官方提供的工具包，用于将各种深度学习框架的模型文件转换成 rknn 文件。

安装 Conda

RKNN-Toolkit2 转换依赖于 Python 3.8（建议版本），而一般我们使用 Conda 来管理 python 环境，所以需要先安装 Conda。

下面的命令会下载 Anaconda 的安装包，并执行安装。

wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh
bash Anaconda3-2024.10-1-Linux-x86_64.sh

安装完成后，运行下面命令，查看是否安装成功。

conda --version

使用 Conda 创建 Python 3.8 环境

通过以下命令创建名称为 toolkit2 的 Python 3.8 环境：

conda create -n toolkit2 python=3.8

激活 toolkit2 环境，后续将在此环境中安装 RKNN-Toolkit2：

conda activate toolkit2
# 成功后，命令行提示符会变成以下形式：
# (toolkit2) xxx@xxx:~$

安装 RKNN-Toolkit2

在终端运行如下命令：

pip install rknn-toolkit2 -i https://pypi.org/simple

运行下面命令验证是否安装成功：

# 进入 Python 交互模式
python

# 导入 RKNN 类
from rknn.api import RKNN

如果没有输出错误，则表示 RKNN-Toolkit2 安装成功。

模型转换

模型转换流程

RKNN-Toolkit2 的转换流程如下：

image.png

可以看到，整个流程非常简单，初始化 -> 配置 -> 加载 -> 构建 -> 导出模型 -> 释放资源。

目前RKNN-Toolkit2支持多个主流深度学习框架的模型转换，包括：

  • Caffe（推荐版本为1.0）
  • TensorFlow（推荐版本为1.12.0~2.8.0）
  • TensorFlow Lite（推荐版本为Schema version = 3）
  • ONNX（推荐版本为1.7.0~1.10.0）
  • PyTorch（推荐版本为1.6.0~1.13.1）
  • Darknet（推荐版本为Commit ID = 810d7f7）

在 RKNN 模型转换过程中，可以选择是否要进行模型量化。量化的作用是减少模型的大小，提高推理速度，但可能会牺牲一定的精度。如果要量化，需要传入量化校准的数据集，这是为了确保量化后的模型在推理时，能够达到相对较好的精度。

编写模型转换示例

下面我以转换 yolo11 的 ONNX 模型为例，手把手带大家编写一个简单的模型转换示例，请确保上面的 Conda 已经安装并且 toolkit2 激活环境。

在最下面我也会提供整个示例的完整代码仓库，大家可以直接下载使用。

首先，在 Linux 终端运行如下命令：

mkdir rknn_trans_test
cd rknn_trans_test

# 下载 yolo11 的 ONNX 模型
wget -O ./yolo11n.onnx https://ftrg.zbox.filez.com/v2/delivery/data/95f00b0fc900458ba134f8b180b3f7a1/examples/yolo11/yolo11n.onnx

接着下载量化的数据集

# 下载 yolo11 的量化数据集
wget https://github.com/qaz624824554/rknn_trans_test/raw/refs/heads/master/COCO.tar.gz
tar -xzvf COCO.tar.gz

创建 convert.py 文件

touch convert.py

将下面的代码复制到 convert.py 文件中：

import sys
from rknn.api import RKNN

DATASET_PATH = './COCO/coco_subset_20.txt'  # 量化数据集路径
DEFAULT_RKNN_PATH = './yolo11n.rknn'        # 默认输出RKNN模型路径
DEFAULT_QUANT = True                         # 默认是否量化

def parse_arg():
    """
    解析命令行参数
    Returns:
        model_path: ONNX模型路径
        platform: 目标平台
        do_quant: 是否进行量化
        output_path: RKNN模型输出路径
    """
    if len(sys.argv) < 3:
        print("Usage: python3 {} onnx_model_path [platform] [dtype(optional)] [output_rknn_path(optional)]".format(sys.argv[0]))
        print("       platform choose from [rk3562,rk3566,rk3568,rk3588,rk3576,rk1808,rv1109,rv1126]")
        print("       dtype choose from [i8, fp] for [rk3562,rk3566,rk3568,rk3588,rk3576]")
        print("       dtype choose from [u8, fp] for [rk1808,rv1109,rv1126]")
        exit(1)

    model_path = sys.argv[1]
    platform = sys.argv[2]

    # 根据输入参数确定是否量化
    do_quant = DEFAULT_QUANT
    if len(sys.argv) > 3:
        model_type = sys.argv[3]
        if model_type not in ['i8', 'u8', 'fp']:
            print("ERROR: Invalid model type: {}".format(model_type))
            exit(1)
        elif model_type in ['i8', 'u8']:
            do_quant = True
        else:
            do_quant = False

    # 确定输出路径
    if len(sys.argv) > 4:
        output_path = sys.argv[4]
    else:
        output_path = DEFAULT_RKNN_PATH

    return model_path, platform, do_quant, output_path

if __name__ == '__main__':
    # 解析命令行参数
    model_path, platform, do_quant, output_path = parse_arg()

    # 创建RKNN对象
    rknn = RKNN(verbose=False)

    # 配置预处理参数
    print('--> Config model')
    rknn.config(mean_values=[[0, 0, 0]], std_values=[[255, 255, 255]], target_platform=platform)
    print('done')

    # 加载ONNX模型
    print('--> Loading model')
    ret = rknn.load_onnx(model=model_path)
    if ret != 0:
        print('Load model failed!')
        exit(ret)
    print('done')

    # 构建RKNN模型
    print('--> Building model')
    ret = rknn.build(do_quantization=do_quant, dataset=DATASET_PATH)
    if ret != 0:
        print('Build model failed!')
        exit(ret)
    print('done')

    # 导出RKNN模型
    print('--> Export rknn model')
    ret = rknn.export_rknn(output_path)
    if ret != 0:
        print('Export rknn model failed!')
        exit(ret)
    print('done')

    # 释放资源
    rknn.release()

保存，运行如下命令

# 用法: python convert.py model_path [rk3566|rk3588|rk3562] [i8/u8/fp] [output_path]
python convert.py ./yolo11n.onnx rk3588 i8 ./yolo11n.rknn

看到下面的运行效果表示转换成功，并且可以看到当前目录下多了一个 yolo11n.rknn 文件。

image.png

关于转换过程中用到的具体函数参数，可以参考 RKNN-Toolkit2 文档，这里不再过多赘述。

示例代码仓库：https://github.com/qaz624824554/rknn_trans_test

总结

本文介绍了如何在 RK3588 平台上进行主流深度学习框架模型转换，并提供了完整的示例代码。希望对大家有所帮助。

如果大家有任何问题，欢迎在评论区留言，我会尽快回复。

如果觉得本文对你有帮助，欢迎点赞、收藏、转发。

谢谢大家！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/967122.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

STM32的HAL库开发---高级定时器---互补输出带死区实验

STM32的HAL库开发---高级定时器---互补输出带死区实验

一、互补输出简介 互补输出&#xff1a;OCx输出高电平&#xff0c;则互补通道OCxN输出低电平。OCx输出低电平&#xff0c;则互补通道OCxN输出高电平。 带死区控制的互补输出&#xff1a;OCx输出高电平时&#xff0c;则互补通道OCxN过一会再输出输出低电平。这个时间里输出的电…
阅读更多...
git提交到GitHub问题汇总

git提交到GitHub问题汇总

1.main->master git默认主分支是maser&#xff0c;如果是按照这个分支名push&#xff0c;GitHub会出现两个branch&#xff0c;与预期不符 解决方案&#xff1a;更改原始主分支名为main git config --global init.defaultBranch main2.git&#xff1a;OpenSSL SSL_read: SS…
阅读更多...
【图片合并转换PDF】如何将每个文件夹下的图片转化成PDF并合并成一个文件？下面基于C++的方式教你实现

【图片合并转换PDF】如何将每个文件夹下的图片转化成PDF并合并成一个文件？下面基于C++的方式教你实现

医院在为患者进行诊断和治疗过程中&#xff0c;会产生大量的医学影像图片&#xff0c;如 X 光片、CT 扫描图、MRI 图像等。这些图片通常会按照检查时间或者检查项目存放在不同的文件夹中。为了方便医生查阅和患者病历的长期保存&#xff0c;需要将每个患者文件夹下的图片合并成…
阅读更多...
vite + axios 代理不起作用 404 无效

vite + axios 代理不起作用 404 无效

vite axios 代理不起作用 先看官方示例 export default defineConfig({server: {proxy: {// 字符串简写写法/foo: http://localhost:4567,// 选项写法/api: {target: http://jsonplaceholder.typicode.com,changeOrigin: true,rewrite: (path) > path.replace(/^\/api/, )…
阅读更多...
Spring Boot接入Deep Seek的API

Spring Boot接入Deep Seek的API

1&#xff0c;首先进入deepseek的官网&#xff1a;DeepSeek | 深度求索&#xff0c;单击右上角的API开放平台。 2&#xff0c;单击API keys&#xff0c;创建一个API&#xff0c;创建完成务必复制&#xff01;&#xff01;不然关掉之后会看不看api key&#xff01;&#xff01;&…
阅读更多...
Windows 系统下使用 Ollama 离线部署 DeepSeek - R1 模型指南

Windows 系统下使用 Ollama 离线部署 DeepSeek - R1 模型指南

引言 随着人工智能技术的飞速发展&#xff0c;各类大语言模型层出不穷。DeepSeek - R1 凭借其出色的语言理解和生成能力&#xff0c;受到了广泛关注。而 Ollama 作为一款便捷的模型管理和部署工具&#xff0c;能够帮助我们轻松地在本地环境中部署和使用模型。本文将详细介绍如…
阅读更多...
Python+Flask搭建属于自己的B站，管理自己电脑里面的视频文件。支持对文件分类、重命名、删除等操作。

Python+Flask搭建属于自己的B站，管理自己电脑里面的视频文件。支持对文件分类、重命名、删除等操作。

适用场景 个人用户：管理本地图片和视频文件，快速查找和分类。 团队协作：共享文件分类标签，提升团队文件管理效率。 教育机构：用于教学资源管理，方便教师和学生查找资料。 企业应用：作为内部文件管理系统，支持批量操作和分类管理。 功能介绍 文件浏览与播放：用户可以浏…
阅读更多...
深入Linux系列之进程地址空间

深入Linux系列之进程地址空间

深入Linux系列之进程地址空间 1.引入 那么在之前的学习中&#xff0c;我们知道我们创建一个子进程的话&#xff0c;我们可以在代码层面调用fork函数来创建我们的子进程&#xff0c;那么fork函数的返回值根据我们当前所处进程的上下文是返回不同的值&#xff0c;它在父进程中返…
阅读更多...
前端 CSS 动态设置样式：:class、:style 等技巧详解

前端 CSS 动态设置样式：:class、:style 等技巧详解

一、:class 动态绑定类名 v-bind:class&#xff08;缩写为 :class&#xff09;可以动态地绑定一个或多个 CSS 类名。 1. 对象语法 通过对象语法&#xff0c;可以根据条件动态切换类名。 <template><div :class"{ greenText: isActive, red-text: hasError }&…
阅读更多...
ArgoCD实战指南：GitOps驱动下的Kubernetes自动化部署与Helm/Kustomize集成

ArgoCD实战指南：GitOps驱动下的Kubernetes自动化部署与Helm/Kustomize集成

摘要 ArgoCD 是一种 GitOps 持续交付工具，专为 Kubernetes 设计。它能够自动同步 Git 仓库中的声明性配置，并将其应用到 Kubernetes 集群中。本文将介绍 ArgoCD 的架构、安装步骤，以及如何结合 Helm 和 Kustomize 进行 Kubernetes 自动化部署。 引言 为什么选择 ArgoCD？…
阅读更多...
go语言文件和目录

go语言文件和目录

打开和关闭文件 os.Open()函数能够打开一个文件&#xff0c;返回一个*File 和一个 err。操作完成文件对象以后一定要记得关闭文件。 package mainimport ("fmt""os" )func main() {// 只读方式打开当前目录下的 main.go 文件file, err : os.Open(".…
阅读更多...
LLM应用实践（1）- 物流状态判断

LLM应用实践（1）- 物流状态判断

原文&#xff1a;LLM应用实践&#xff08;1&#xff09;- 物流状态判断 稳定输出 JSON 字符串 为了能够更好的贴合实际的业务场景的应用&#xff0c;我们通常期望大模型返回的数据是 JSON 格式的&#xff0c;这样能够降低对大模型返回内容处理的复杂度&#xff0c;如果返回了…
阅读更多...
redis高级数据结构Stream

redis高级数据结构Stream

文章目录 背景stream概述消息 ID消息内容常见操作独立消费创建消费组消费 Stream弊端Stream 消息太多怎么办?消息如果忘记 ACK 会怎样?PEL 如何避免消息丢失?分区 Partition Stream 的高可用总结 背景 为了解决list作为消息队列是无法支持消息多播问题&#xff0c;Redis5.0…
阅读更多...
SpringMVC SpringMVC拦截器 拦截器基础知识

SpringMVC SpringMVC拦截器 拦截器基础知识

1.什么是拦截器 SpringMVC提供了Intercepter拦截器机制&#xff0c;类似于Servlet当中的Filter过滤器&#xff0c;用于拦截用户的请求并作出相应的处理&#xff0c;比如通过拦截器来进行用户权限验证或者用来判断用户是否登录。SpringMVC拦截器是可插拔式的设计&#xff0c;需…
阅读更多...
TAPEX：通过神经SQL执行器学习的表格预训练

TAPEX：通过神经SQL执行器学习的表格预训练

摘要 近年来&#xff0c;语言模型预训练的进展通过利用大规模非结构化文本数据取得了巨大成功。然而&#xff0c;由于缺乏大规模高质量的表格数据&#xff0c;在结构化表格数据上应用预训练仍然是一个挑战。本文提出了TAPEX&#xff0c;通过在一个合成语料库上学习神经SQL执行…
阅读更多...
Matlab机械手碰撞检测应用

Matlab机械手碰撞检测应用

本文包含三个部分&#xff1a; Matlab碰撞检测的实现URDF文件的制作机械手STL文件添加夹爪 一.Matlab碰撞检测的实现 首先上代码 %% 检测在结构环境中机器人是否与物体之间发生碰撞情况&#xff0c;如何避免&#xff1f; % https://www.mathworks.com/help/robotics/ug/che…
阅读更多...
激活函数篇 04 —— softmax函数

激活函数篇 04 —— softmax函数

将模型的输出转换为概率分布&#xff0c;使得模型能够输出每个类别的概率值。 Softmax ( a i ) e a i ∑ j 1 n e a j \text{Softmax}(a_i)\frac{e^{a_i}}{\sum_{j1}^n e^{a_j}} Softmax(ai​)∑j1n​eaj​eai​​ 其中&#xff0c; a i a_i ai​ 是输入向量中的第 i i i 个…
阅读更多...
软件工程的熵减：AI如何降低系统复杂度

软件工程的熵减：AI如何降低系统复杂度

软件开发的世界&#xff0c;如同一个不断膨胀的宇宙。随着功能的增加和时间的推移&#xff0c;代码库越来越庞大&#xff0c;系统复杂度也随之水涨船高。代码膨胀、维护困难、开发效率低下等问题困扰着无数开发者。这不禁让人联想到物理学中的“熵增”原理——一个孤立系统的熵…
阅读更多...
springboot008房屋租赁系统

springboot008房屋租赁系统

版权声明 所有作品均为本人原创&#xff0c;提供参考学习使用&#xff0c;如需要源码数据库配套文档请移步 www.taobysj.com 搜索获取 技术实现 开发语言&#xff1a;Javavue。 框架&#xff1a;后端spingboot前端vue。 模式&#xff1a;B/S。 数据库&#xff1a;mysql。 开…
阅读更多...
DeepSeek训练成本与技术揭秘

DeepSeek训练成本与技术揭秘

引言&#xff1a;在当今人工智能蓬勃发展的时代&#xff0c;DeepSeek 宛如一颗耀眼的新星&#xff0c;突然闯入大众视野&#xff0c;引发了全球范围内的热烈讨论。从其惊人的低成本训练模式&#xff0c;到高性能的模型表现&#xff0c;无一不让业界为之侧目。它打破了传统认知&…
阅读更多...
最新文章

Copyright @ 2022~2023