使用TensorFlow Lite Micro流程记录(带源码)

文章目录

  • 0 关于tflite micro
  • 1 克隆仓库
  • 2 编译静态库
  • 3 模型转换
  • 4 编写工程
  • 5 编写demo
    • 5.1 进行算子注册
  • 5.2 推理过程
  • 6 debug记录
    • 6.1 缺少算子
    • 6.2 注册表太小
    • 6.3 段错误
    • 6.4 进一步减小库体积
  • 7 实际部署

0 关于tflite micro

请添加图片描述

关于tflite micro在这里接不做过多介绍了，可以查看相关论文：TensorFlow Lite Micro: Embedded Machine Learning on TinyML Systems

我非常喜欢tflite micro，占用资源很少，是一个用来学习推理框架的好工程。

1 克隆仓库

在tensorflow的git里面，看到git已经迁移至一个单独的仓库。

As of June 25, 2021, the TFLM codebase has moved to a stand-alone github repository.

于是执行命令：
git clone https://github.com/tensorflow/tflite-micro.git

2 编译静态库

求助了ChatGPT 4.0：

「在这个 https://github.com/tensorflow/tflite-micro ， 怎么编译静态库？」

在TensorFlow Lite Micro的GitHub仓库中，你可以使用以下步骤来编译静态库：

首先，你需要克隆仓库：
git clone https://github.com/tensorflow/tflite-micro.git

进入克隆下来的仓库目录：
cd tflite-micro

使用make命令编译静态库：
make -f tensorflow/lite/micro/tools/make/Makefile TARGET=<TARGET> TARGET_ARCH=<ARCH> microlite

在上述命令中，<TARGET>应替换为你的目标平台（如linux），<ARCH>应替换为你的目标架构（如x86_64）。这将在tensorflow/lite/micro/tools/make/gen/<TARGET>_<ARCH>/lib/目录下生成一个名为libtensorflow-microlite.a的静态库。

请注意，你可能需要根据你的具体需求和环境来修改这些步骤。例如，你可能需要安装额外的依赖库，或者修改makefile来包含你需要的特性。

真是太棒了，于是我执行指令：

make -f tensorflow/lite/micro/tools/make/Makefile TARGET=linux TARGET_ARCH=x86_64 microlite

在 make/download/ 目录下，分别下载了flatbuffers、gemmlowp、kissfft、pigweed、ruy(如果你“网络不佳”，这里可能要花些精力)。

编译完成后，得到了静态库文件——
ar: creating gen/linux_x86_64_default/lib/libtensorflow-microlite.a

3 模型转换

以lenet5模型为例：

  1. 先把tflite模型转换为cpp文件：
    xxd -i lenet5.tflite > lenet5.cpp
  2. 包一下模型接口
    在lenet5.cpp的文件最后加入了这几行代码
    unsigned char * get_model_pointer()
{
    return lenet5_tflite;
}

unsigned int get_model_size()
{
    return lenet5_tflite_len;
}
  3. 增加函数头文件
    #ifndef __MODEL_INTERFACE_H__
#define __MODEL_INTERFACE_H__

unsigned char * get_model_pointer();
unsigned int get_model_size();

#endif
    这样代码相对比较规范一些，当然也可以直接xxd成头文件直接引用。

4 编写工程

整个工程比较简单，为了方便引用头文件，我在tflite-micro下新建了一个demo文件夹：

.
├── demo
│   └── x86
│       ├── libtensorflow-microlite.a
│       ├── Makefile
│       ├── models
│       │   ├── lenet5.cpp
│       │   ├── lenet5.tflite
│       │   └── model_interface.h
│       ├── model_test.cpp
│       └── test

相关工程已经开源至github，欢迎star，欢迎pr～

5 编写demo

5.1 进行算子注册

首先可以看一下模型有哪些算子，以便于确认算子注册类型。（在netron查看tflite模型）
在这里插入图片描述

namespace {
  using OpResolver = tflite::MicroMutableOpResolver<8>;
  TfLiteStatus RegisterOps(OpResolver& op_resolver) {
    TF_LITE_ENSURE_STATUS(op_resolver.AddAdd());
    TF_LITE_ENSURE_STATUS(op_resolver.AddConv2D());
    TF_LITE_ENSURE_STATUS(op_resolver.AddFullyConnected());
    TF_LITE_ENSURE_STATUS(op_resolver.AddMaxPool2D());
    TF_LITE_ENSURE_STATUS(op_resolver.AddMul());
    TF_LITE_ENSURE_STATUS(op_resolver.AddReshape());
    TF_LITE_ENSURE_STATUS(op_resolver.AddSoftmax());
    TF_LITE_ENSURE_STATUS(op_resolver.AddTanh());
    return kTfLiteOk;
  }
}  // namespace

这个过程就是把要用到的算子进行注册。实际上我是缺什么算子加什么就好了。详细过程可以见算子注册debug过程

5.2 推理过程

TfLiteStatus LoadFloatModelAndPerformInference() {
  // get_model_pointer() 送入的就是lenet5的模型指针了
  const tflite::Model* model =
      ::tflite::GetModel(get_model_pointer());
  // 检查模型的版本是否匹配当前的 TFLite 版本。
  TFLITE_CHECK_EQ(model->version(), TFLITE_SCHEMA_VERSION);
  // printf("model->version() = %d\n", model->version()); // 好奇的话可以看看版本
  // 创建一个操作符解析器。
  OpResolver op_resolver; 
  // 注册模型中使用的操作符。
  TF_LITE_ENSURE_STATUS(RegisterOps(op_resolver)); 

  // Arena size just a round number. The exact arena usage can be determined
  // using the RecordingMicroInterpreter.
  // 定义一个 2MB 的张量内存区域（tensor_arena），用于解释器分配张量。先往大了写，之后再往小了调
  constexpr int kTensorArenaSize = 1024 * 2000; 
  uint8_t tensor_arena[kTensorArenaSize];
  
  // 创建解释器实例。
  tflite::MicroInterpreter interpreter(model, op_resolver, tensor_arena,
                                       kTensorArenaSize);
  // 调用 AllocateTensors 方法在 tensor_arena 中分配模型所需的张量内存。
  TF_LITE_ENSURE_STATUS(interpreter.AllocateTensors());

  float input_data[32*32];
  float output_data[10];

  for(int i = 0; i < 32*32; i++) {
    input_data[i] = 1.f;
  }
  // 获取输入和输出张量的指针，并检查它们是否为空。
  TfLiteTensor* input = interpreter.input(0);
  TFLITE_CHECK_NE(input, nullptr);
  TfLiteTensor* output = interpreter.output(0);
  TFLITE_CHECK_NE(output, nullptr);
  // 将输入数据复制到输入张量中。
  float* inTensorData = tflite::GetTensorData<float>(input);
  memcpy(inTensorData, input_data, input->bytes);
  // 调用 interpreter.Invoke() 执行推理。
  TF_LITE_ENSURE_STATUS(interpreter.Invoke());
  // 将输出张量的数据复制到 output_data 中，并打印第一个输出值。
  // 当然也可以直接打印 tflite::GetTensorData<float>(output)
  memcpy(&output_data[0], tflite::GetTensorData<float>(output), output->bytes);
  printf("output = %f\n", output_data[0]);
  // 打印使用的内存大小，现在可以根据这个数值去调整 kTensorArenaSize 了。
  printf("arena_used_bytes = %ld\n", interpreter.arena_used_bytes());
  return kTfLiteOk;
}

6 debug记录

6.1 缺少算子

make后运行./test， 报错：

Didn't find op for builtin opcode 'TANH'
Failed to get registration from op code TANH
 
Segmentation fault (core dumped)

问题很明确，没有进行tanh的算子注册。
具体怎么写呢？在tflite-micro/tensorflow/lite/micro/micro_mutable_op_resolver.h这里很容易找到。

6.2 注册表太小

正在一个一个加算子的过程中，遇到这么一个问题：

Couldn't register builtin op #22, resolver size 
is too small (5).

这是因为我定义的数量是5个。
using OpResolver = tflite::MicroMutableOpResolver<5>;
把这个增大到算子类型的数量一样就可以了。
这种小细节不注意的话确实容易把人劝退。

6.3 段错误

一旦执行到interpreter.input(0)->data.f[0] = 1.f;就段错误。
解决方式：
在makefile里面的CFLAGS加 -DTF_LITE_STATIC_MEMORY

6.4 进一步减小库体积

为了压缩体积，BUILD_TYPE使用了release进行编译，这期间会遇到MicroPrintf不支持的问题（release_with_logs是可以的），进行一些注释就可以。

以及进行-Os编译，可以减少很多体积占用。

7 实际部署

x86端调试完毕，接下来可以交叉编译tflite micro的库，然后代码移植到另一个工程就好了。

这个过程需要注意一下头文件不要少了。

这个过程可能会遇到诸多问题，欢迎评论交流。

相关源码已经开源至github，欢迎star，欢迎pr～

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/633104.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

vue3结合element-plus之如何优雅的使用表单组件

vue3结合element-plus之如何优雅的使用表单组件

背景 在日常开发中，我们会经常使用 element-ui 或者是 antdesign 或者是 element-plus 等组件库实现搜索功能 这里就需要用到相关表单组件 下面就以 element-plus 为例，我们实现一个搜索功能的组件，并且随着屏幕尺寸的变化，其布局也会跟随变化 最终大致效果如下： 这里…
阅读更多...
MySql：多表设计-关联查询

MySql：多表设计-关联查询

目录 多表设计 代码 运行 数据库设计范式 设计三范式 1、第一范式&#xff1a; 2、第二范式&#xff1a; 3、第三范式&#xff1a; 多表设计_关联查询 外键 外键约束 代码 运行 注意&#xff1a; 应用 代码 运行 代码 运行 关联查询 含义&#xff1a; …
阅读更多...
Android14之Binder调试(二百一十一)

Android14之Binder调试(二百一十一)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 优质专栏&#xff1a;多媒…
阅读更多...
服务器数据恢复—服务器正常断电重启后raid信息丢失的数据恢复案例

服务器数据恢复—服务器正常断电重启后raid信息丢失的数据恢复案例

服务器数据恢复环境&#xff1a; 一台某品牌DL380 G4服务器&#xff0c;服务器通过该服务器品牌smart array控制器挂载了一台国产的磁盘阵列&#xff0c;磁盘阵列中有一组由14块SCSI硬盘组建的RAID5。服务器安装LINUX操作系统&#xff0c;搭建了NFSFTP&#xff0c;作为内部文件…
阅读更多...
【LeetCode】【1】两数之和（1141字）

【LeetCode】【1】两数之和（1141字）

文章目录 [toc]题目描述样例输入输出与解释样例1样例2样例3 提示进阶Python实现哈希表 个人主页&#xff1a;丷从心 系列专栏&#xff1a;LeetCode 刷题指南&#xff1a;LeetCode刷题指南 题目描述 给定一个整数数组nums和一个整数目标值target&#xff0c;请在该数组中找出…
阅读更多...
传感器通过Profinet转Modbus网关与PLC通讯在生产线的应用

传感器通过Profinet转Modbus网关与PLC通讯在生产线的应用

Profinet转Modbus&#xff08;XD-MDPN100/300&#xff09;网关可视作一座桥梁&#xff0c;能够实现Profinet协议与Modbus协议相互转换&#xff0c;支持Modbus RTU主站/从站&#xff0c;并且Profinet转Modbus网关设备自带网口和串口&#xff0c;既可以实现协议的转换&#xff0c…
阅读更多...
【Java基础】IO流(4) —— 转换流、打印流

【Java基础】IO流(4) —— 转换流、打印流

【Java基础】IO流(1) —— 简介 【Java基础】IO流(2) —— 字符流 【Java基础】IO流(3) —— 字节流 【Java基础】IO流(4) —— 转换流、打印流 【Java基础】IO流(5) —— 序列流、内存流 【Java基础】IO流(6) —— 随机访问文件流、数据流 转换流 InputStreamReader 是字节输…
阅读更多...
VUE H5字体在安卓手机偏上解决

VUE H5字体在安卓手机偏上解决

安卓手机展示样式,数字偏上,展示效果如图: 项目内添加新字体,引用新字体 vue 项目需要引入字体的话, 可以移步到这篇文章(无需下载依赖包)Vue3中引入外部自定义字体 项目文件assets内创建font文件夹, 粘贴你想用的字体, 创建对应的css文件; scss代码: font-face {/* 自定义的…
阅读更多...
前端学习-day08

前端学习-day08

文章目录 01-相对定位02-绝对定位03-绝对定位居中04-固定定位05-堆叠顺序06-CSS精灵-基本使用07-案例-京东服务08-字体图标10.垂直对齐方式11-过度12-透明度13-光标类型14-轮播图 01-相对定位 <!DOCTYPE html> <html lang"en"> <head><meta ch…
阅读更多...
k8s 声明式资源管理

k8s 声明式资源管理

一、资源配置清单的管理 1.1 查看资源配置清单 声明式管理方法&#xff1a; 1.适合于对资源的修改操作 2.声明式资源管理方法依赖于资源配置清单文件对资源进行管理 资源配置清单文件有两种格式&#xff1a;yaml&#xff08;人性化&#xff0c;易读&#xff09;&#xff0c;j…
阅读更多...
高性能负载均衡的分类及架构分析

高性能负载均衡的分类及架构分析

如何选择与部署适合的高性能负载均衡方案&#xff1f; 当单服务器性能无法满足需求&#xff0c;高性能集群便成为提升系统处理能力的关键。其核心在于通过增加服务器数量&#xff0c;强化整体计算能力。而集群设计的挑战在于任务分配&#xff0c;因为无论在哪台服务器上执行&am…
阅读更多...
【C++初阶】--- C++入门（上）

【C++初阶】--- C++入门（上）

目录 一、C的背景及简要介绍1.1 什么是C1.2 C发展史1.3 C的重要性 二、C关键字三、命名空间2.1 命名空间定义2.2 命名空间使用 四、C输入 & 输出 一、C的背景及简要介绍 1.1 什么是C C语言是结构化和模块化的语言&#xff0c;适合处理较小规模的程序。对于复杂的问题&…
阅读更多...
看看汉朝有庙号的七位皇帝，你就知道含金量有多高？

看看汉朝有庙号的七位皇帝，你就知道含金量有多高？

汉朝拥有庙号的七位皇帝你们知道是谁吗&#xff1f; 相比于后世皇帝人手一个庙号的景象&#xff0c;汉朝皇帝庙号的使用是相当严谨的。很多原本拥有庙号的皇帝&#xff0c;最后因为功绩不多或者无功无德&#xff0c;最终被废除庙号。因此&#xff0c;汉朝谨遵“祖有功宗有德”…
阅读更多...
LeetCode:78.子集

LeetCode:78.子集

解答 class Solution:def subsets(self, nums: List[int]) -> List[List[int]]:res[[]]for i in nums:res[[i]num for num in res]return res代码解释 这段代码定义了一个名为Solution的类&#xff0c;并在其中定义了一个名为subsets的方法。该方法接受一个整数列表nums作…
阅读更多...
Easy-poi 和 EasyExcel 选型

Easy-poi 和 EasyExcel 选型

目录 共同点地址如何选 共同点 easy-poi 和 easyexcel 都是基于 apache poi 进行二次开发的&#xff0c;底层都是依赖的 apache poi使用简单&#xff0c;都可以通过简单的注解实现excel文件的导入导出 地址 esay poi 是一个开源的 excel,word 处理框架。链接 easy excel 是…
阅读更多...
Vue 3入门指南

Vue 3入门指南

title: Vue 3入门指南 date: 2024/5/23 19:37:34 updated: 2024/5/23 19:37:34 categories: 前端开发 tags: 框架对比环境搭建基础语法组件开发响应式系统状态管理路由配置 第1章&#xff1a;Vue 3简介 1.1 Vue.js的历史与发展 Vue.js由前谷歌工程师尤雨溪&#xff08;Eva…
阅读更多...
Java NIO 基础

Java NIO 基础

Java NIO 基础 1. NIO 介绍2. NIO 三大组件2.1 Channel2.1.1 常见的 Channel2.1.2 常用方法 2.2 Buffer2.2.1 常见的 Buffer2.2.2 重要属性2.2.3 常用方法 2.3 Selector2.3.1 四种事件类型 1. NIO 介绍 NIO&#xff08;non-blocking io&#xff09;&#xff1a;非阻塞IO&#…
阅读更多...
无网环境禁止 WPS 提示登录，且基本功能按钮可用

无网环境禁止 WPS 提示登录，且基本功能按钮可用

目前 WPS 升级后&#xff0c;每次打开都会提示你登录 WPS&#xff0c;并且在未登录之前所有基本功能按钮是置灰状态&#xff0c;无法使用。 如此一来&#xff0c;在内网或无网环境&#xff0c;我们无法登陆 WPS &#xff0c;就给我们的使用带来了极大的不便&#xff0c;那么有没…
阅读更多...
go升级后 编译的exe在win7上无法正常运行

go升级后 编译的exe在win7上无法正常运行

D:/Go/src/runtime/sys_windows_amd64.s:65 x75 fpx22fca sp-0x22fc8日 升级到go 1.21后报一堆错误&#xff0c;要死了啊 原来是go 1.21不支持win7了&#xff0c;必须把go退回到1.20版本 谷歌发布编程语言 Go 1.21 版本&#xff1a;取消支持微软 Win7/8 及苹果 macOS 10.13/10…
阅读更多...
Vue3实战笔记（33）—组件传值props终章

Vue3实战笔记（33）—组件传值props终章

文章目录 前言一、运行时声明、基于类型的声明二、一个小小的好奇心三、非 script setup场景下总结 前言 在 Vue 3 中&#xff0c;组件的声明方式主要有两种&#xff1a;运行时声明和基于类型的声明。这两种方式在 Vue 3 的 Composition API 中体现得尤为明显。 一、运行时声明…
阅读更多...
最新文章

Copyright @ 2022~2023