2023 电赛 E 题 激光笔识别有误--使用K210/Openmv/树莓派/Jetson nano实现激光笔在黑色区域的目标检测

1. 引言

1.1 激光笔在黑色区域目标检测的背景介绍

在许多应用领域，如机器人导航、智能家居和自动驾驶等，目标检测技术的需求日益增加。本博客将聚焦于使用K210芯片实现激光笔在黑色区域的目标检测。

激光笔在黑色区域目标检测是一个有趣且具有挑战性的问题。我们将通过使用K210芯片和相关算法，能够准确地检测出激光笔在黑色区域的位置和姿态，以便后续应用。

1.2 K210芯片的概述和优势

K210芯片是由中国公司苏州芯原科技（Sipeed）开发的一款高性能、低功耗的人工智能边缘计算芯片。它采用RISC-V架构，具备强大的计算能力和丰富的外设接口，特别适合用于嵌入式人工智能应用。

K210芯片的主要优势包括：

  • 高性能：K210芯片搭载了双核64位处理器和一颗专门的神经网络加速器，可以实现快速而高效的神经网络推断。
  • 低功耗：K210芯片采用先进的低功耗设计，能够在边缘设备上实现节能运行和长时间使用。
  • 丰富的外设接口：K210芯片具备多种外设接口，如摄像头和显示器接口，方便与其他硬件设备进行连接和交互。
  • 开源优势：K210芯片使用RISC-V架构，而且软硬件都有开源社区支持，提供了更灵活、可定制的开发环境。

2. 硬件准备

2.1 K210芯片介绍

K210芯片是一款先进的人工智能边缘计算芯片，具备强大的计算能力和丰富的外设接口。为了实现激光笔在黑色区域的目标检测，我们需要准备以下硬件设备：

  • K210开发板：选择一款基于K210芯片的开发板，如Sipeed Maixduino等。
  • 摄像头模块：选择一款兼容K210开发板的摄像头模块，常用的有OV2640和GC0328等。
  • 激光笔：准备一支激光笔，用于在黑色区域绘制目标标记。

2.2 连接摄像头和激光笔

在进行目标检测之前，我们需要将摄像头和激光笔连接到K210开发板上。

首先，将摄像头模块插入到K210开发板的摄像头接口上。确保插入牢固，并注意摄像头的方向。

接下来，将激光笔的电源线与K210开发板的电源接口相连。根据激光笔的规格和开发板的接口类型，选择合适的连接方式，如直插或使用杜邦线连接。

完成连接后，确保所有接口插头都插入正确，并且牢固稳定。这样，我们就完成了摄像头和激光笔与K210开发板的硬件连接。

在进行下一步之前，建议对连接进行检查，确保没有松动或错误连接的情况。

3. 软件准备

3.1 K210开发环境搭建

K210 技术文档

为了开始进行激光笔在黑色区域的目标检测，我们需要搭建K210的开发环境。以下是一些主要的步骤和要求：

官方安装方法

  • 安装MaixPy IDE：MaixPy IDE是一个适用于K210芯片的集成开发环境。您可以从官方网站上下载并安装MaixPy IDE。请确保选择适用于您的操作系统的版本，并按照安装向导进行安装。

  • 安装kflash_gui：kflash_gui是一个用于将固件烧录到K210芯片的图形化工具。您可以在GitHub上找到kflash_gui的源代码，并按照说明进行安装。

  • 固件下载：K210芯片使用的固件是MicroPython的一个分支，称为MaixPy固件。您可以从官方网站或GitHub仓库下载MaixPy固件。请根据您的K210开发板型号和硬件配置选择正确的固件版本。固件下载地址

  • 固件烧录：使用kflash_gui工具，将下载好的MaixPy固件烧录到K210芯片上。连接K210开发板到计算机上，并按照kflash_gui的指南选择正确的端口和固件文件，然后开始烧录过程。

  • 连接硬件设备：在进行激光笔目标检测之前，需要连接适当的硬件设备，例如摄像头或传感器等。根据您的具体需求和硬件配置，确保正确连接硬件设备到K210开发板。

3.2 安装相关Python库

在进行激光笔目标检测之前，我们需要安装一些必要的Python库，安装python用于实现将图片进行标注：

labelimg

pip install labelimg -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install PyQt5_tools -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install PyQt5_tools -i https://pypi.tuna.tsinghua.edu.cn/simple

安装结束后，在cmd中输入labelimg，出现弹框即为labelimg页面 

 图1  labelimg 初始界面

 图2  labelimg 标注界面 

4. 模型训练与优化

4.1 数据采集和准备

在开始实现激光笔目标检测算法之前，我们需要进行数据采集和准备。以下是一些主要的步骤：

  • 采集黑色区域图片：使用摄像头模块拍摄一系列黑色区域的图片。确保图片中有激光笔绘制的目标标记，并控制光线和背景条件的一致性。

图3 拍摄的激光笔黑色区域 

  • 标注目标位置：对采集到的图片进行目标位置的标注。可以使用图像标注工具（如LabelImg）来标注目标的边界框，并生成对应的标注文件。

  • 划分训练集和测试集：将采集到的数据分为训练集和测试集。通常将数据的80％用于训练，20％用于测试。

  • 数据增强：对训练集进行数据增强操作，以扩充训练数据的多样性。例如，可以进行随机旋转、翻转、缩放和平移等操作。

完成上述步骤后，您就准备好了用于训练和测试激光笔目标检测算法的数据集。

注意：在对数据集进行采集时，采集的数据要与使用场地的图片一致。比如：该模型要在白天使用，那么就在白天拍摄图片；该模型要在晚上使用，那么就在晚上拍摄图片；该模型要在球场使用，那么就在球场拍摄图片。对于收集的数据量，一般来说，对于一个类别，那就在500张左右。

注意：在进行收集图像时，图像的尺寸大小最好为[640，640] ，尺寸太小或太大都会影响识别的准确率。

4.2 模型选择

为了实现激光笔目标检测，我们需要选择合适的目标检测模型，并进行训练。

对于K210来说，不同的型号使用的最佳模型不同，在官方的模型，使用的模型有yolov2、yolov3、

yolov4、yolov7、yolovx。这些模型，对于一般的K210，建议使用yolov3模型进行训练。当然，模型越高，训练的效果越好，但是要看自己的开发板能否实现。

4.3 模型训练

可以在线训练和本地训练两种方法。

K210：

Maixhub 模型训练 - Sipeed Wiki

K210 在线训练 官网

本地模型训练 for Linux - Sipeed Wiki

本地训练 for windows - Sipeed Wiki

Openmv:

OpenVINO应用案例：部署YOLO模型到边缘计算摄像头_将算法部署到摄像机中_同学来啦的博客-CSDN博客

https://github.com/SingTown/Traffic-Sign-FOMO/blob/main/README-CN.md
 

树莓派：

树莓派4B训练yolo模型

Jetson nano：

https://github.com/SingTown/Traffic-Sign-FOMO/blob/main/README-CN.md

选择模型后，我们可以使用已准备好的数据集对模型进行训练。通常，训练目标检测模型的步骤如下：

  1. 加载数据集：将准备好的数据集导入到模型中，包括训练集和测试集。

  2. 模型初始化：根据选择的模型架构，初始化一个空的目标检测模型。

  3. 优化器选择：选择合适的优化器，如Adam或SGD，用于优化模型参数。

  4. 模型训练：使用训练集数据对模型进行训练，并在每个训练周期（epoch）结束后，使用测试集数据评估模型性能。

  5. 模型保存：在训练过程中，选择合适的检查点（checkpoint）来保存训练过程中的模型参数。

注意：在使用训练时，一般不用修改参数，需要修改的参数为训练轮数、识别类别、GPU是否使用、模型文件、输入图像大小。

完成上述步骤后，一个激光笔目标检测模型就可以使用了。

4.4 模型预测

在模型训练好后，就可以使用训练好的模型进行检测，识别激光笔。

 K210 识别代码

from fpioa_manager import * 
import sensor,image,lcd,time  

import KPU as kpu
task = kpu.load(0x300000)   # 加载模型

lcd.init(freq=15000000) 

sensor.reset()  
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA) 

sensor.set_windowing((224, 224))
sensor.set_brightness(2)  #设置亮度（范围为[-2~2]）
#sensor.set_contrast(-1)  #设置对比度（范围为[-2,+2]）
#sensor.set_auto_gain(1,2) #设置摄像自动增益模式
sensor.run(1)  #图像捕捉控制(1:开始捕捉；0：关闭捕捉)

clock = time.clock() #获取clock对象
classes = ['light']

anchor = (1, 1.2, 2, 3, 4, 3, 6, 4, 5, 6.5)
a = kpu.init_yolo2(task, 0.17, 0.3, 5, anchor) #为yolov2网络模型传入初始化参数
#（task, 0.17, 0.3, 5, anchor）分别为 kpu网络对象、概率阙值、box_iou门限、锚点数、锚点参数与模型参数一致

while(True):
     clock.tick() #记录开始时间（ms）
     img = sensor.snapshot()    #使用摄像头拍摄一张照片

     code = kpu.run_yolo2(task, img)  #task为 kpu_load 返回的 kpu_net 对象
                                      #img为从sensor 采集到的图像
                                      #run_yolo2返回的值为kpu_yolo2_find 的列表
     if code:
         for i in code:
             a=img.draw_rectangle(i.rect()) #在图像上绘制一个矩形。此处为作为元组传递回坐标框出矩形
                                            #传回的是检测到的图像的四个坐标

             a = lcd.display(img) #在液晶屏上显示被框框框起来的image

             print("物体是：",classes[i.classid()]) # 打印出识别的类别
             print("概率为：",100.00*i.value()) # 打印出置信度

     else:
         a = lcd.display(img) # 如果没有识别出物体，则继续呈现图像

a = kpu.deinit(task) #反初始化。kpu_load 返回 kpu_net 对象

5. 最终效果 

 

图4 模型识别结果

 注意：模型识别的准确度与图片标注的质量和图片数量有关。

硬性的标准其实限制不了无限可能的我们，所以啊！少年们加油吧！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/58292.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

cpolar内网穿透外网远程访问本地网站

cpolar内网穿透外网远程访问本地网站

cpolar内网穿透外网远程访问本地网站 文章目录 cpolar内网穿透外网远程访问本地网站 在现代人的生活中，电脑是离不开的重要设备，大家看到用到的各种物品都离不开电脑的支持。尽管移动电子设备发展十分迅速，由于其自身存在的短板，使…
阅读更多...
css， resize 拖拉宽度

css， resize 拖拉宽度

效果如下&#xff1a; 可直接复制预览查看属性值: 关键样式属性&#xff1a; resize: horizontal; overflow-x: auto; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content…
阅读更多...
Qt应用开发(基础篇)——数值微调输入框QAbstractSpinBox、QSpinBox、QDoubleSpinBox

Qt应用开发(基础篇)——数值微调输入框QAbstractSpinBox、QSpinBox、QDoubleSpinBox

目录 一、前言 二、QAbstractSpinBox类 1、accelerated 2、acceptableInput 3、alignment 4、buttonSymbols 5、correctionMode 6、frame 7、keyboardTracking 8、readOnly 9、showGroupSeparator 10、specialValueText 11、text 12、wrapping 13、信号 二、Q…
阅读更多...
pytorch实战-图像分类（一）（数据预处理）

pytorch实战-图像分类（一）（数据预处理）

目录 1.导入各种库 2.数据预处理 2.1数据读取 2.2图像增强 3.构建数据网络 3.1网络构建 3.2读取标签对应的名字 4.展示数据 4.1数据转换 4.2画图 5.模型训练 1.导入各种库 上代码&#xff1a; import os import matplotlib.pyplot as plt %matplotlib inline import nu…
阅读更多...
一台电脑给另外一台电脑共享网络

一台电脑给另外一台电脑共享网络

这里写自定义目录标题 有网的电脑上操作一根网线连接两台电脑没网的电脑上 有网的电脑上操作 右键->属性->共享 如同选择以太网&#xff0c;勾选。确认。 一根网线连接两台电脑 没网的电脑上 没网的电脑为mips&麒麟V10 新增个网络配置ww&#xff0c;设置如下。 …
阅读更多...
2.05 购物车后台刷新并显示

2.05 购物车后台刷新并显示

一.用户登录添加商品使用cookie存入购物车&#xff0c;并把购物车商品传入到后台 步骤1&#xff1a;创建购物车BO对象 public class ShopcartBO {private String itemId;private String itemImgUrl;private String itemName;private String specId;private String specName;p…
阅读更多...
7.物联网操作系统互斥信号量

7.物联网操作系统互斥信号量

1.使用互斥信号量解决信号量导致的优先级反转&#xff0c; 2.使用递归互斥信号量解决互斥信号量导致的死锁。 3.高优先级主函数中多次使用同一信号量的使用&#xff0c;使用递归互斥信号量&#xff0c;但要注意每个信号量的使用要对应一个释放 优先级翻转问题 优先级翻转功能需…
阅读更多...
牛客网Verilog刷题——VL48

牛客网Verilog刷题——VL48

牛客网Verilog刷题——VL48 题目答案 题目 在data_en为高期间&#xff0c;data_in将保持不变&#xff0c;data_en为高至少保持3个B时钟周期。表明&#xff0c;当data_en为高时&#xff0c;可将数据进行同步。本题中data_in端数据变化频率很低&#xff0c;相邻两个数据间的变化&…
阅读更多...
【计算机视觉|人脸建模】SOFA：基于风格、由单一示例的2D关键点驱动的3D面部动画

【计算机视觉|人脸建模】SOFA：基于风格、由单一示例的2D关键点驱动的3D面部动画

本系列博文为深度学习/计算机视觉论文笔记&#xff0c;转载请注明出处 标题&#xff1a;SOFA: Style-based One-shot 3D Facial Animation Driven by 2D landmarks 链接&#xff1a;SOFA: Style-based One-shot 3D Facial Animation Driven by 2D landmarks | Proceedings of …
阅读更多...
磁盘均衡器：HDFS Disk Balancer

磁盘均衡器：HDFS Disk Balancer

HDFS Disk Balancer 背景产生的问题以及解决方法 hdfs disk balancer简介HDFS Disk Balancer功能数据传播报告 HDFS Disk Balancer开启相关命令 背景 相比较于个人PC&#xff0c;服务器一般可以通过挂载多块磁盘来扩大单机的存储能力在Hadoop HDFS中&#xff0c;DataNode负责最…
阅读更多...
【数据结构与算法】线索化二叉树

【数据结构与算法】线索化二叉树

线索化二叉树 n 个节点的二叉链表中含有 n 1 【公式 2n - (n - 1) n 1】个空指针域。利用二叉链表中的空指针域&#xff0c;存放指向该节点在某种遍历次序下的前驱和后继节点的指针&#xff08;这种附加的指针称为“线索”&#xff09;。这种加上了线索的二叉链表称为线索链…
阅读更多...
网站是如何进行访问的？在浏览器地址栏输入网址并回车的一瞬间到页面能够展示回来，经历了什么？

网站是如何进行访问的？在浏览器地址栏输入网址并回车的一瞬间到页面能够展示回来，经历了什么？

这个问题是检验web和计网学习程度的经典问题。 网站访问流程&#xff1a; 1.域名->ip地址 1) 在输入完一个域名之后&#xff0c;首先是检查浏览器自身的DNS缓存是否有相应IP地址映射&#xff0c;如果没有对应的解析记录&#xff0c;浏览器会查找本机的hosts配置文件&…
阅读更多...
【Spring Boot】Thymeleaf模板引擎 — Thymeleaf表达式

【Spring Boot】Thymeleaf模板引擎 — Thymeleaf表达式

Thymeleaf表达式 本节介绍Thymeleaf的各种表达式&#xff0c;通过一些简单的例子来演示Thymeleaf的表达式及用法。 1.变量表达式 变量表达式即获取后台变量的表达式。使用${}获取变量的值&#xff0c;例如&#xff1a; <p th:text"${name}">hello</p>…
阅读更多...
leetcode 763. 划分字母区间

leetcode 763. 划分字母区间

2023.8.3 本题的关键是要确保同一字母需要在同一片段中&#xff0c;而这就需要关注到每个字母最后一次出现的位置。 思路&#xff1a;用一个哈希表保存每个字母&#xff08;26个&#xff09;最后一次出现的位置。然后从头遍历&#xff0c;不断更新最右边界&#xff0c;直到当前…
阅读更多...
一个严肃的话题，ADR会取代WAF和RASP吗？

一个严肃的话题，ADR会取代WAF和RASP吗？

做安全的人应该都对WAF耳熟能详&#xff0c;也就是我们常说的Web应用防火墙&#xff0c;成为了应用安全防护的明星产品之一。从传统的防火墙、IDS、IPS&#xff0c;再到WAF横空出世&#xff0c;引领技术趋势若干年&#xff0c;这一阶段可以称为应用安全防护1.0时代。作为一款成…
阅读更多...
计算机毕设 深度学习疫情社交安全距离检测算法 - python opencv cnn

计算机毕设 深度学习疫情社交安全距离检测算法 - python opencv cnn

文章目录 0 前言1 课题背景2 实现效果3 相关技术3.1 YOLOV43.2 基于 DeepSort 算法的行人跟踪 4 最后 0 前言 &#x1f525; 这两年开始毕业设计和毕业答辩的要求和难度不断提升&#xff0c;传统的毕设题目缺少创新和亮点&#xff0c;往往达不到毕业答辩的要求&#xff0c;这两…
阅读更多...
jar命令的安装与使用

jar命令的安装与使用

场景&#xff1a; 项目中经常遇到使用WinR软件替换jar包中的文件&#xff0c;有时候存在WinRAR解压替换时提示没有权限&#xff0c;此时winRAR不能用还有有什么方法替换jar包中的文件。 方法&#xff1a; 使用jar命令进行修改替换 问题&#xff1a; 执行jar命令报错jar 不…
阅读更多...
【从零开始学习JAVA | 第三十七篇】初识多线程

【从零开始学习JAVA | 第三十七篇】初识多线程

目录 前言&#xff1a; ​编辑 引入&#xff1a; 多线程&#xff1a; 什么是多线程&#xff1a; 多线程的意义&#xff1a; 多线程的应用场景&#xff1a; 总结&#xff1a; 前言&#xff1a; 本章节我们将开始学习多线程&#xff0c;多线程是一个很重要的知识点&#xff…
阅读更多...
MYSQL进阶-事务

MYSQL进阶-事务

1.什么是数据库事务&#xff1f; 事务是一个不可分割的数据库操作序列&#xff0c;也是数据库并发控制的基本单位&#xff0c;其执 行的结果必须使数据库从一种一致性状态变到另一种一致性状态。事务是逻辑上 的一组操作&#xff0c;要么都执行&#xff0c;要么都不执行。 事务…
阅读更多...
使用 LangChain 搭建基于 Amazon DynamoDB 的大语言模型应用

使用 LangChain 搭建基于 Amazon DynamoDB 的大语言模型应用

LangChain 是一个旨在简化使用大型语言模型创建应用程序的框架。作为语言模型集成框架&#xff0c;在这个应用场景中&#xff0c;LangChain 将与 Amazon DynamoDB 紧密结合&#xff0c;构建一个完整的基于大语言模型的聊天应用。 本次活动&#xff0c;我们特意邀请了亚马逊云科…
阅读更多...
最新文章

Copyright @ 2022~2023