人体跟随小车(旭日x3派、yolov5、目标检测)

人体跟随小车（yolov5、目标检测）

    • 前言
    • 最终结果
    • 接线
    • 实现
    • 注意

前言

上板运行的后处理使用cython封装了，由于每个版本的yolo输出的形状不一样，这里只能用yolov5-6.2这个版本。
①训练自己的模型并部署于旭日x3派参考：
https://blog.csdn.net/m0_71523511/article/details/136546588/部署官方权重文件
https://blog.csdn.net/m0_71523511/article/details/136823320/部署自己训练的安全帽识别权重文件
②通过40pin引脚驱动减速电机参考：
https://blog.csdn.net/m0_71523511/article/details/136722608/视觉循迹小车

最终结果

跟随人体前进，当距离过近时会停车（没有使用深度相机，无法直接获取距离信息，简单根据检测框与图像的比值来确定是否停车），检测不到人时也会停车。根据目标（在这里是目标框中心的 x 坐标）与设定值（320）之间的偏差计算（PID）得到相应占空比驱动差速车轮。

人体跟随小车

接线

这里使用物理引脚编号：
在这里插入图片描述
旭日x3派连接TB6612驱动电机：
11、13引脚接AIN1、AIN2；15、16引脚接BIN1、BIN2；32引脚接PWMA；33引脚接PWMB引脚。TB6612的VCC接3.3v，VM和STBY接5V，有条件的VM可以接7-12V；AO1、AO2接左电机的正负极；BO1、BO2接右电机的正负极。

供电连线：
旭日x3派1.0板卡只能使用tpye-c口进行供电，2.0还可以使用40pin引脚中的5v引脚供电，推荐使用5v3a电源，否则板卡可能无法启动。
电源模块使用实验室的锂电池模组：额定输出电压为24V，3000mah，3c：
在这里插入图片描述

稳压模块使用LM2596S，将输出电压调至5V，买带有数表显示的就不用万用表测了：
在这里插入图片描述
开关使用拨动开关：
在这里插入图片描述

将type-c的usb端剪了就可以看到里面有几根线，红黑就是供电线，这要与电源连接，上面几个部分的连线如下：
在这里插入图片描述
最好买粗的硅胶线来进行电源部分的连线，杜邦线没法传那么大的电流：
在这里插入图片描述

实现

通过前言中的部署相关博客得到bin文件之后，需要将如下文件放入板端（在前言的参考博客中有下载链接）
在这里插入图片描述
以下跟随代码仅供参考：

import numpy as np
import cv2
import os
from hobot_dnn import pyeasy_dnn as dnn
from bputools.format_convert import imequalresize, bgr2nv12_opencv
import Hobot.GPIO as GPIO

import lib.pyyolotools as yolotools

class CTRL():
    def __init__(self, in1, in2, in3, in4, pa, pb):
        GPIO.setmode(GPIO.BOARD)
        GPIO.setwarnings(False)

        GPIO.setup(in1, GPIO.OUT)
        GPIO.setup(in2, GPIO.OUT)
        GPIO.setup(in3, GPIO.OUT)
        GPIO.setup(in4, GPIO.OUT)

        self.in1 = in1
        self.in2 = in2
        self.in3 = in3
        self.in4 = in4

        self.PWMA = GPIO.PWM(pa, 48000)
        self.PWMB = GPIO.PWM(pb, 48000)

    def drive(self, FL, FR):
        if FL >= 0:
            GPIO.output(self.in3, GPIO.HIGH)
            GPIO.output(self.in4, GPIO.LOW)
        elif FL < 0:
            GPIO.output(self.in4, GPIO.HIGH)
            GPIO.output(self.in3, GPIO.LOW)

        if FR >= 0:
            GPIO.output(self.in1, GPIO.HIGH)
            GPIO.output(self.in2, GPIO.LOW)
        elif FR < 0:
            GPIO.output(self.in2, GPIO.HIGH)
            GPIO.output(self.in1, GPIO.LOW)

        self.PWMA.ChangeDutyCycle(abs(FR))
        self.PWMB.ChangeDutyCycle(abs(FL))
        self.PWMA.start(abs(FR))
        self.PWMB.start(abs(FL))

    def stop(self):
        GPIO.output(self.in1, GPIO.LOW)
        GPIO.output(self.in2, GPIO.LOW)
        GPIO.output(self.in3, GPIO.LOW)
        GPIO.output(self.in4, GPIO.LOW)

        self.PWMA.ChangeDutyCycle(0)
        self.PWMB.ChangeDutyCycle(0)
        self.PWMA.start(0)
        self.PWMB.start(0)

    def clean(self):
        self.PWMB.stop()
        self.PWMA.stop()
        GPIO.cleanup()

class PIDController():
    def __init__(self,KP,KI,KD,setpoint):
        self.KP = KP
        self.KI = KI
        self.KD = KD
        self.setpoint = setpoint
        self.prev_error = 0
        self.integral = 0
                
    def update(self,current_value):
        error = self.setpoint - current_value
        self.integral += error
        derivative = error - self.prev_error
        output = self.KP * error + self.KI *self.integral + self.KD * derivative
        self.prev_error = error
        return output



def get_hw(pro):
    if pro.layout == "NCHW":
        return pro.shape[2], pro.shape[3]
    else:
        return pro.shape[1], pro.shape[2]

def format_yolov5(frame):
    row, col, _ = frame.shape
    _max = max(col, row)
    result = np.zeros((_max, _max, 3), np.uint8)
    result[0:row, 0:col] = frame
    return result

# 加载模型和设置参数
model_path = 'hat_yolov5_6.2_2.bin'
classes_name_path = 'coco_classes.names'
models = dnn.load(model_path)
model_h, model_w = get_hw(models[0].inputs[0].properties)
print("Model Height:", model_h, "Model Width:", model_w)

thre_confidence = 0.4
thre_score = 0.25
thre_nms = 0.45
colors = [(255, 255, 0), (0, 255, 0), (0, 255, 255), (255, 0, 0)]

# 打开摄像头
cap = cv2.VideoCapture(8)  # 使用第一个摄像头（如果有多个摄像头，可能需要更改参数）
Ctrl = CTRL(11, 13, 16, 15, 32, 33)  # 设置管脚
pidController = PIDController(KP=0.12,KI=0.001,KD=0.12,setpoint=320)
Ctrl.drive(25, 25)  # 小车的始发运动

# 主循环：读取帧，进行目标检测，显示结果
while True:
    ret, frame = cap.read()  # 读取一帧图像
    if not ret:
        print("Error: Couldn't capture frame")
        break

    inputImage = format_yolov5(frame)
    img = imequalresize(inputImage, (model_w, model_h))
    nv12 = bgr2nv12_opencv(img)

    t1 = cv2.getTickCount()
    outputs = models[0].forward(nv12)
    t2 = cv2.getTickCount()
    outputs = outputs[0].buffer
    #print('Inference time: {0} ms'.format((t2 - t1) * 1000 / cv2.getTickFrequency()))

    image_width, image_height, _ = inputImage.shape
    fx, fy = image_width / model_w, image_height / model_h
    t1 = cv2.getTickCount()
    class_ids, confidences, boxes = yolotools.pypostprocess_yolov5(outputs[0][:, :, 0], fx, fy,
                                                                   thre_confidence, thre_score, thre_nms)
    t2 = cv2.getTickCount()
    #print('Post-processing time: {0} ms'.format((t2 - t1) * 1000 / cv2.getTickFrequency()))
    
    with open(classes_name_path, "r") as f:
        class_list = [cname.strip() for cname in f.readlines()]

    for (classid, confidence, box) in zip(class_ids, confidences, boxes):
        color = colors[int(classid) % len(colors)]
        cv2.rectangle(frame, box, color, 2)
        cv2.rectangle(frame, (box[0], box[1] - 20), (box[0] + box[2], box[1]), color, -1)
        #cv2.putText(frame, str(classid), (box[0], box[1] - 10), cv2.FONT_HERSHEY_SIMPLEX, .5, (0, 0, 0))
        cv2.putText(frame, class_list[classid], (box[0], box[1] - 10), cv2.FONT_HERSHEY_SIMPLEX, .5, (0,0,0))
    cv2.imshow('frame', frame)  # 显示帧
    #########################################################################################################################
    #car_logical
    num_detection = len(boxes)
    if num_detection == 0:
        print("no_object_stop")
        Ctrl.stop()
    else:
        if classid == 0:
            x1,y1 = box[0],box[1]
            x2,y2 = box[0] + box[2],box[1] + box[3]
            kuang_area = (x2-x1) * (y2-y1)
            input_area = 409600
            bizhi = kuang_area / input_area
            if bizhi > 0.1:
                print("too_close_stop")
                Ctrl.stop()
            else:
                x3 = (x2+x1)/2
                print("weizhi",x3)
                #direct_control
                #if x3 < 300:
                    #print("left")
                    #Ctrl.drive(20,-20)
                #elif x3 > 280 and x3 < 320:
                    #print("zhixian")
                    #Ctrl.drive(25,25)
                #else:
                    #print("right")
                    #Ctrl.drive(-20,20)
                #pid_control
                pid_output = pidController.update(x3)
                if pid_output > 11:
                    pid_output = 11
                if pid_output < -11:
                    pid_output = -11
                Ctrl.drive(25+pid_output, 25-pid_output)
        else:
            Ctrl.stop()
            print("hat_stop")
    #########################################################################################################################
    if cv2.waitKey(1) & 0xFF == ord('q'):  # 按下 'q' 键退出循环
        Ctrl.stop()
        break

# 释放资源并关闭窗口
cap.release()
cv2.destroyAllWindows()

注意

如果模型输出是 1×25200×7 ，代码直接复制就能用。
查看模型结构图网址：https://netron.app/ ，直接打开onnx文件拉到最后就可以看到模型输出：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/529482.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

RuntimeError: Library cublas64_12.dll is not found or cannot be loaded

RuntimeError: Library cublas64_12.dll is not found or cannot be loaded

运行guillaumekln/faster-whisper-large-v2模型进行语音识别的时候报错了 RuntimeError: Library cublas64_12.dll is not found or cannot be loaded 代码&#xff1a; from faster_whisper import WhisperModelmodel WhisperModel("H:\\model\\guillaumekln\\faster…
阅读更多...
【C++】优先级队列（priority_queue）的用法与实现

【C++】优先级队列（priority_queue）的用法与实现

目录 一、概念&#xff1a; 二、仿函数&#xff08;Functor&#xff09;&#xff1a; 概念&#xff1a; 应用&#xff1a; 三、底层实现&#xff1a; 基本操作&#xff1a; 完整代码&#xff1a; 测试示例&#xff1a; 一、概念&#xff1a; 优先级队列&#xff08;pri…
阅读更多...
PostgreSQL入门到实战-第六弹

PostgreSQL入门到实战-第六弹

PostgreSQL入门到实战 PostgreSQL查询语句(三)官网地址PostgreSQL概述PostgreSQL中ORDER BY理论PostgreSQL中ORDER BY实操更新计划 PostgreSQL查询语句(三) 官网地址 声明: 由于操作系统, 版本更新等原因, 文章所列内容不一定100%复现, 还要以官方信息为准 https://www.post…
阅读更多...
tcp的全连接队列和半连接队列满时，客户端再connect发生的情况

tcp的全连接队列和半连接队列满时，客户端再connect发生的情况

首先简单介绍下tcp的全连接队列(accept queue)和半连接队列(syn queue)&#xff0c; 1.客户端发起syn请求时&#xff0c;服务端收到该请求&#xff0c;将其放入到syn queue&#xff0c;然后回复acksyn给客户端。 2.客户端收到acksyn&#xff0c;再发送ack给服务端。 3. 服务端从…
阅读更多...
3、最大池化maxinmum pooling

3、最大池化maxinmum pooling

了解有关最大池化特征提取的更多信息。 简介 在第二课中，我们开始讨论卷积神经网络（convnet）的基础如何进行特征提取。我们了解了这个过程中的前两个操作是在带有 relu 激活的 Conv2D 层中进行的。 在这一课中，我们将看一下这个序列中的第三个（也是最后一个）操作：通过…
阅读更多...
3dmax渲染十几个小时怎么办?3dmax怎么多机渲染

3dmax渲染十几个小时怎么办?3dmax怎么多机渲染

当使用3ds Max进行渲染作业时&#xff0c;如果发现单张图像的渲染时间长达十数小时&#xff0c;这可能是由于计算机硬件配置较低或渲染场景过于复杂所致。为了缩短渲染时间并提高效率&#xff0c;我们可以考虑采用多台计算机进行协同渲染。下面&#xff0c;让我们一起探讨如何通…
阅读更多...
MyBatis操作数据库(2)

MyBatis操作数据库(2)

MyBatis XML配置文件 MyBatis开发有两种方式: 1.注解 2.xml 上面我们学习了注解的方式, 下面来学习xml的方式 使用MyBatis的注解方式, 主要是为了完成一些简单的增删改查功能, 而下面我们介绍的xml方式, 则一般用于写一些比较复杂的sql语句. MyBatis XML的方式需要以下两步: …
阅读更多...
《荒野大镖客》游戏提示emp.dll文件丢失如何解决？

《荒野大镖客》游戏提示emp.dll文件丢失如何解决？

emp.dll它作为一种动态链接库&#xff08;DLL&#xff09;文件&#xff0c;在Windows操作系统中扮演着重要角色。当打开一个程序时&#xff0c;操作系统会将程序的代码和数据加载到内存中&#xff0c;并创建一个进程来运行该程序。在这个过程中&#xff0c;emp.dll负责将这些代…
阅读更多...
OpenHarmony开发-连接开发板调试应用

OpenHarmony开发-连接开发板调试应用

在 OpenHarmony 开发过程中&#xff0c;连接开发板进行应用调试是一个关键步骤&#xff0c;只有在真实的硬件环境下&#xff0c;我们才能测试出应用更多的潜在问题&#xff0c;以便后续我们进行优化。本文详细介绍了连接开发板调试 OpenHarmony 应用的操作步骤。 首先&#xf…
阅读更多...
实现几何对象按照一定距离向外缓冲

实现几何对象按照一定距离向外缓冲

1、首先&#xff0c;确保你已经引入了Turf.js库。你可以通过在HTML文件中添加以下代码来引入 <script src"https://cdn.jsdelivr.net/npm/turf/turf6.5.0/turf.min.js"></script>2、使用turf.buffer实现几何对象按照设定距离扩充 let originalCoordinat…
阅读更多...
【MATLAB源码-第183期】基于matlab的图像处理GUI很全面包括滤波，灰度，边缘提取，RGB亮度调节，二值化等。

【MATLAB源码-第183期】基于matlab的图像处理GUI很全面包括滤波，灰度，边缘提取，RGB亮度调节，二值化等。

操作环境&#xff1a; MATLAB 2022a 1、算法描述 1. RGB颜色亮度调整 1.1 RGB颜色模型 RGB颜色模型是一种加色模型&#xff0c;使用红色&#xff08;R&#xff09;、绿色&#xff08;G&#xff09;、蓝色&#xff08;B&#xff09;三种颜色的不同组合来表示各种颜色。每种…
阅读更多...
每日OJ题_两个数组dp⑤_力扣10. 正则表达式匹配

每日OJ题_两个数组dp⑤_力扣10. 正则表达式匹配

目录 力扣10. 正则表达式匹配 解析代码 力扣10. 正则表达式匹配 10. 正则表达式匹配 难度 困难 给你一个字符串 s 和一个字符规律 p&#xff0c;请你来实现一个支持 . 和 * 的正则表达式匹配。 . 匹配任意单个字符* 匹配零个或多个前面的那一个元素 所谓匹配&#xff0c…
阅读更多...
部署 GlusterFS 群集

部署 GlusterFS 群集

目录 一、GFS部署 1.1.环境 1.2.更改节点名称 1.3.节点进行磁盘挂载&#xff0c;安装本地源 1.4.添加节点创建集群 1.5.根据规划创建卷 1.6. 部署gluster客户端 1.7. 破坏性测试 挂起 node2 节点或者关闭glusterd服务来模拟故障 复制卷&#xff0c;在node3和no…
阅读更多...
基于springboot+vue+Mysql的药品商超管理系统

基于springboot+vue+Mysql的药品商超管理系统

开发语言&#xff1a;Java框架&#xff1a;springbootJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包&#xff1a;…
阅读更多...
c++ 谷歌glog日志库使用

c++ 谷歌glog日志库使用

效果如图&#xff1a; 本次使用qt环境演示&#xff0c;相关库文件和头文件下载链接&#xff1a;https://download.csdn.net/download/bangtanhui/89108477 将相关库文件和头文件&#xff0c;丢到工程目录下 然后需要在工程pro文件当中引入库文件和头文件&#xff1a; …
阅读更多...
LMDeploy 推理部署工具

LMDeploy 推理部署工具

一. 大模型部署面临的挑战 1. 计算量巨大 大模型参数量巨大&#xff0c;前向推理时需要进行大量计算。 2. 内存开销巨大 大模型在推理过程中&#xff0c;以FP16为例&#xff0c;20B模型仅加载参数就需40G显存&#xff0c;175B模型更是需要350G显存。同时在推理过程中&#xff…
阅读更多...
JVM内存模型深度剖析

JVM内存模型深度剖析

JDK体系结构 Java语言的跨平台特性 JDK整体结构及内存模型 JVM虚拟机 JVM主要由以下三个部分组成 类装载子系统:负责将Java类文件加载到运行时数据区中.并在运行时由类加载器创建Java类对象.运行时数据区:运行时数据区是JVM用于存储数据的内存区域.它包括方法区,堆,栈,本地方…
阅读更多...
使用VPN时，Java程序无法访问远程网络的解决办法

使用VPN时，Java程序无法访问远程网络的解决办法

应用场景&#xff1a; 电脑连接VPN之后&#xff0c;Java程序无法连接远程服务&#xff0c;比如第三方接口、远程数据库连接、远程微服务等。我个人遇到的情况有连接海康威视SDK&#xff0c;influxdb以及一些微服务。 解决办法&#xff1a; 启动Java时加入参数&#xff1a;-D…
阅读更多...
ChatGPT与生成式AI：教育领域内新的浪潮与挑战

ChatGPT与生成式AI：教育领域内新的浪潮与挑战

随着ChatGPT和其他生成式AI技术&#xff0c;如GPT-3.5、GPT-4的出现&#xff0c;我们正见证教育领域一场前所未有的变革浪潮。这些技术不仅推动了教育方式的进步&#xff0c;也为学习者带来了全新的机遇和挑战。 NO.1教育变革的新浪潮 生成式AI技术&#xff0c;特别是ChatGPT&…
阅读更多...
Microsoft Visio 参与者 [actor] - 人的形状图标

Microsoft Visio 参与者 [actor] - 人的形状图标

Microsoft Visio 参与者 [actor] - 人的形状图标 1. 更多形状 -> 搜索形状2. 参与者References 1. 更多形状 -> 搜索形状 2. 参与者 References [1] Yongqiang Cheng, https://yongqiang.blog.csdn.net/
阅读更多...
最新文章

Copyright @ 2022~2023