Mediapipe实时3D目标检测和跟踪(自动驾驶实现)

🚀 导语

3D目标检测是根据物体的形状、位置和方向来识别和定位物体的任务。在2D目标检测中,被检测到的物体仅表示为矩形边界框。3D目标检测任务通过预测物体周围的包围框,可以获取物体的三维位置信息。

在这里插入图片描述

3D目标检测在各行各业都有广泛的应用。一些常见的用途包括:
🎯 机器人技术
🎯 自动驾驶车辆
🎯 医学影像

MediaPipe Objectron是由Google的MediaPipe团队开发的计算机视觉流水线,可以使用Objectron数据集实时实现3D目标检测和跟踪。该数据集包括自行车、书籍、瓶子、相机、谷物盒、椅子、杯子、笔记本电脑和鞋子等9种物体。

该流水线使用在合成数据上训练的机器学习模型来估计场景中物体的三维包围框和姿态。它接收来自相机或视频流的一系列帧作为输入,并输出一系列的3D目标检测和跟踪结果。Objectron利用相机校准、三维物体模型和深度估计等技术组合,实现了高精度的3D目标检测。

🚀MediaPipe实现3D目标检测跟踪算法原理

  1. 数据集和模型训练:数据集收集和标注:使用Objectron数据集,其中包含了物体的图像和相应的3D边界框和姿态标注。模型训练:使用机器学习模型,如卷积神经网络(CNN),通过输入图像进行训练,学习预测物体的3D边界框和姿态。
  2. 相机校准:
    • 内部参数估计:使用相机标定板等方法,通过观察2D图像中已知尺寸的物体,估计相机的内部参数,如焦距和主点坐标。
    • 外部参数估计:通过相机标定板的位置和姿态,结合已知的世界坐标系中的点与其在图像中的对应关系,估计相机的外部参数,包括相机的位置和姿态。
  3. 特征提取和匹配:
    • 特征提取:使用特征提取算法(如SIFT、ORB、SURF等),从图像中提取关键点或特征描述符。
    • 特征匹配:通过匹配不同帧之间的特征点或特征描述符,找到相应的匹配点对。
  4. 3D边界框和姿态估计:
    • 相机投影:通过将2D图像坐标转换为归一化设备坐标,将图像坐标与相机的内部参数关联起来。
    • 三角测量:通过对匹配的特征点或特征描述符进行三角测量,估计物体在3D空间中的位置。
    • 姿态估计:通过对物体的3D点进行旋转和平移操作,将物体的姿态(旋转角度)估计出来。
  5. 目标跟踪:
    • 特征匹配:通过在相邻帧之间匹配特征点或特征描述符,找到物体在不同帧之间的对应关系。
    • 运动模型:使用运动模型来预测物体在下一帧中的位置和姿态。
    • 滤波算法:使用滤波算法(如卡尔曼滤波器、扩展卡尔曼滤波器等)来平滑和修正跟踪结果。
  6. 结果输出:输出3D边界框和姿态信息:根据估计的物体位置、尺寸和姿态,生成输出结果,包括物体的3D边界框的中心坐标、宽度、高度以及旋转角度等信息。

🚀安装MediaPipe和OpenCV

pip install mediapipe
pip install opencv-contrib-python

下面我将使用MediaPipe在图像帧中检测3D物体,并使用OpenCV绘制其周围的三维边界框。

🚀 使用MediaPipe实现3D目标检测

import cv2
import mediapipe as mp
import time
mp_objectron = mp.solutions.objectron
mp_drawing = mp.solutions.drawing_utils

首先,我们需要导入Objectron解决方案和绘图工具,以便检测和绘制物体的3D边界框。

cap = cv2.VideoCapture(0)

然后,我们可以打开视频捕获设备。这将打开计算机上的网络摄像头,并将摄像头捕获的视频存储在cap变量中。

objectron = mp_objectron.Objectron(static_image_mode=False,
                            max_num_objects=5,
                            min_detection_confidence=0.5,
                            min_tracking_confidence=0.7,
                            model_name='Cup')

通过Objectron方法,我们可以对3D目标检测算法进行不同的配置。

  • static_image_mode: 基于我们将使用图像或视频进行3D检测(对于图像为True,对于视频为False)
  • max_num_objects: 定义我们想要在其周围绘制边界框的最大可识别对象数。
  • min_detection_confidence: 检测给定类别所需的阈值。
  • min_tracking_confidence: 在跟踪物体时避免误报的阈值
  • model_name: 定义我们将在3D目标检测模型中使用哪个类别,可以是’Cup’、‘Shoe’、‘Camera’或’Chair’。
while cap.isOpened():
    success, image = cap.read()

    image.flags.writeable = False
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
    results = objectron.process(image)

    image.flags.writeable = True
    image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
    if results.detected_objects:
        for detected_object in results.detected_objects:
            
            mp_drawing.draw_landmarks(image, 
                                      detected_object.landmarks_2d, 
                                      mp_objectron.BOX_CONNECTIONS)
          
            mp_drawing.draw_axis(image, 
                                 detected_object.rotation,
                                 detected_object.translation)

    cv2.imshow('MediaPipe Objectron', cv2.flip(image, 1))
    if cv2.waitKey(10) & 0xFF == ord('q'):
        break
cap.release()
cv2.destroyAllWindows()

当我们通过这个过程时,无法对图像进行写入操作(image.flags.writeable = False),这会稍微提高性能。

然后,我们可以检查图像帧中是否存在任何检测结果。如果有,我们可以绘制2D边界框的标记点,并通过添加附加轴来获取3D边界框。通过旋转,我们可以得到物体在图像帧中的旋转情况,然后我们还将指定物体在图像帧中的平移情况。

在结果中,我们可以获得3D物体检测结果。当我们打印它时,我们可以得到带有x、y、z轴的标记点,这些是检测到的物体的中心点,我们还可以以数组的形式获得检测到的物体的旋转、平移和缩放情况。

Results:

在这里插入图片描述
🚀当我们将3D边界框与2D边界框进行比较时,存在额外的参数。🏹 2D目标检测:

  • 边界框中心的X坐标
  • 边界框中心的Y坐标
  • 边界框的宽度
  • 边界框的高度

🏹 3D目标检测:

  • 边界框中心的X坐标
  • 边界框中心的Y坐标
  • 边界框中心的Z坐标
  • 边界框的宽度
  • 边界框的高度
  • 边界框的长度
  • Roll角度表示绕X轴的旋转
  • Pitch角度表示绕Y轴的旋转
  • Yaw角度表示绕Z轴的旋转

🚀Mediapipe实现自动驾驶功能

我使用了Mediapipe编写了一个小功能,与自动驾驶相关。该功能以第三人称视角为基础(类似于极品飞车游戏),通过分析车辆与行人之间的距离,来判断是否可能发生碰撞,并相应地引导汽车进行停车或转向的动作。

在这里插入图片描述

import cv2
import mediapipe as mp
import time

mp_objectron = mp.solutions.objectron
mp_holistic = mp.solutions.holistic
mp_drawing = mp.solutions.drawing_utils

cap = cv2.VideoCapture(0)

objectron = mp_objectron.Objectron(static_image_mode=False,
                                    max_num_objects=5,
                                    min_detection_confidence=0.5,
                                    min_tracking_confidence=0.7,
                                    model_name='Car')

holistic = mp_holistic.Holistic(static_image_mode=False,
                                model_complexity=2,
                                min_detection_confidence=0.5,
                                min_tracking_confidence=0.5)

# 车辆状态类
class CarState:
    def __init__(self):
        self.position = None
        self.rotation = None

# 行人状态类
class PedestrianState:
    def __init__(self, position):
        self.position = position

# 避障系统类
class ObstacleAvoidanceSystem:
    def __init__(self):
        self.car_state = CarState()
        self.pedestrians = []

    def update_car_state(self, car_position, car_rotation):
        self.car_state.position = car_position
        self.car_state.rotation = car_rotation

    def update_pedestrians(self, pedestrian_positions):
        self.pedestrians = []
        for position in pedestrian_positions:
            pedestrian = PedestrianState(position)
            self.pedestrians.append(pedestrian)

    def check_collision(self):
        if self.car_state.position is not None:
            for pedestrian in self.pedestrians:
                # 在这里实现碰撞检测逻辑
                # 根据车辆和行人的位置进行碰撞检测
                if pedestrian.position is not None:
                    distance = calculate_distance(self.car_state.position, pedestrian.position)
                    if distance < 2.0:  # 示例:定义碰撞距离为2米
                        return True
        return False

# 辅助函数:计算两个点之间的距离
def calculate_distance(point1, point2):
    x1, y1, z1 = point1
    x2, y2, z2 = point2
    distance = ((x2 - x1) ** 2 + (y2 - y1) ** 2 + (z2 - z1) ** 2) ** 0.5
    return distance

# 自动驾驶系统类
class AutonomousDrivingSystem:
    def __init__(self):
        self.obstacle_avoidance_system = ObstacleAvoidanceSystem()

    def process_frame(self, frame):
        frame.flags.writeable = False
        frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)

        # 对车辆进行检测和姿态估计
        objectron_results = objectron.process(frame)
        car_position = None
        car_rotation = None
        if objectron_results.detected_objects:
            for detected_object in objectron_results.detected_objects:
                car_position = detected_object.translation
                car_rotation = detected_object.rotation

                mp_drawing.draw_landmarks(frame,
                                          detected_object.landmarks_2d,
                                          mp_objectron.BOX_CONNECTIONS)

                mp_drawing.draw_axis(frame,
                                     detected_object.rotation,
                                     detected_object.translation)

        # 对行人进行检测和姿态估计
        holistic_results = holistic.process(frame)
        pedestrian_positions = []
        if holistic_results.pose_landmarks:
            for landmark in holistic_results.pose_landmarks.landmark:
                pedestrian_positions.append((landmark.x, landmark.y, landmark.z))

            mp_drawing.draw_landmarks(frame,
                                      holistic_results.pose_landmarks,
                                      mp_holistic.POSE_CONNECTIONS)

        # 更新避障系统的车辆状态和行人状态
        self.obstacle_avoidance_system.update_car_state(car_position, car_rotation)
        self.obstacle_avoidance_system.update_pedestrians(pedestrian_positions)

        # 检测碰撞
        if self.obstacle_avoidance_system.check_collision():
            # 在这里实现避免碰撞的控制逻辑
            # 示例:停车和避让行人
            control_command = ControlCommand(0.0, 0.0)  # 停车
        else:
            # 在这里实现正常行驶的控制逻辑
            # 示例:设定一定的车速和转向角度
            control_command = ControlCommand(0.5, 0.0)

        # 在图像上显示控制指令
        cv2.putText(frame, f"Speed: {control_command.speed} m/s", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)
        cv2.putText(frame, f"Steering Angle: {control_command.steering_angle} deg", (10, 60), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)

        frame.flags.writeable = True
        frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)
        return frame
        
#主函数控制器
class MainController:
    def init(self):
        self.autonomous_driving_system = AutonomousDrivingSystem()

    def run(self):
        while cap.isOpened():
            success, frame = cap.read()
            if not success:
                break

            frame = self.autonomous_driving_system.process_frame(frame)

            cv2.imshow('MediaPipe Objectron', cv2.flip(frame, 1))
            if cv2.waitKey(10) & 0xFF == ord('q'):
                break

        cap.release()
        cv2.destroyAllWindows()

#主函数
if name == 'main':
    main_controller = MainController()
    main_controller.run()

这段代码是一个基于媒体管道(MediaPipe)的自动驾驶系统的简单实现。以下是代码的详细思路:

  1. 导入所需的库,包括cv2、mediapipe和time。
  2. 初始化MediaPipe的对象:Objectron和Holistic,用于检测和跟踪车辆和行人。
  3. 定义了三个类:CarState、PedestrianState和ObstacleAvoidanceSystem,分别表示车辆状态、行人状态和避障系统。
  4. ObstacleAvoidanceSystem类包含了更新车辆状态和行人状态的方法,以及碰撞检测的方法。
  5. 辅助函数calculate_distance用于计算两个点之间的距离。
  6. AutonomousDrivingSystem类是自动驾驶系统的主要类,包含了处理每帧图像的方法。
  7. process_frame方法中,首先将帧转换为RGB颜色空间,并通过Objectron检测和估计车辆的位置和旋转。
  8. 然后通过Holistic检测和估计行人的位置。
  9. 更新避障系统的车辆状态和行人状态。
  10. 进行碰撞检测,如果发生碰撞,执行停车和避让行人的控制逻辑;如果没有碰撞,执行正常行驶的控制逻辑。
  11. 在图像上显示控制指令,包括车速和转向角度。
  12. 最后,将处理后的帧显示在窗口中,直到按下键盘上的"q"键退出。
  13. 主函数MainController初始化自动驾驶系统,并运行主循环。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/28565.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Flink 系列二 Flink 状态化流处理概述

本篇作为Flink系列的第二篇&#xff0c;第一篇是环境准备&#xff0c;需要的同学可以看&#xff1a;https://blog.csdn.net/lly576403061/article/details/130358449?spm1001.2014.3001.5501。希望可以通过系统的学习巩固该方面的知识&#xff0c;丰富自己的技能树。废话不多说…

jmeter模拟多用户并发

目录 前言&#xff1a; 一、100个真实的用户 二、100个用户同时登录 前言&#xff1a; JMeter可以轻松地模拟多用户并发&#xff0c;从而测试Web应用程序的性能和稳定性。 一、100个真实的用户 1、一个账号模拟100虚拟用户同时登录和100账号同时登录 区别 &#xff08;…

运维圣经:Webshell应急响应指南

目录 Webshell简介 Webshell检测手段 Webshell应急响应指南 一. Webshell排查 二. 确定入侵时间 三. Web日志分析 四. 漏洞分析 五. 漏洞复现 六. 清除Webshell并修复漏洞 七. Webshell防御方法 Webshell简介 Webshell通常指以JSP、ASP、 PHP等网页脚本文件形式存在…

Webstorm 加载vue项目时,特别卡顿,完美解决。觉得有用加好友打赏

觉得有用加好友打赏&#xff1a;QQ&#xff1a;854138497 上图cpu直接干满。 根据上图提示&#xff0c;直接 disable hints&#xff0c;或者到下图的settings里面设置。 Code vision取消后&#xff0c;webstorm 明显就不卡了。记得重启webstorm。 还有一种方式&#xff0c;根…

组合模式(十二)

请相信自己&#xff0c;请再次相信自己&#xff0c;请一定要相信自己 上一章简单介绍了装饰者模式(十一), 如果没有看过, 请观看上一章 一. 组合模式 引用 菜鸟教程里面的 组合 模式介绍: https://www.runoob.com/design-pattern/composite-pattern.html 组合模式&#xff0…

2. CompletableFuture

2.1 Future接口理论知识复习 Future接口&#xff08;FutureTask实现类&#xff09;定义了操作异步任务执行一些方法&#xff0c;如获取异步任务的执行结果、取消异步任务的执行、判断任务是否被取消、判断任务执行是否完毕等。 举例&#xff1a;比如主线程让一个子线程去执行任…

电脑小白不要错过这五款小众但强大的软件

电脑上的各类软件有很多&#xff0c;除了那些常见的大众化软件&#xff0c;还有很多不为人知的小众软件&#xff0c;专注于实用功能&#xff0c;简洁干净、功能强悍。 多语言翻译——QTranslate QTranslate是一款实用的多语言翻译工具。它可以在任何应用程序中选中文本&#…

c++学习之多态

目录 1&#xff0c;什么是多态&#xff1f; 2&#xff0c;什么是虚函数&#xff1f; 1.如何实现父类对各个派生子类的操作&#xff1f; 2&#xff0c;父类指针保存子类空间产生的问题。 3&#xff0c;虚函数的定义 4&#xff0c;虚函数的动态绑定机制 5&#xff0c;重载&…

ESXI 环境搭建和配置

ESXI 环境搭建和配置 ESXI简介 ESXi专为运行虚拟机、最大限度降低配置要求和简化部署而设计。只需几分钟时间&#xff0c;客户便可完成从安装到运行虚拟机的全过程&#xff0c;特别是在下载并安装预配置虚拟设备的时候。 在VMware Virtual Appliance Marketplace 上有800多款…

FPC的发展及应用,软板行业未来将持续增长

FPC系列文章目录 1.什么是FPC 2.什么是R-FPC 3&#xff0c;FPC的基材 4.FPC基材压延铜和电解铜的区别 5&#xff0c;FPC的辅材 6&#xff0c;FPC常见的四种类型 7&#xff0c;FPC的生产流程简介 8&#xff0c;R-FPC的生产流程简介 9&#xff0c;FPC的发展及应用 提示&…

咖啡店小程序开发 让烟火小店更有生机

随着人们生活水平的提高和生活压力的增大&#xff0c;很多人都靠喝咖啡来缓解疲劳和压力&#xff0c;也为我们的生活增添了一丝情趣&#xff0c;但高峰时期排队购买一杯咖啡很浪费时间&#xff0c;很多赶时间的上班族不得不放弃。随着互联网技术深入到各行各业&#xff0c;传统…

【word wps文字】目录页码中的格式在打印或打印预览时变为和正文页码格式一样,如何调整?

一、问题背景 之前在闲鱼上&#xff0c;有个人找我改word排版&#xff0c;有一个需求就是正文页码两边需要横杠。 但是目录中显示的页码&#xff0c;不需要横杠。 我当时是一个一个在目录中删除横杠的&#xff0c;借助了查找与替换功能。 更改后&#xff0c;目录页码如下所…

Vscode 配置 wxWidgets 调试配置

在 .vscode 下创建 launch.json 加入以下内容 {// 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。// 欲了解更多信息&#xff0c;请访问: https://go.microsoft.com/fwlink/?linkid830387"version": "0.2.0","configurations&qu…

snmp默认团体名/弱口令漏洞及安全加固

一、漏洞描述 SNMP&#xff08;简单网络管理协议&#xff09;被广泛用于计算机操作系统设备、网络设备等领域监测连接到网络上的设备是否有任何引起管理上关注的情况。在运行SNMP服务的设备上&#xff0c;若管理员配置不当运行默认团体名/弱口令访问,将导致敏感信息泄露。敏感…

视频点播系统

服务端功能模块划分 数据管理模块&#xff1a;负责针对客户端上传的视频信息进行管理。 网络通信模块&#xff1a;搭建网络通信服务器&#xff0c;实现与客户端通信。 业务处理模块&#xff1a;针对客户端的各个请求进行对应业务处理并响应结果。 前端界面模块&#xff1a;…

RabbitMQ 安装

目录 一、安装RabbitMQ1、Linux 安装⑴、官网rpm包安装①、下载rpm安装包官网下载erlangrabbitmq packagecloud下载erlangrabbitmq ②、安装 erlang③、安装rabbitmq ⑵、packagecloud快速安装⑶、添加用户账号及权限并登陆⑷、卸载erlang与rabbitmq卸载rabbitmq卸载erlang 2、…

手把手教你实战TDD | 京东云技术团队

1. 前言 领域驱动设计&#xff0c;测试驱动开发。 我们在《手把手教你落地DDD》一文中介绍了领域驱动设计&#xff08;DDD&#xff09;的落地实战&#xff0c;本文将对测试驱动开发&#xff08;TDD&#xff09;进行探讨&#xff0c;主要内容有&#xff1a;TDD基本理解、TDD常…

了解D-Galactopyranose pentaacetate,CAS号25878-60-8的性质和应用

​ 中文名称&#xff1a;1,2,3,4,6-D-葡萄糖五乙酸酯 英文名称&#xff1a;D-Galactopyranose pentaacetate 规格标准&#xff1a;1g、5g、10g CAS&#xff1a;25878-60-8 分子式&#xff1a;C16H22O11 分子量&#xff1a;390.34 熔点&#xff1a;113C 沸点&#xff1a;451C 密…

MATLAB文化算法

目录 文化算法 主要代码 Sphere AdjustCulture 结果 文化算法 基本概念&#xff1a;优化算法 | 详解文化算法&#xff08;附MATLAB代码&#xff09; - 知乎 不同于遗传算法只有种群进化空间&#xff0c;文化算法包含信念空间、种群空间两个进化空间&#xff0c;因此&#…

ceph分布式存储实战

ceph分布式存储实战 分布式存储系统简介 性能与优势对比 虚拟机安装ceph集群 ceph存储系统简介 分布式存储概述 ceph基础 高可用ceph分布式存储系统部署 部署ceph集群 节点管理 ceph使用基础及数据存储案例 PG状态、数据读写流程及存储池操作 mon服务器的高可用: # apt in…