OpenCV图像处理——基于OpenCV的ORB算法实现目标追踪

概述

ORB(Oriented FAST and Rotated BRIEF)算法是高效的关键点检测和描述方法。它结合了FAST(Features from Accelerated Segment Test)算法的快速关键点检测能力和BRIEF(Binary Robust Independent Elementary Features)算法的征描述能力,使得ORB在处理图像时既快速又准确。

关键点检测是图像处理中的一个重要步骤,它涉及到在图像中寻找那些具有独特特征的点,这些点通常是图像中的重要部分,如角点、边缘等。这些点因其在图像中的位置和外观特征,可以被用来进行图像的匹配、识别和跟踪等任务。

特征描述符则是用来描述关键点周围区域的一种方式,它提供了关键点周围像素的详细信息。一个好的特征描述符应该对图像的旋转、尺度变化和噪声具有鲁棒性,这样才能在不同的图像中准确地匹配到相同的关键点。

FAST算法是一种角点检测算法,它通过检查图像中的每个像素点,来确定是否存在一个亮度变化显著的角点。FAST算法的优点是计算速度快,能够在图像中快速找到大量的潜在关键点。

BRIEF算法则是一种二进制特征描述符,它通过比较关键点周围的像素与关键点本身的亮度关系,生成一个二进制字符串来表示关键点的特征。这个二进制字符串是对关键点周围区域的一种紧凑而有效的描述,它对于图像的匹配和识别非常有用。

ORB算法通过结合FAST和BRIEF两种算法的优点,能够在图像中快速准确地检测到关键点,并生成对应的特征描述符。这使得ORB算法非常适合用于对象识别、跟踪和图像拼接等任务,尤其是在需要处理大量图像数据时,ORB的高效性尤为重要。
在这里插入图片描述

ORB的优点

  1. 速度:ORB算法的设计注重于处理速度,它能够在较短的时间内处理大量的图像数据,这使得ORB非常适合用于需要实时处理的应用场景,例如视频监控、机器人导航等。

  2. 尺度不变性:ORB算法能够在不同尺度的图像中检测到关键点,这意味着无论物体在图像中的大小如何变化,ORB都能够准确地识别出特征点。这种特性对于处理不同距离拍摄的图像或者图像缩放非常重要。

  3. 旋转不变性:ORB算法能够识别出关键点的方向,并对旋转进行校正,确保无论物体如何旋转,关键点都能被匹配和识别。这种特性对于处理从不同角度拍摄的图像非常关键。

  4. 无专利限制:与SIFT和SURF等算法不同,ORB算法没有专利限制,这意味着它可以在商业产品中自由使用,而无需支付任何版权费用。这使得ORB算法在商业应用中更具吸引力。

ORB的缺点

  1. 内存消耗:ORB算法在处理图像时,尤其是在处理大量关键点时,可能会消耗较多的内存资源。这是因为每个关键点都需要存储其位置、尺度、方向以及对应的BRIEF描述符。在内存资源受限的设备上,这可能成为一个问题。

  2. 特征表现力有限:ORB算法虽然能够提取图像中的关键点并生成描述符,但在某些情况下,它可能难以区分外观相似的特征。例如,在那些具有重复模式或缺乏显著纹理的区域,ORB可能无法提供足够的区分度,导致匹配错误或漏检。这在一些对特征描述能力要求较高的应用中可能成为限制因素。

针对这些缺点,研究人员和开发者可能需要考虑其他的特征检测和描述算法,或者对ORB算法进行改进,以适应特定的应用场景和需求。例如,可以通过优化算法来减少内存消耗,或者结合其他类型的描述符来提高特征的区分能力。此外,还可以通过数据增强和模型训练来提高ORB在复杂场景中的性能。

算法实现步骤

对象跟踪器的工作原理基于关键点的检测和描述符的匹配。这个过程可以通过以下步骤实现:

  1. 目标图像准备:首先,需要一个清晰的目标图像,这个图像应该只包含你想要跟踪的对象。例如,如果想跟踪一架飞机,应该选择一张只包含飞机的图像。

  2. 关键点和描述符提取:使用FAST算法在目标图像中识别关键点。这些关键点是图像中独特的位置,可以是角点、边缘或其他显著的特征点。然后,使用BRIEF算法为每个关键点生成一个简短的二进制描述符,这个描述符是对关键点周围区域的一种数字表示。

  3. 视频帧处理:在处理视频时,对于每一帧,重复关键点检测和描述符生成的过程。这样,就可以在每一帧中找到与目标图像相匹配的关键点。

  4. 描述符匹配:使用匹配算法(如暴力匹配或FLANN匹配器)将目标图像的关键点描述符与每一帧中提取的关键点描述符进行比较。如果找到匹配的描述符,这意味着在当前帧中找到了与目标图像相似的对象。

  5. 目标定位:一旦找到匹配的关键点,就可以根据这些关键点在当前帧中的位置绘制形状(如圆圈),从而实现对目标对象的跟踪。

OpenCV库可以方便地实现关键点检测、描述符生成和匹配。通过这种方式,可以创建一个定制的对象跟踪器,用于实时视频分析或任何需要对象跟踪的应用场景。

代码实现

在使用ORB算法进行对象检测或跟踪之前,确实需要考虑一些重要的因素,尤其是关于背景的选择和处理。ORB算法依赖于关键点的检测和描述,而这些关键点的准确性和数量会受到背景复杂度的显著影响。

  1. 背景清晰度:为了最大化ORB算法的性能,选择的背景应该是简单且清晰的,例如空旷的天空、单色墙壁或干净的道路。这样的背景可以减少无关关键点的数量,从而降低算法的计算负担。

  2. 避免复杂背景:如果背景中包含许多移动的物体,如行人、动物或其他动态元素,ORB算法可能会在这些区域检测到大量的关键点。这会导致算法效率降低,因为它需要处理和区分更多的关键点,从而影响处理速度和每秒帧数(FPS)。

  3. 实时应用的考量:对于需要实时处理的应用,如视频监控或机器人导航,速度和FPS是至关重要的。如果背景过于复杂,ORB算法可能无法在有限的时间内完成关键点的检测和匹配,这会导致实时性能不足。

在部署ORB算法之前,应该仔细考虑和评估应用场景的背景复杂度。也可以通过预处理步骤来简化背景,例如通过滤波或分割技术来移除或抑制背景中的噪声和干扰。这样可以提高ORB算法的性能,使其更适合于实时或高性能的应用需求。

代码实现:

import cv2
import matplotlib.pyplot as plt
import numpy as np
import time

# 这是目标图像
image = cv2.imread("helicopter_roi.png")
gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
rgb_image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)
plt.imshow(rgb_image)

# 初始化ORB
orb = cv2.ORB_create()

# 使用ORB检测关键点
keypoints_1, descriptors_1 = orb.detectAndCompute(gray_image, None)

# 仅绘制关键点位置,不包括大小和方向
img2 = cv2.drawKeypoints(rgb_image, keypoints, None, color=(0, 255, 0), flags=0)
plt.imshow(img2)

# 视频路径
video_path = "helicopter_2.mp4"
video = cv2.VideoCapture(video_path)

# 初始化FPS计算变量
t0 = time.time()
n_frames = 0

# 初始化orb
orb = cv2.ORB_create()

# 匹配器对象
bf = cv2.BFMatcher()

while True:
    # 读取视频
    ret, frame = video.read()
    if ret:
        # 转换为灰度图像
        frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        # 使用BRIEF计算描述符
        keypoints_2, descriptors_2 = orb.detectAndCompute(frame_gray, None)

        """比较从第一帧(目标对象)提取的关键点/描述符与当前帧提取的关键点/描述符。
        """
        matches = bf.match(descriptors_1, descriptors_2)

        for match in matches:
            # queryIdx给出目标图像的关键点索引
            query_idx = match.queryIdx
            # .trainIdx给出当前帧的关键点索引
            train_idx = match.trainIdx
            # 取匹配的坐标
            pt1 = keypoints_1[query_idx].pt
            # 当前帧关键点坐标
            pt2 = keypoints_2[train_idx].pt
            # 在pt2坐标处画圆圈,因为pt2给出当前帧坐标
            cv2.circle(frame, (int(pt2[0]), int(pt2[1])), 2, (255, 0, 0), 2)

        elapsed_time = time.time() - t0
        avg_fps = (n_frames / elapsed_time)
        print("Average FPS: " + str(avg_fps))
        cv2.putText(frame, str(avg_fps), (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (255, 0, 0), 1, cv2.LINE_AA)
        n_frames += 1
        cv2.imshow("coordinate_screen", frame)
        k = cv2.waitKey(5) & 0xFF
        # 画完矩形后按esc键退出
        if k == 27:
            cv2.destroyAllWindows()
            break
    else:
        break
cv2.destroyAllWindows()

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/527719.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Golang | Leetcode Golang题解之第17题电话号码的字母组合

题目: 题解: var phoneMap map[string]string map[string]string{"2": "abc","3": "def","4": "ghi","5": "jkl","6": "mno","7": &…

数据处理|dataframe的连接操作merge

pd.merge() pd.merge(left, right, howinner, onNone, left_onNone, right_onNone,left_indexFalse, right_indexFalse, sortTrue,suffixes(_x, _y), copyTrue, indicatorFalse,validateNone)merge内部的各种参数 pd.left,pd.right left用来指代左边要拼接的dataframe right…

RocketMQ 之 IoT 消息解析:物联网需要什么样的消息技术?

作者:林清山(隆基) 前言: 从初代开源消息队列崛起,到 PC 互联网、移动互联网爆发式发展,再到如今 IoT、云计算、云原生引领了新的技术趋势,消息中间件的发展已经走过了 30 多个年头。 目前&a…

【论文阅读——Profit Allocation for Federated Learning】

1.摘要 由于更为严格的数据管理法规,如《通用数据保护条例》(GDPR),传统的机器学习服务生产模式正在转向联邦学习这一范式。联邦学习允许多个数据提供者在其本地保留数据的同时,协作训练一个共享模型。推动联邦学习实…

知识管理系统|基于Springboot和vue的知识管理系统设计与实现(源码+数据库+文档)

知识管理 目录 基于Springboot和vue的知识管理系统设计与实现 一、前言 二、系统设计 三、系统功能设计 1、前台: 5.2.2 文章信息 5.3.1 论坛交流 2、后台 用户管理 5.1.2 文章分类 5.2.1 资料分类 四、数据库设计 五、核心代码 六、论文参考 七、最…

【面经】2023年软件测试面试题大全(持续更新)附答案

前阵子一位读者告诉我,某位大厂HR给他发了我之前做的面试题答案合集。 这个消息让我开心了一整天😂,因为这说明我之前做的面试题系列真的能帮助到部分测试同学,也算是侧面得到了一种认可吧。 坚持可是我们程序员家族的优良传统&a…

一款轻量、干净的 Laravel 后台管理框架

系统简介 ModStart 是一个基于 Laravel 的模块化快速开发框架。模块市场拥有丰富的功能应用,支持后台一键快速安装,让开发者能快的实现业务功能开发。 系统完全开源,基于 Apache 2.0 开源协议,免费且不限制商业使用。 系统特性 …

tensorflow.js 如何使用opencv.js通过面部特征点估算脸部姿态并绘制示意图

文章目录 前言一、实现步骤1. 获取所需特征点的索引2. 使用opencv.js 计算俯仰角、水平角和翻滚角cv.solvePnP介绍cv.solvePnP原理运行代码查看效果 3.绘制姿态示意直线添加canvas元素计算姿态直线坐标并绘制 总结 前言 在计算机视觉领域,估算脸部姿态是一项具有挑…

thinkphp6中使用监听事件和事件订阅

目录 一:场景介绍 二:事件监听 三:配置订阅 一:场景介绍 在项目开发中有很多这样的场景,比如用户注册完了,需要通知到第三方或者发送消息。用户下单了,需要提示给客服等等。这些场景都有一个…

rac数据库默认网关不通导致集群异常

集群CSSD进程reconfiguration完成,显示2个节点都在线。但ora.net1.network服务启动失败,且有依赖关系的资源随后启动失败并且已经达到上限。 查看两个节点的网络信息,发现两个节点的默认网关是不一致的。 修改故障节点网关 在RAC中&#xff0…

线程间的通信

文章目录 线程间的通讯技术就是通过等待和唤醒机制,来实现多个线程协同操作完成某一项任务,例如经典的生产者和消费者案例。等待唤醒机制其实就是让线程进入等待状态或者让线程从等待状态中唤醒,需要用到两种方法,如下&#xff1a…

dinov2爆肝记

一、网址 https://github.com/facebookresearch/dinov2 二、配置 pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/ 三、雷 cuml-cu11无法安装,因为他只能linux 但我发现,没他也行 四、代码 注意: 下面代码…

用Python+OpenCV截取视频中所有含有字幕的画面

1、需求背景 有的视频文件的字幕已经压制到了视频的图像中,不能单独提取出字幕文件。网上的 “提取视频字幕” 网站多为提取视频中的字幕文件,而非识别视频图像中的字幕。少数通过OCR技术识别画面中字幕的工具需要在线运行、运行速度较慢,或…

Spark记录未整理

Spark记录未整理,请以较平静的心态阅读。 目的: 根据user_id进行分组,同时将同一user_id看过的anime_id转化为一个字符串数组(anime_ids),将anime_ids转化为二维的list [[[20, 81, 170, 263…],[]…]&#…

【芯片设计- RTL 数字逻辑设计入门 1.1 -- Verdi 使用入门介绍 1】

请阅读【芯片设计 RTL 数字逻辑设计扫盲 】 文章目录 Verdi 介绍Verdi 特点和功能Verdi 基本操作Verdi -elab与-dbdir区别-elab 参数介绍-dbdir 参数介绍区别总结Verdi 介绍 Verdi 是由Synopsys公司开发的一款业界领先的自动化电子设计自动化(EDA)工具,主要用于功能验证和调…

java数据结构与算法刷题-----LeetCode628. 三个数的最大乘积

java数据结构与算法刷题目录(剑指Offer、LeetCode、ACM)-----主目录-----持续更新(进不去说明我没写完):https://blog.csdn.net/grd_java/article/details/123063846 文章目录 排序选择线性搜索最值 排序 解题思路:时间复杂度O( …

React - 你知道在React组件的哪个阶段发送Ajax最合适吗

难度级别:中级及以上 提问概率:65% 如果求职者被问到了这个问题,那么只是单纯的回答在哪个阶段发送Ajax请求恐怕是不够全面的。最好是先详细描述React组件都有哪些生命周期,最后再回过头来点题作答,为什么应该在这个阶段发送Ajax请求。那…

【踩坑】修复Latex表格竖线分割/竖线割断/竖线不完整问题

转载请注明出处:小锋学长生活大爆炸[xfxuezhang.blog.csdn.net] 推荐一下 Latex 三线表 横线竖线短横线【踩坑】Latex中multicolumn/multirow单元格竖线消失的恢复方法LaTeX简单常用方法笔记Latex论文写作小技巧记录 1、有时候在画表格的时候,可能会出现…

51单片机之自己配串口寄存器实现波特率9600

本配置是根据手册进行开发配置的 1、首先配置SCON 所以综上所诉 SCON 0x40 (0100 0000) 2、PCON不用配置 3、配置定时器1 4、波特率的计算 5、配置AUXR 6、对比 7、实现 8、优化(实现字符串) 引入TI (智能延时&…

CLIPSeg如果报“目标计算机积极拒绝,无法连接。”怎么办?

CLIPSeg这个插件在使用的时候,偶尔会遇到以下报错: Error occurred when executing CLIPSeg: (MaxRetryError("HTTPSConnectionPool(hosthuggingface.co, port443): Max retries exceeded with url: /CIDAS/clipseg-rd64-refined/resolve/main/toke…