本文介绍如何使用 SIFT 算法跟踪对象
在当今世界，当涉及到对象检测和跟踪时，深度学习模型是最常用的，但有时传统的计算机视觉技术也可能有效。在本文中，我将尝试使用 SIFT 算法创建一个对象跟踪器。
为什么人们会选择使用传统的计算机视觉技术而不是深度学习？
深度学习确实很强大，但它也有一些要求。首先，必须有可用的数据。有时，为您的特定目的找到合适的数据集可能具有挑战性。获取数据后，需要对模型进行训练，这既消耗时间又消耗计算资源。
当谈到使用传统的计算机视觉技术时，您不需要数据集或模型训练。此外，在许多情况下，不需要GPU 。这些技术甚至可以在计算能力有限的小型设备上高效运行。
因此，如果您不想花时间在数据集收集和模型训练上，或者您缺乏训练资源，或者您根本无法访问足够的数据，那么您可以在深入研究之前考虑使用计算机视觉技术学习
在开始编码之前，我将简要解释一下SIFT 算法是什么。
什么是 SIFT 算法？
尺度不变特征变换（SIFT）是一种强大的计算机视觉算法。
- SIFT 旨在检测、描述和匹配图像中的局部特征。
- 它通过识别不随比例、旋转和照明变化而变化的独特关键点（兴趣点）来进行操作。
- 这些关键点可以作为识别对象和模式的强大描述符。SIFT 的应用：对象识别、图像拼接、3D 建模、视频跟踪……。
SIFT 的应用：对象识别、图像拼接、3D 建模、视频跟踪……。
现在我将开始使用 OpenCV 使用 SIFT 算法创建一个对象跟踪器.
使用 SIFT 进行对象跟踪
该程序将非常简单。首先，用户将在视频的第一帧上绘制一个矩形，目标图像将放置在该矩形内。之后，SIFT算法将从该矩形中提取特征并保存。
然后视频将显示在屏幕上，SIFT 算法将应用于每一帧。对于每一帧，将比较第一帧的特征和从当前帧提取的特征，如果匹配，程序将在该公共点处画一个圆。此过程将应用于每一帧。
因此，当用户观看视频时，他们会看到每一帧中的目标对象上出现圆圈。所以它将是一个简单且相对强大的对象跟踪器
1. 创建用于跟踪的目标图像
要在目标对象周围绘制矩形，请单击鼠标右键。（将被跟踪的图像）。您可以修改代码以允许从任何帧中选择对象，而不仅仅是从第一帧中。我只是重用了以前项目中的代码，不想对其进行更改。
# 导入必要的库
import cv2
import numpy as np
import matplotlib.pyplot as plt
# 视频路径
video_path= "resources/plane (1).mp4"
video = cv2.VideoCapture(video_path)
# 只读第一帧以绘制所需对象的矩形
ret,frame = video.read()
# 我给出大随机数x_min 和 y_min 的数字，因为如果将它们初始化为零，则无论最小坐标都将为零
x_min,y_min,x_max,y_max= 36000 , 36000 , 0 , 0
def coordinat_chooser ( event,x,y,flags,param ):
global go , x_min , y_min, x_max , y_max
# 当你点击右键时，它将提供变量的坐标
if event==cv2.EVENT_RBUTTONDOWN:
# 如果 x 的当前坐标低于 x_min 它将是新的 x_min ，同样的规则适用for y_min
x_min= min (x,x_min)
y_min= min (y,y_min)
# 如果 x 的当前坐标高于 x_max 则为新的 x_max ，同样的规则适用于 y_max
x_max= max (x,x_max)
y_max= max (y,y_max)
# 绘制矩形
cv2.rectangle(frame,(x_min,y_min),(x_max,y_max),( 0 , 255 , 0 ), 1 )
"""
如果你不喜欢你的矩形（也许你喜欢一些misscliks），用鼠标中键重置坐标，
如果您按下鼠标中键，您的鼠标坐标将重置，您可以为矩形
“””提供新的2点对
if event==cv2.EVENT_MBUTTONDOWN:
print ( "重置坐标data" )
x_min,y_min,x_max,y_max= 36000 , 36000 , 0 , 0
cv2.namedWindow( 'coefficient_screen' )
# 设置指定窗口的鼠标处理程序，在本例中为“coefficient_screen”窗口
cv2.setMouseCallback( 'coefficient_screen' , coordinat_chooser)
while True :
cv2.imshow( "coefficient_screen" ,frame) # 仅显示第一帧
k = cv2.waitKey( 5 ) & 0xFF # 绘制矩形后按 esc
if k == 27 :
cv2.destroyAllWindows()
break- 下面，我用鼠标右键为目标对象绘制了一个矩形
# 获取感兴趣区域（取矩形内部）
roi_image=frame[y_min:y_max,x_min:x_max]
# 将 roi 转换为灰度，SIFT 算法适用于灰度图像
roi_gray=cv2.cvtColor(roi_image,cv2.COLOR_BGR2GRAY)roi_image：简单来说就是在其周围画一个矩形得到的目标图像。
2. 寻找ROI（目标图像）的关键点
# 创建 SIFT 算法对象
sift = cv2.SIFT_create()
# 查找 roi 的关键点和描述符
keypoints_1,descriptors_1 = sift.detectAndCompute(roi_gray, None )
roi_keypoint_image=cv2.drawKeypoints(roi_gray,keypoints_1,roi_gray)
# 可视化关键点
plt.subplot( 121 )
plt.imshow(roi_gray,cmap= "gray" )
plt.subplot( 122 )
plt.imshow(roi_keypoint_image,cmap= "gray" )
3. 跟踪视频中的目标物体
# 视频路径
video_path= "resources/plane (1).mp4"
video = cv2.VideoCapture(video_path)
# 匹配器对象
bf = cv2.BFMatcher()
while True :
# 读取视频
ret,frame=video.read()
#将帧转换为灰度
frame_gray=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY)
# 查找当前帧关键点和描述符
keypoints_2,descriptors_2 = sift.detectAndCompute(frame_gray, None )
"""比较从 第一帧
提取的关键点/描述符(
来自目标对象）与从当前帧中提取的内容。
“””
匹配 =bf。match (descriptors_1,descriptors_2)
for match in matches:
# .queryIdx 和 .trainIdx 给出关键点的索引
# .queryIdx 给出目标图像的关键点
索引 query_idx = match .queryIdx
# .trainIdx 给出当前帧的关键点
索引 train_idx = match .trainIdx
#取匹配的坐标
pt1 = keypoints_1[query_idx].pt
# 当前帧关键点坐标
pt2 = keypoints_2[train_idx].pt
# 将圆绘制到 pt2 坐标，因为 pt2 给出当前帧坐标
cv2.circle(frame,( int (pt2[ 0 ]), int (pt2[ 1 ])), 2 ,( 255 , 0 , 0 ), 2 )
# 将帧显示到屏幕
cv2.imshow( "coordinate_screen" ,frame)
k = cv2.waitKey( 5 ) & 0xFF #绘制矩形后按 esc
if k == 27 :
cv2.destroyAllWindows()
break
cv2.destroyAllWindows()
