提取SIFT特征的代码,返回关键点kp及特征描述符des
def SIFT(frame):
# 创建SIFT特征提取器
sift = cv2.xfeatures2d.SIFT_create()
# 提取SIFT特征
kp, des = sift.detectAndCompute(frame, None)
return kp, des
这行代码是使用SIFT(Scale-Invariant Feature Transform)算法在图像中检测关键点并计算对应的特征描述符。
在这行代码中,sift
是一个SIFT特征提取器的实例,detectAndCompute
是它的一个方法,用于在给定的图像中检测关键点并计算特征描述符。
这个方法有两个参数:第一个参数是输入的图像,第二个参数是一个掩码,用于指定在哪些地方检测关键点。在这个例子中,我们没有使用掩码,所以第二个参数是None
。
这个方法返回两个值:kp
和des
。
-
kp
是一个列表,包含了在图像中检测到的所有关键点。每个关键点是一个KeyPoint对象,包含了关键点的位置、大小、角度、响应度等信息。 -
des
是一个NumPy数组,包含了每个关键点的特征描述符。每个特征描述符是一个128维的向量,可以用于比较不同关键点(或来自不同图像的关键点)的相似性。
总的来说,这行代码的作用就是使用SIFT算法提取图像的关键点和特征描述符,这些关键点和特征描述符可以用于图像匹配、物体检测、图像识别等任务。
特征描述匹配算法
FlannBasedMatcher
是 OpenCV 中的一个特征匹配方法,它使用了近似最近邻搜索算法(Approximate Nearest Neighbors,简称 FLANN)来寻找特征之间的匹配。这种方法的主要优点是它在大规模数据集上的性能非常好,尤其是在处理高维特征(例如 SIFT 或 SURF)时。
FLANN 是一种优化的最近邻搜索算法,它可以在高维空间中快速找到查询点的最近邻。传统的最近邻搜索算法(例如暴力搜索)在高维空间中的性能往往很差,因为它们需要对每一个可能的匹配进行计算,这在处理大规模数据集时会变得非常慢。FLANN 通过使用一种叫做 k-d 树的数据结构,以及一种叫做优先级搜索的策略,来大大加快搜索速度。
FLANN 的另一个优点是它可以自动选择最优的搜索算法和参数,这使得它可以在各种不同的数据集和特征类型上都有很好的性能。然而,这也意味着 FLANN 可能需要一些时间来调整这些参数,因此在小规模数据集上,FLANN 可能不如其他更简单的方法(例如暴力搜索或基于哈希的方法)快。
总的来说,FlannBasedMatcher
的主要优势是它在处理大规模、高维特征数据集时的性能和效率。然而,这也意味着它可能不适合所有的应用场景,尤其是在数据集较小或特征维度较低的情况下。
# 近似匹配
# 近似最近邻搜索算法来找到最佳匹配
def FlannMatcher(des1, des2):
# 创建FLANN匹配器
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm=FLANN_INDEX_KDTREE, trees=5) # KD树索引 树的数量5
search_params = dict(checks=50) # 回溯查找的次数
flann = cv2.FlannBasedMatcher(index_params, search_params)
# 使用FlannBasedMatcher比较特征描述符
matches = flann.knnMatch(des1, des2, k=2)
# 应用比例测试(ratio test)来选择好的匹配
good_matches = []
for m, n in matches:
if m.distance < 0.7 * n.distance:
good_matches.append([m])
return good_matches
根据视频流取帧进行特征对比
def process(path1, path2):
# 读取视频
cap1 = cv2.VideoCapture(path1)
cap2 = cv2.VideoCapture(path2)
index = 0
# matches_over_time 根据时序得到特征匹配结果
# scores 记录每个匹配的得分情况 根据 最佳匹配/提取特征数 计算
matches_over_time, scores = [], []
while True:
index = index + 1
# 读取第一帧
ret1, frame1 = cap1.read()
ret2, frame2 = cap2.read()
if not ret1:
break
if not ret2:
break
if index % 25 != 0: # 每秒一帧进行采样
continue
# 如果成功读取帧
if ret1 and ret2:
kp1, des1 = SIFT(frame1)
kp2, des2 = SIFT(frame2)
good_matches = FlannMatcher(des1, des2)
matches_over_time.append(good_matches)
# 计算得分
score = len(good_matches) / min(des1.shape[0], des2.shape[0])
scores.append(score)
# 释放资源
cap1.release()
cap2.release()
return matches_over_time, scores
# 主函数调用
if __name__ == '__main__':
path1 = 'video_base.mp4'
path2 = 'video_origin.mp4'
t1 = int(time.time() * 1000)
matches, scores = process(path1, path2)
t2 = int(time.time() * 1000)
print(f"用时 {(t2-t1)/1000.0}s")
total_score = sum(scores) / len(scores)
print(f"相似度得分 {round(total_score, 7)}")
# cv2.destroyAllWindows()