OpenCV 入门（三）—— 车牌筛选

OpenCV 入门系列：

OpenCV 入门（一）—— OpenCV 基础
OpenCV 入门（二）—— 车牌定位
OpenCV 入门（三）—— 车牌筛选
OpenCV 入门（四）—— 车牌号识别
OpenCV 入门（五）—— 人脸识别模型训练与 Windows 下的人脸识别
OpenCV 入门（六）—— Android 下的人脸识别
OpenCV 入门（七）—— 身份证识别

本篇文章要介绍如何对从候选车牌中选出最终进行字符识别的车牌。

无论是通过 Sobel 还是 HSV 计算出的候选车牌都可能不止一个，需要对它们进行评分，选出最终要进行识别的车牌。这个过程中会用到两个理论知识：支持向量机和 HOG 特征。

1、支持向量机

1.1 SVM 简介

支持向量机（Support Vector Machine，SVM）是一类按监督学习（Supervised Learning）方式对数据进行二元分类的广义线性分类器。用通俗的话来讲，就是用来分类，或者说挑选东西的。

对于车牌识别而言，车牌定位的候选车牌图可以分为两类：车牌与非车牌。SVM 可以对候选图进行测评，告诉我们图中的是不是车牌，相似程度是多少。

当然，SVM 可以进行分类的前提还是我们使用正负样本对其进行了训练。SVM 的训练数据既有特征又有标签，通过训练，让机器可以自己找到特征和标签之间的联系，在面对只有特征没有标签的数据时，可以判断出标签，这属于机器学习中的监督学习。

1.2 核函数

SVM 中有一个重要概念就是核函数。它的目标是找到一个能够将数据点分为不同类别的最优超平面（或者在非线性情况下是最优超曲面）。对于线性可分的情况，存在一个超平面可以完全将两个类别的数据分开。但是，在某些情况下，数据可能无法通过一个线性超平面进行完全分离，这就是线性不可分的情况。

SVM 线性可分：样本数据使用二维的线就可分类：

svm线性可分

SVM 线性不可分：左侧图片中的数据样本无法在二维平面内用线划分，称为线性不可分，只能像右侧图片那样用一个平面分开：

svm线性不可分

为了处理线性不可分的数据，引入了核函数的概念。核函数能够将输入数据从原始的特征空间（通常是低维空间）映射到一个更高维的特征空间，使得在新的特征空间中数据线性可分。这意味着在原始特征空间中无法线性分割的数据，在映射到高维特征空间后可以通过一个超平面进行线性分割。通常我们将这个过程称为提维，分离超平面就是通过提围计算出来的。

核函数的作用是在不显式计算映射到高维特征空间的情况下，直接在低维特征空间中进行计算。这样可以避免高维空间的计算复杂性，并且通过核函数的巧妙选择，可以实现高维特征空间的效果。

常见的核函数包括线性核函数、多项式核函数和径向基函数（Radial Basis Function，RBF）核函数。线性核函数对应于线性可分的情况，而多项式核函数和 RBF 核函数则可以处理线性不可分的情况。

1.3 SVM 训练流程

SVM 训练流程如下图：

svm训练流程

步骤：

  1. 预处理（原始数据 -> 学习数据（无标签））：预处理步骤主要处理的是原始数据到学习数据的转换过程（真正的车牌图片和不是车牌的图片）
  2. 打标签（学习数据（无标签）-> 学习数据（带标签））：将未贴标签的数据转化为贴过标签的学习数据
  3. 分组（学习数据（带标签）-> 分组数据）：将数据分为训练集和测试集
  4. 训练（训练数据 -> 模型）：加载待训练的车牌数据和非车牌数据，合并数据，配置 SVM 模型的训练参数进行训练

2、HOG 特征

HOG（Histogram of Oriented Gradient）特征是局部归一化的梯度方向直方图，是一种对图像局部重叠区域的密集型描述符，是用于目标检测和图像识别的特征描述方法，它通过计算局部区域的梯度方向直方图来构成特征。它在计算机视觉领域中广泛应用，特别是在行人检测等任务中取得了很好的效果。

HOG 特征的计算步骤如下：

  1. 图像预处理：将输入图像转换为灰度图像，去除颜色信息，以减少计算量。

  2. 梯度计算：计算图像中每个像素点的梯度信息。使用一阶导数（如 Sobel 算子）来计算水平和垂直方向上的梯度值，然后计算每个像素点的梯度幅值和梯度方向。

  3. 单元划分：将图像划分为小的连续区域，称为单元。通常使用 3 × 3 或 4 × 4 像素的单元。

  4. 梯度直方图统计：在每个单元中，对每个像素点的梯度方向进行统计。将梯度方向范围分成若干个区间（通常是 9 个），然后统计每个区间内的梯度幅值的累加和。这样就得到了一个梯度直方图。

  5. 块归一化：将相邻的若干个单元组成一个块，对每个块内的梯度直方图进行归一化处理。归一化可以降低光照变化对特征的影响，并增强特征的鲁棒性。

  6. 特征向量拼接：将所有块内的归一化梯度直方图按顺序拼接起来，形成最终的 HOG 特征向量。

HOG 特征的优点是能够捕捉图像中物体的边缘和纹理等局部特征，并且对光照变化相对鲁棒。它在行人检测等任务中被广泛使用，通常与支持向量机（SVM）等分类器结合使用，用于目标检测和图像识别。

3、代码实现

评分肯定是先通过正负样本学习，训练出一个特征集合，我们需要先加载这个 xml 文件：

int main() {
    // 加载车牌图片
	Mat src = imread("C:/Users/UserName/Desktop/Test/test5.jpg");
    // 新增加载特征集合
	LicensePlateRecognizer lpr("C:/Users/UserName/Desktop/Test/svm.xml");
    // 识别
	string str_plate = lpr.recognize(src);
	cout << "车牌号码：" << str_plate << endl;
	return 0;
}

在 LicensePlateRecognizer 进行识别时，需要调用评分的函数 predict()：

/**
* 车牌识别 = 车牌定位 + 车牌检测 + 字符识别
*/
string LicensePlateRecognizer::recognize(Mat src)
{
	// 传入原图的克隆版本，以防在原图上的绘制影响后续算法定位
	Mat src_clone = src.clone();
	// 1.车牌定位，使用 Sobel 算法定位
	vector<Mat> sobel_plates;
	sobelLocator->locate(src_clone, sobel_plates);
	// 使用 HSV 算法定位
	src_clone = src.clone();
	vector<Mat> color_plates;
	colorLocator->locate(src_clone, color_plates);

	// 将两种车牌合并到一个集合中
	vector<Mat> plates;
	plates.insert(plates.end(), sobel_plates.begin(), sobel_plates.end());
	plates.insert(plates.end(), color_plates.begin(), color_plates.end());
	// 释放 sobel_plates 和 color_plates 内的 Mat
	for each (Mat m in sobel_plates)
	{
		m.release();
	}
	for each (Mat m in color_plates)
	{
		m.release();
	}

	// 2.精选车牌定位得到的候选车牌图
	char windowName[100];
	for (int i = 0; i < plates.size(); i++)
	{
		sprintf(windowName, "%zd 候选车牌", i);
		imshow(windowName, plates[i]);
		waitKey();
	}
	// 评分，将最接近车牌的图片保存到 plate 中，其索引保存在 index 中
	Mat plate;
	int index = svmPredictor->predict(plates, plate);

	src_clone.release();

    // 暂时还无法识别到车牌号，返回一个测试字符串
	return string("12345");
}

svmPredictor 就是通过 SVM 进行车牌评分的类，它需要创建一个 SVM 对象，还需要创建一个 HOGDescriptor：

#ifndef SVMPREDICTOR_H
#define SVMPREDICTOR_H

#include <opencv2/opencv.hpp>
#include <string>
// 机器学习 Machine Learning
#include <opencv2/ml.hpp>

using namespace std;
using namespace cv;
using namespace ml;

class SvmPredictor {
public:
	SvmPredictor(const char* svm_model);
	~SvmPredictor();

	virtual int predict(vector<Mat> candi_plates, Mat& dst_plates);
private:
    // 支持向量机对象
	Ptr<SVM> svm;
    // HOG 特征对象
	HOGDescriptor* svmHog = nullptr;

	void getHOGFeatures(HOGDescriptor* svmHog, Mat src, Mat& dst);
};

#endif // !SVMPREDICTOR_H

我们需要了解 HOGDescriptor 的创建参数：

SvmPredictor::SvmPredictor(const char* svm_model)
{
	svm = SVM::load(svm_model);
	svmHog = new HOGDescriptor(Size(128, 64), Size(16, 16), Size(8, 8), Size(8, 8), 3);
}

SvmPredictor::~SvmPredictor()
{
	if (svm)
	{
		svm->clear();
		svm.release();
	}
}

创建 HOGDescriptor 传了 4 个 Size 对象，它们的含义如下：

	/** @overload
    @param _winSize 使用给定的值设置窗口大小
    @param _blockSize 使用给定的值设置块大小
    @param _blockStride 使用给定的值设置滑动增量大小
    @param _cellSize 使用给定的值设置胞元（CellSize）大小
    @param _nbins 使用给定的值设置梯度方向
    */
    CV_WRAP HOGDescriptor(Size _winSize, Size _blockSize, Size _blockStride,
                  Size _cellSize, int _nbins, int _derivAperture=1, double _winSigma=-1,
                  HOGDescriptor::HistogramNormType _histogramNormType=HOGDescriptor::L2Hys,
                  double _L2HysThreshold=0.2, bool _gammaCorrection=false,
                  int _nlevels=HOGDescriptor::DEFAULT_NLEVELS, bool _signedGradient=false)

窗口大小设置为 (128, 64) ，作用是扫描图片中指定大小区域的像素，示意图如下：

窗口

一个窗口可以分成若干块，比如我们在代码中指定了块大小为 (16, 16)，那么一个 (128, 64) 的窗口就可以在横向放 4 个块，纵向放 8 个块：

块和步

块滑动增量指定一个块在横纵方向上滑动步长为 (8, 8)，胞元大小也指定为 (8, 8)，那么一个 (16, 16) 的块中就包含 4 个胞元。最后的梯度方向 _nbins 指定为 3，在一个胞元内统计 3 个方向的梯度直方图，每个方向为 180 / 3 = 60°（将水平 180° 进行三等分）。

上面这个检测窗口可以被分为 ((128 - 16) / 8 + 1) * ((64 - 16) / 8 + 1) = 105 个块，一个块有 4 个胞元（Cell），一个胞元的 Hog 描述子向量的长度是 9。设置参数时必须要保证两个乘数内部是可以整除的。

统计梯度直方图特征，就是将梯度方向（0 ~ 360）划分为 x 个区间，将图像化为若干个 16 × 16 的窗口，每个窗口又划分为 x 个 block，每个 block 再化为 4 个 Cell（8 × 8）。对每一个 Cell，算出每一像素点的梯度方向，按梯度方向增加对应 bin 的值，最终综合 N 个 Cell 的梯度直方图组成特征。

简单来说，车牌的边缘与内部文字组成的一组信息（在边缘和角点的梯度值是很大的，边缘和角点包含了很多物体的形状信息），HOG 就是抽取这些信息组成一个直方图。

HOG：梯度方向弱化光照的影响，适合捕获轮廓

LBP：中心像素的 LBP 值反映了该像素周围区域的纹理信息

predict() 参考代码：

int SvmPredictor::predict(vector<Mat> candi_plates, Mat& dst_plate)
{
	Mat plate;
	float score;
	float minScore = FLT_MAX;
	int minIndex = -1;
	for (int i = 0; i < candi_plates.size(); i++)
	{
		plate = candi_plates[i];
		// 准备获取车牌图片的 HOG 特征，先获取灰度图
		Mat gray;
		cvtColor(plate, gray, COLOR_BGR2GRAY);

		// 二值化（非黑即白，对比更强烈）
		Mat shold;
		threshold(gray, shold, 0, 255, THRESH_OTSU + THRESH_BINARY);

		// 获取特征
		Mat feature;
		getHOGFeatures(svmHog, shold, feature);

		// 获取样本
		Mat sample = feature.reshape(1, 1);

		// 获取评分，评分越小越像目标
		score = svm->predict(sample, noArray(), StatModel::Flags::RAW_OUTPUT);
		printf("SVM候选车牌%d的评分是：%f\n", i, score);
		
		// 记录最小分数的索引
		if (score<minScore)
		{
			minScore = score;
			minIndex = i;
		}

		// 释放
		gray.release();
		shold.release();
		feature.release();
		sample.release();
	}

	// 找到了目标图片就把该图片复制给结果参数 dst_plate
	if (minIndex >= 0)
	{
		dst_plate = candi_plates[minIndex].clone();
		imshow("SVM 评测最终车牌", dst_plate);
		waitKey();
	}

	return minIndex;
}

获取特征其实就是通过 HOGDescriptor 计算出特征集合：

void SvmPredictor::getHOGFeatures(HOGDescriptor* svmHog, Mat src, Mat& dst)
{
	// 归一化处理
	Mat trainImg = Mat(svmHog->winSize, CV_32S);
	resize(src, trainImg, svmHog->winSize);

	// 计算特征
	vector<float> desc;
	svmHog->compute(trainImg, desc, svmHog->winSize);

	// 特征图拷贝给结果 dst
	Mat feature(desc);
	feature.copyTo(dst);

	// 释放
	feature.release();
	trainImg.release();
}

运行代码，可以看到有 4 个候选车牌，其中最后一个评分最低，是最符合标准的车牌：

2024-4-4.SVM评分选出最终图片

参考资料：

学习Opencv2.4.9(四)—SVM支持向量机

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/599803.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【SSM进阶学习系列丨分页篇】PageHelper 分页插件集成实践

【SSM进阶学习系列丨分页篇】PageHelper 分页插件集成实践

文章目录 一、说明什么是分页PageHelper介绍 二、导入依赖三、集成Spring框架中四、编写Service五、编写Controller六、编写queryAllByPage页面展示数据 一、说明 什么是分页 ​ 针对分页&#xff0c;使用的是PageHelper分页插件&#xff0c;版本使用的是5.1.8 。 ​ 参考文档…
阅读更多...
【typescript 小秘籍 - 类型自动推导】

【typescript 小秘籍 - 类型自动推导】

今天发现个typescript的小技巧&#xff0c;原来在vscode里面 typescript是可以根据数据&#xff0c;自动推导其类型的&#xff0c;这样就不用自己去手敲定义了。比如 鼠标移动到person上&#xff0c;可以看到 其自动推导了person的类型 然后直接复制下来 直接使用即可。
阅读更多...
新华三VRRP配置

新华三VRRP配置

新华三VRRP配置 配置步骤 (1).基础配置&#xff1a; CORE1&#xff1a; [CORE1]vlan 10 //创建vlan10 [CORE1-vlan10]int vlan 10 //进入vlanif 10 [CORE1-Vlan-interface10]ip add 192.168.10.1 24 //配置ip [CORE1-Vlan-interface10]int g1/0/2 //进入接口 [C…
阅读更多...
Map集合的实现类~TreeMap

Map集合的实现类~TreeMap

重复依据&#xff1a;通过对键进行排序 先创建Student类&#xff0c;并在主函数new对象&#xff0c;然后创建TreeMap&#xff1a; 建立红黑树&#xff0c;需要在Student类后面实现类的接口&#xff1a; 重写其中的compareTo方法&#xff1a; 或者可以自定义比较器&#xff1a; …
阅读更多...
2024五一劳动节活动策划方案

2024五一劳动节活动策划方案

2024五一劳动节打工人青松游园大会&#xff08;劳动节放青松主题&#xff09;活动策划方案-51P.pptx 活动策划信息&#xff1a; 方案页码&#xff1a;51页 文件格式&#xff1a;PPT 方案简介&#xff1a; 劳动是世界上最伟大的事 所以我们该把一些劳动留给明天&#xff0…
阅读更多...
windows系统远程执行脚本部署项目操作手册

windows系统远程执行脚本部署项目操作手册

windows系统远程执行脚本部署项目操作手册 windows系统远程执行脚本部署项目 如果频繁的需要部署项目到远程的服务器上,每次要手动上传项目,然后停止项目,启动项目,很麻烦,像Linux天生支持远程执行脚本 Windows借助工具也可以做到. 安装WinSCP软件 自行下载软件或关注我的公…
阅读更多...
荷香堪筑梦，鸳鸯和月寻。（变相BFS搜索）

荷香堪筑梦，鸳鸯和月寻。（变相BFS搜索）

本题链接&#xff1a;登录—专业IT笔试面试备考平台_牛客网 题目&#xff1a; 样例&#xff1a; 输入 3 4 2 .... ***. ..a. 输出 yes 思路&#xff1a; 根据题意&#xff0c;这里 1 s 可以移动多次&#xff0c;我们将每次可以移动避开雪的的位置存储起来&#xff0c;判断当…
阅读更多...
强大的禄得可转债自定义因子轮动系统完成，可转债三低为例子

强大的禄得可转债自定义因子轮动系统完成，可转债三低为例子

经过几天的测试终于完成了可转债自定义因子轮动&#xff0c;超过1000行的源代码 我提供了服务器的数据支持自动api下载&#xff0c;我给大家维护数据 网页 http://120.78.132.143:8023/ 录得数据支持http://120.78.132.143:8023/lude_data_app api数据支持&#xff0c;我提供…
阅读更多...
每天五分钟计算机视觉：通过交并比判断对象检测算法的性能

每天五分钟计算机视觉：通过交并比判断对象检测算法的性能

本文重点 在对象检测领域，交并比（Intersection over Union，简称IoU）是衡量算法性能的重要指标之一。它不仅直观地反映了预测框与真实框之间的重叠程度，还是判断算法是否“运行良好”的关键依据。 那个定位是好的？ 对象检测任务中，我们希望不仅检测到对象，同时我们还希…
阅读更多...
嵌入式开发常见概念简介

嵌入式开发常见概念简介

目录 0. 《STM32单片机自学教程》专栏总纲 API Handle(句柄) 0. 《STM32单片机自学教程》专栏总纲 本文作为专栏《STM32单片机自学教程》专栏其中的一部分&#xff0c;返回专栏总纲&#xff0c;阅读所有文章,点击Link: STM32单片机自学教程-[目录总纲]_stm32 学习-CSD…
阅读更多...
excel如何将多列数据转换为一列？

excel如何将多列数据转换为一列？

这个数据整理借用数据透视表也可以做到&#xff1a; 1.先将数据源的表头补齐&#xff0c;“姓名” 2.点击插入选项卡&#xff0c;数据透视表&#xff0c;在弹出对话框中&#xff0c;数据透视位置选择 现有工作表&#xff0c;&#xff08;实际使用时新建也没有问题&#xff09;…
阅读更多...
【C/C++】设计模式——单例模式

【C/C++】设计模式——单例模式

创作不易&#xff0c;本篇文章如果帮助到了你&#xff0c;还请点赞 关注支持一下♡>&#x16966;<)!! 主页专栏有更多知识&#xff0c;如有疑问欢迎大家指正讨论&#xff0c;共同进步&#xff01; &#x1f525;c系列专栏&#xff1a;C/C零基础到精通 &#x1f525; 给大…
阅读更多...
vue快速入门（五十）重定向

vue快速入门（五十）重定向

注释很详细&#xff0c;直接上代码 上一篇 本篇建立在之前篇目前提下针对重定向进行演示 新增内容 路由重定向写法 源码 src/router/index.js //导入所需模块 import Vue from "vue"; import VueRouter from "vue-router"; import myMusic from "/v…
阅读更多...
基于springboot实现校园失物招领系统【项目源码+论文说明】

基于springboot实现校园失物招领系统【项目源码+论文说明】

基于springboot实现校园失物招领系统演示 摘要 身处网络时代&#xff0c;随着网络系统体系发展的不断成熟和完善&#xff0c;人们的生活也随之发生了很大的变化&#xff0c;身边经常有同学丢失了东西或者衣服而烦恼&#xff0c;为了找到自己心爱的物品疲于奔命&#xff0c;还不…
阅读更多...
代码随想录算法训练营第十九天：二叉树go

代码随想录算法训练营第十九天：二叉树go

代码随想录算法训练营第十九天&#xff1a;二叉树go 226.翻转二叉树 力扣题目链接(opens new window) 翻转一棵二叉树。 ​​ 这道题目背后有一个让程序员心酸的故事&#xff0c;听说 Homebrew的作者Max Howell&#xff0c;就是因为没在白板上写出翻转二叉树&#xff0c;最…
阅读更多...
Python批量计算多张遥感影像的NDVI

Python批量计算多张遥感影像的NDVI

本文介绍基于Python中的gdal模块&#xff0c;批量基于大量多波段遥感影像文件&#xff0c;计算其每1景图像各自的NDVI数值&#xff0c;并将多景结果依次保存为栅格文件的方法。 如下图所示&#xff0c;现在有大量.tif格式的遥感影像文件&#xff0c;其中均含有红光波段与近红外…
阅读更多...
python实验三 实现UDP协议、TCP协议进行服务器端与客户端的交互

python实验三 实现UDP协议、TCP协议进行服务器端与客户端的交互

实验三 实验题目 1、请利用生成器构造一下求阶乘的函数Factorial()&#xff0c;定义一个函数m()&#xff0c;在m()中调用生成器Factorial()生成小于100的阶乘序列存入集合s中&#xff0c;输出s。 【代码】 def factorial():n1f1while 1:​ f * n​ yield (f)​ n1…
阅读更多...
做安卓应用开发的我，转前端开发了

做安卓应用开发的我，转前端开发了

距离转前端开发已经快3个月了&#xff0c;现在自己也慢慢的熟悉了开发。 在2月份的时候。领导找我们移动小组的谈话&#xff0c;主要是关于转前端或者后端的问题。由于公司移动端的选型&#xff0c;对安卓原生的需求降低&#xff0c;问下我们转其他开发的需求。 我毫不犹豫的选…
阅读更多...
一文了解栈

一文了解栈

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、栈是什么&#xff1f;二、栈的实现思路1.顺序表实现2.单链表实现3.双向链表实现 三、接口函数的实现1.栈的定义2.栈的初始化3.栈的销毁4.入栈5.出栈6.返回栈…
阅读更多...
MFC列表控件用ADO添加数据实例

MFC列表控件用ADO添加数据实例

1、本程序基于前期我的博客文章《MFC用ADO连接ACESS数据库实例(免费源码下载)》 程序功能通过编辑框、组合框实时将数据写入ACESS数据库并在列表控件上显示。 2、在主界面资源视图上加上一个按钮控件、两个静态文本、一个编辑框IDC_EDIT1变量名name、一个组合框IDC_COMBO1变量名…
阅读更多...
最新文章

Copyright @ 2022~2023