使用OpenVINO™.CSharp.API.Extensions.PaddleOCR NuGet Package快速实现OCR文本识别

  PP-OCR是PaddleOCR自研的实用的超轻量OCR系统,可以实现端到端的图像文本检测。为了在C#平台实现使用OpenVINO™部署PP-OCR模型实现文本识别,让更多开发者快速上手PP-OCR项目,基于此,封装了OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package,方便开发者快速安装使用。在本文中,我们将结合OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package向大家展示该程序集的使用方式:

OpenVINO™ C# API项目链接:

https://github.com/guojin-yan/OpenVINO-CSharp-API.git

OpenVINO.CSharp.API.Extensions.PaddleOCR NuGet Package:

https://www.nuget.org/packages/OpenVINO.CSharp.API.Extensions/

使用 OpenVINO™ C# API 部署 PaddleOCR 全部源码:

https://github.com/guojin-yan/PaddleOCR-OpenVINO-CSharp.git

1. 前言

1.1 OpenVINO™ C# API

  英特尔发行版 OpenVINO™ 工具套件基于 oneAPI 而开发,可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件,适用于从边缘到云的各种英特尔平台上,帮助用户更快地将更准确的真实世界结果部署到生产系统中。通过简化的开发工作流程,OpenVINO™ 可赋能开发者在现实世界中部署高性能应用程序和算法。
在这里插入图片描述

  2024年4月25日,英特尔发布了开源 OpenVINO™ 2024.1 工具包,用于在各种硬件上优化和部署人工智能推理。更新了更多的 Gen AI 覆盖范围和框架集成,以最大限度地减少代码更改。同时提供了更广泛的 LLM 模型支持和更多的模型压缩技术。通过压缩嵌入的额外优化减少了 LLM 编译时间,改进了采用英特尔®高级矩阵扩展 (Intel® AMX) 的第 4 代和第 5 代英特尔®至强®处理器上 LLM 的第 1 令牌性能。通过对英特尔®锐炫™ GPU 的 oneDNN、INT4 和 INT8 支持,实现更好的 LLM 压缩和改进的性能。最后实现了更高的可移植性和性能,可在边缘、云端或本地运行 AI。

  OpenVINO™ C# API 是一个 OpenVINO™ 的 .Net wrapper,应用最新的 OpenVINO™ 库开发,通过 OpenVINO™ C API 实现 .Net 对 OpenVINO™ Runtime 调用,使用习惯与 OpenVINO™ C++ API 一致。OpenVINO™ C# API 由于是基于 OpenVINO™ 开发,所支持的平台与 OpenVINO™ 完全一致,具体信息可以参考 OpenVINO™。通过使用 OpenVINO™ C# API,可以在 .NET、.NET Framework等框架下使用 C# 语言实现深度学习模型在指定平台推理加速。

1.2 Paddle OCR

  PP-OCR是PaddleOCR自研的实用的超轻量OCR系统。在实现前沿算法的基础上,考虑精度与速度的平衡,进行模型瘦身和深度优化,使其尽可能满足产业落地需求。PP-OCR是一个两阶段的OCR系统,其中文本检测算法选用DB,文本识别算法选用CRNN,并在检测和识别模块之间添加文本方向分类器,以应对不同方向的文本识别。

  PP-OCR系统在持续迭代优化,目前已发布PP-OCR、PP-OCRv2、PP-OCRv3和PP-OCRv4两个版本:

  • PP-OCR从骨干网络选择和调整、预测头部的设计、数据增强、学习率变换策略、正则化参数选择、预训练模型使用以及模型自动裁剪量化8个方面,采用19个有效策略,对各个模块的模型进行效果调优和瘦身(如绿框所示),最终得到整体大小为3.5M的超轻量中英文OCR和2.8M的英文数字OCR。
  • PP-OCRv2在PP-OCR的基础上,进一步在5个方面重点优化,检测模型采用CML协同互学习知识蒸馏策略和CopyPaste数据增广策略;识别模型采用LCNet轻量级骨干网络、UDML 改进知识蒸馏策略和Enhanced CTC loss损失函数改进,进一步在推理速度和预测效果上取得明显提升。
  • PP-OCRv3在PP-OCRv2的基础上,针对检测模型和识别模型,进行了升级:
    • PP-OCRv3检测模型对PP-OCRv2中的CML协同互学习文本检测蒸馏策略进行了升级,分别针对教师模型和学生模型进行进一步效果优化。其中,在对教师模型优化时,提出了大感受野的PAN结构LK-PAN和引入了DML蒸馏策略;在对学生模型优化时,提出了残差注意力机制的FPN结构RSE-FPN。
    • PP-OCRv3的识别模块是基于文本识别算法SVTR优化。SVTR不再采用RNN结构,通过引入Transformers结构更加有效地挖掘文本行图像的上下文信息,从而提升文本识别能力。PP-OCRv3通过轻量级文本识别网络SVTR_LCNet、Attention损失指导CTC损失训练策略、挖掘文字上下文信息的数据增广策略TextConAug、TextRotNet自监督预训练模型、UDML联合互学习策略、UIM无标注数据挖掘方案,6个方面进行模型加速和效果提升。
  • PP-OCRv4在PP-OCRv3的基础上进一步升级。整体的框架图保持了与PP-OCRv3相同的pipeline,针对检测模型和识别模型进行了数据、网络结构、训练策略等多个模块的优化。 PP-OCRv4系统框图如下所示:

img

2. OpenVINO™ .CSharp.API.Extensions.PaddleOCR NuGet Package

2.1 NuGet Package 程序集

  OpenVINO.CSharp.API.Extensions.PaddleOCR是基于先前开发的OpenVINO™ C# API项目,结合 PaddleOCR 文本识别模型,推出的基于C#平台的文本识别程序包。该项目主要是基于先前开发的OpenVINO™.CSharp.API项目,在C#平台部署PP-OCR文本识别模型,实现模型的推理加速。

该项目使用纯C#开发,并且将该项目封装成了 NuGet Package,发布到了 NuGet Gallery | Home,程序集情况如下图所示:

image-20240429221719496

  OpenVINO™ .CSharp.API.Extensions.PaddleOCR NuGet Package 支持多个框架,在发布时,已经实现了对NET6.0、NET5.0 NET coreapp3.1 、NET Framework 4.8以及NET Framework 4.7框架的支持,提供给开发者更多的选择。

2.2 使用介绍

NuGet Package 是.NET生态系统中用于分发库和工具的包,是一个开源的包管理器,它使得开发者能够轻松地添加、更新和删除项目中的库和工具。因此如果想使用该程序集,我们可以使用Visual Studio的NuGet Package或者使用命令行的dotnet add package添加。

下面根据该程序集的使用情况,介绍一下一般情况下该程序集的使用方法:

  首先是安装必要的程序集,主要包括本文的OpenVINO™ .CSharp.API.Extensions.PaddleOCR程序集,同时还包括图像处理库OpenCvSharp程序集,通过dotnet add package安装方式安装输入以下指令即可:

dotnet add package OpenCvSharp4
dotnet add package OpenVINO.CSharp.API.Extensions.PaddleOCR

  同时,我们还需要安装必要的Runtime库,主要是OpenCv和OpenVINO,通过dotnet add package安装方式安装输入以下指令即可:

dotnet add package OpenCvSharp4.runtime.win
dotnet add package OpenVINO.runtime.win

  此外,如果使用Visual Studio 的NuGet Package安装,只需要安装以上是个程序集即可。

3. 应用案例演示

3.1 OnlineOcr:在线模型识别

OnlineOcr是封装的一个简单的在线模型识别方法,可以下载官方的PP-OCR文本识别模型到本地,然后使用OpenVINO加载模型创建推理器,此处为了方便测试,提供了一个ocr_test()接口,可以下载在线图片进行检测,检验项目是否安装成功。

  下面是一个十分简单的测试代码,通过Pipeline.GetOnlineOCR()获取在线模型,然后调用ocr_test()进行预测,如下所示:

using OpenCvSharp;
using OpenVinoSharp.Extensions.model.PaddleOCR;

namespace OcrConsole
{
    internal class Program
    {
        static async Task Main(string[] args)
        {
            Console.WriteLine("Hello, World!");
            OnlineOcr ocr = await Pipeline.GetOnlineOCR(Language.ch_PP_OCRv4);
            Tuple<List<OCRPredictResult>, Mat> ocr_result = ocr.ocr_test();
            PaddleOcrUtility.print_result(ocr_result.Item1);
            Mat image = PaddleOcrUtility.visualize_bboxes(ocr_result.Item2, ocr_result.Item1);
            Cv2.ImShow("Result", image);
            Cv2.WaitKey(0);
        }
    }
}

  下图为上述程序运行后输出,首先会下载相应的模型文件以及标签文件,在推理时会下载测试图片,然后完成推理,实现文本检测:

image-20240430163802704

  为了方便开发者使用,此处同时也提供了其他模型的下载方式,目前已经包含了PP-OCR所有模型,可以通过设置Language来实现不同语言模型的下载,同时还可以使用OCRDetModels.Get()OCRRecModels.Get()OCRClsModels.Get()等接口下载其他的模型。

3.2 OCRPredictor:本地模型预测

OCRPredictor是该程序集中主要封装的预测模块,该模块可以实现本地模型的加载,并调用模型进行OCR识别,同时支持单一过程识别,开发者可以根据自己的需求,设置或者使用单一或其中几个过程进行推理,进行自己的项目开发和配置。

  下面代码演示了两种OCRPredictor初始化方式:

  • 第一种使用模型文件路径进行初始化,此处需要提前设置RuntimeOption.RecOption.label_path识别模型key文件路径,RuntimeOption是该程序集中封装的常营配置参数,用户可以根据自己的使用需求进行修改;然后设置指定的模型路径初始化OCRPredictor即可;初始化完成后,调用ocr()方法进行图片预测。
using OpenCvSharp;
using OpenVinoSharp.Extensions.model.PaddleOCR;
namespace OcrConsole
{
    internal class Program
    {
        static void Main(string[] args)
        {
            string det_model = "./ch_PP-OCRv4_det_infer/inference.pdmodel";
            string cls_model = "./ch_ppocr_mobile_v2.0_cls_infer/inference.pdmodel";
            string rec_model = "./ch_PP-OCRv4_rec_infer/inference.pdmodel";
            string key_path = "ppocr_keys_v1.txt";
            
            RuntimeOption.RecOption.label_path = key_path;
            OCRPredictor ocr = new OCRPredictor(det_model, cls_model, rec_model);
            
            string img_path = "demo_1.jpg";
            Mat img = Cv2.ImRead(img_path);
            
            List<OCRPredictResult> ocr_result = ocr.ocr(img, true, true, true);
            PaddleOcrUtility.print_result(ocr_result);
            Mat new_image = PaddleOcrUtility.visualize_bboxes(img, ocr_result);
            Cv2.ImShow("result", new_image);
            Cv2.WaitKey(0);
        }
    }
}
  • 第二种使用OcrConfig进行初始化,OcrConfig是该程序集中定义的配置类,里面定义了OCR预测时常用的一些配置参数,包括模型路径、key文件路径等,初始化OcrConfig后,便可以设置预测模型路径以及其它参数,最后将初始化的OcrConfig带入到OCRPredictor即可;初始化完成后,调用ocr()方法进行图片预测。
using OpenCvSharp;
using OpenVinoSharp.Extensions.model.PaddleOCR;
namespace OcrConsole
{
    internal class Program
    {
        static void Main(string[] args)
        {
            string det_model = "./ch_PP-OCRv4_det_infer/inference.pdmodel";
            string cls_model = "./ch_ppocr_mobile_v2.0_cls_infer/inference.pdmodel";
            string rec_model = "./ch_PP-OCRv4_rec_infer/inference.pdmodel";
            string key_path = "ppocr_keys_v1.txt";
            
            OcrConfig config = new OcrConfig();
            config.set_det_model_path(det_model);
            config.set_cls_model_path(cls_model);
            config.set_rec_model_path(rec_model);
            config.set_rec_dict_path(key_path);
            OCRPredictor ocr = new OCRPredictor(config);
            
            string img_path = "demo_1.jpg";
            Mat img = Cv2.ImRead(img_path);
            
            List<OCRPredictResult> ocr_result = ocr.ocr(img, true, true, true);
            PaddleOcrUtility.print_result(ocr_result);
            Mat new_image = PaddleOcrUtility.visualize_bboxes(img, ocr_result);
            Cv2.ImShow("result", new_image);
            Cv2.WaitKey(0);
        }
    }
}

  下图为使用本地模型以及图片预测后的输出情况:

image-20240430193805438

  在使用ocr()方法预测时,从我们可以通过指定标志位来定义本次预测流程,如下所示:

List<OCRPredictResult> ocr_result = ocr.ocr(img, det: true, rec: true, cls: true);

  其中后面标志位detreccls分别指示本次推理是否开启该流程,如果本次不需要文本区域识别,只进行文字方向判断以及文本识别,则需要设置为:

List<OCRPredictResult> ocr_result = ocr.ocr(img, det: false, rec: true, cls: true);

  当然,OCRPredictor也同时提供了单一推理方式的接口,使用方式为:

List<OCRPredictResult> result = ocr.det(img);
List<Mat> img_list = new List<Mat>();
for (int j = 0; j < result.Count; j++)
{
    Mat crop_img = new Mat();
    crop_img = PaddleOcrUtility.get_rotate_crop_image(img, result[j].box);
    img_list.Add(crop_img);
}
result = ocr.cls(img_list, result);
result = ocr.rec(img_list, result);

  以上就是对OpenVINO™ .CSharp.API.Extensions.PaddleOCR NuGet Package简单的使用介绍,更多的实用信息可以访问源码进行查看。

4. 时间测试

  目前PP-OCR模型可以使用OpenVINO™ CPU 设备进行推理加速,同时支持多Bathsize推理,所以当前开发的OpenVINO™ .CSharp.API.Extensions.PaddleOCR 程序集中已经实现了多Bathsize推理,只需要在推理器初始化时设置即可,如下所示:

OcrConfig config = new OcrConfig();

config.set_det_model_path(det_model);
config.set_cls_model_path(cls_model);
config.set_rec_model_path(rec_model);
config.set_rec_dict_path(key_path);
config.cls_option.batch_num = 16;
config.rec_option.batch_num = 16;
config.det_option.device = "AUTO";
config.cls_option.device = "AUTO";
config.rec_option.device = "AUTO";

OCRPredictor ocr = new OCRPredictor(config);

  最后,对比了不同Bathsize情况下模型推理时间,测试电脑使用的是:11th Intel Core i7-1165G7,测试结果如下表所示:

BathSize14816
CPU161 ms112 ms103 ms93 ms
AUTO122 ms111 ms101 ms91 ms

  通过该测试结果可以看出,多Bathsize推理在一定程度上可以提升模型的推理速度,最大会有42%的速度提升。

5. 总结

  在该项目中,我们结合开发的OpenVINO™.CSharp.API.Extensions.PaddleOCR NuGet Package向大家展示了其简单的使用方法,方便大家快速上手该项目,并结合自己的应用需求进行DIY开发。最后如果各位开发者在使用中有任何问题,以及对该接口开发有任何建议,欢迎大家与我联系。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/636105.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

selenium环境安装和web自动化基础

webUI自动化背景 因为web页面经常会变化&#xff0c;所以UI自动化测试的维护成本很高。不如接口的适用面广&#xff0c;所以大部分公司会做接口自动化测试&#xff0c;但是未必会做UI自动化测试&#xff1b; UI自动化测试要做也是覆盖冒烟测试&#xff0c;不会到很高的覆盖率&a…

mysql实战——xtrabackup问题

备份恢复后启动不成功。 我测试了很多遍&#xff0c;最开始我以为备份后的数据文件没有pid造成的&#xff0c;所以一直测试 后来发现上图这样是正常的&#xff0c;mysqld_safe后就出现pid和sock文件 那启动失败的原因我认为是权限的问题&#xff0c;把数据文件目录权限全部设置…

利用kubeadm安装k8s集群 以及跟harbor私有仓库下载镜像

目录 环境准备 master&#xff08;2C/4G&#xff09; 192.168.88.3 docker、kubeadm、kubelet、kubectl、flannel node01&#xff08;2C/2G&#xff09; 192.168.88.4 docker、kubeadm、kubelet、kubectl、flannel node02&#xff08;…

DreamerV3阅读笔记

DreamerV3 文章希望解决的一个挑战是用固定的hyperparameter来同时处理不同domain的任务。文章发现&#xff0c;通过结合KL balancing 和free bits可以使得world model learn without tuning&#xff08;是指上面这件事&#xff0c;即不需要对不同任务改变hyperparameter&#…

六.逼格拉满-Prometheus+Grafana微服务监控告警

前言 微服务架构是一个分布式系统&#xff0c;由多个独立的服务组成&#xff0c;每个服务可能运行在不同的容器、虚拟机或物理机上&#xff0c;那么在生产环境中我们需要随时监控服务的状态&#xff0c;以应对各种突发情况&#xff0c;比如&#xff1a;内存爆满&#xff0c;CP…

通过短信群发平台拓客引流营销的效果好不好?

通过短信群发平台进行营销拓客引流的效果可以是非常显著的&#xff0c;但具体效果会受到多种因素的影响&#xff0c;如目标受众的选择、短信内容的吸引力、发送时间和频率的合理性等。 以下是一些短信群发平台营销拓客引流的优势&#xff1a; 1.广泛覆盖&#xff1a;短…

Linux|ubuntu22.04安装CUDA最新完整教程

文章目录 一、安装前准备工作查看GPU和型号查看GCC版本*下载gcc12 *检查驱动 二、安装CUDA Toolkit*安装驱动 三、安装后的工作必要操作推荐的操作开启守护进程模式删除本地下载安装包 四、验证删除CUDA常见问题及解决方案还需要安装cuDNN吗&#xff1f;nvcc: No such file or …

Java-常见面试题收集(十六)

二十五 RocketMQ 1 消息队列介绍 消息队列&#xff0c;简称 MQ&#xff08;Message Queue&#xff09;&#xff0c;它其实就指消息中间件&#xff0c;当前业界比较流行的开源消息中间件包括&#xff1a;RabbitMQ、RocketMQ、Kafka。&#xff08;一个使用队列来通信的组件&…

信捷XD系列PLC通讯失败程序无法下载如何设置

如题:最近在使用信捷PLC&#xff0c;有时会出现通讯不上的问题&#xff0c;下面将通讯配置步骤及注意事项分享。 一、确保PLC通电&#xff0c;电脑使用USB通讯线和PLC连接。 二、打开程序&#xff0c;点击串口标识&#xff0c;会弹出通信配置窗口。 三、双击USB通讯这条进行设…

【AI如何帮你编写测试用例并输出表格格式】

1、工具&#xff1a;顺便使用一款生成式AI即可&#xff0c;此处用的是ChatGPT&#xff0c;Kimi这两个工具试验。 2、首先要拿到需求文档&#xff0c;根据需求文档向AI发出如下指令&#xff08;Prompt&#xff09; “请根据下面这段需求&#xff0c;编写测试用例&#xff1a; …

Spark-键值对RDD数据分区

Spark概述 Spark-RDD概述 在Spark中&#xff0c;键值对RDD数据分区是指将键值对RDD中的数据分布到集群中的不同节点上的过程。 Spark目前支持Hash分区、Range分区和用户自定义分区。Hash分区为当前的默认分区。 分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle后…

【Docker系列】 Docker容器具体信息查询

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…

TCP通信流程

TCP通信流程 TCP和UDP的区别 TCP&#xff08;传输控制协议&#xff09; 面向连接的&#xff1a;在数据传输之前&#xff0c;TCP 需要三次握手来建立连接。可靠的传输&#xff1a;通过序列号、确认响应、重传机制、流量控制和拥塞控制来保证数据正确传输。基于字节流&#xf…

Redis崩溃后,如何进行数据恢复的?no.24

本课时我们主要学习通过 RDB、AOF、混合存储等数据持久化方案来解决如何进行数据恢复的问题。 Redis 持久化是一个将内存数据转储到磁盘的过程。Redis 目前支持 RDB、AOF&#xff0c;以及混合存储三种模式。 RDB Redis 的 RDB 持久化是以快照的方式将内存数据存储到磁盘。在…

MongoDB基础入门到深入(八)MongoDB整合SpringBoot、Chang Streams

文章目录 系列文章索引十五、MongoDB整合SpringBoot1、环境准备2、集合操作3、文档操作&#xff08;1&#xff09;相关注解&#xff08;2&#xff09;创建实体&#xff08;3&#xff09;添加文档&#xff08;4&#xff09;查询文档&#xff08;5&#xff09;更新文档&#xff0…

Science| 单体耦合纤维实现无芯片纺织电子(纤维器件/智能织物/柔性可穿戴电子)

东华大学Hongzhi Wang,Chengyi Hou和Qinghong Zhang团队在《Science》上发布了一篇题为“Single body-coupled fiber enables chipless textile electronics”的论文。论文内容如下: 一、 摘要 智能纺织品为将技术融入日常生活中提供了理想的平台。然而,目前的纺织电子系统…

非关系型数据库NOSQL

文章目录 1. NOSQL 概述2. 相关理论基础2.1 一致性2.2 分区2.3 存储分布2.4 查询模型 3. NOSQL 数据库的种类3.1 文档存储3.2 键值存储3.3 列存储3.3 图存储 4. NOSQL 应用案例和新技术4.1 HBase 数据库4.2 云数据库 GeminiDB 非关系型的数据库 NOSQL (Not Only SQL)是对不同于…

paligemma、Grounding-DINO-1.5简单无需标注无需训练直接可以使用的VLM图像到文本模型

1、paligemma 参考:https://github.com/google-research/big_vision/blob/main/big_vision/configs/proj/paligemma/README.md 模型架构: 文本与图像特征一起送入大模型 在线体验网址: https://huggingface.co/spaces/big-vision/paligemma 通过文字prompt既可与图片对话…

Windows11下使用Qt5.14.2编译QtXlsx驱动详细步骤

原有&#xff1a;由于系统需要将QTableWidget表格中的数据导出、在Windows下最开始使用Excel.Application组件实现了导出功能&#xff0c;后面将代码转换到Ubuntu20.04下进行编译&#xff0c;发现项目.pro文件中的QT axcontainer和代码.h文件中的#include <QAxObject>跟…