Paddle OCR v4 微调训练文字识别SVTRNet模型实践

文字识别步骤参考：https://github.com/PaddlePaddle/PaddleOCR/blob/main/doc/doc_ch/recognition.md

微调步骤参考:https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.7.1/doc/doc_ch/finetune.md

训练必要性

在这里插入图片描述
在这里插入图片描述

原始模型标点符号和括号容易识别不到

数据准备

参考：https://github.com/PaddlePaddle/PaddleOCR/blob/main/doc/doc_ch/dataset/ocr_datasets.md
通用数据 用于训练以文本文件存储的数据集(SimpleDataSet);

一张图片 一行文本
格式类似：
在这里插入图片描述
在这里插入图片描述

注意：图像文件名写xxx.jpg即可，文件夹名可以在配置文件中指定

数据源：垂直领域的pdf，经过剪裁生成了10万张图片（文本内容没有去重，为了保证一些词出现的频率不变）

开始训练

训练v4的模型，所以选择配置文件：ch_PP-OCRv4_rec.yml ，需要做如下更改
更改学习率为[1e-4, 2e-5]左右，
更改图片文件夹路径
更改batch_size大小（训练报错时，适当调节大小，）

下载pretrain model，使用v4预训练模型
https://paddleocr.bj.bcebos.com/PP-OCRv4/chinese/ch_PP-OCRv4_rec_train.tar

注意：v4预训练模型没有best,只有student

正常启动训练

python3 tools/train.py -c configs/rec/PP-OCRv4/ch_PP-OCRv4_rec.yml -o Global.pretrained_model=./pretrain_models/ch_PP-OCRv4_rec_train/student Global.save_model_dir=./output/rec_ppocr_v4

注意使用ch_PP-OCRv4_rec_distill.yml配置文件训练，报错KeyError: ‘NRTRLabelDecode’，官方暂时没有解决。

python3 tools/train.py -c configs/rec/PP-OCRv4/ch_PP-OCRv4_rec_distill.yml -o Global.pretrained_model=./pretrain_models/ch_PP-OCRv4_rec_train/student

导出模型

python3 tools/export_model.py -c configs/rec/PP-OCRv4/ch_PP-OCRv4_rec_jilin.yml  -o Global.pretrained_model=./output/rec_ppocr_v4/best_accuracy  Global.save_inference_dir=./inference/PP-OCRv4_rec_jilin/

python3 tools/infer/predict_rec.py --rec_model_dir="./inference/PP-OCRv4_rec/"  --image_dir="./train_data/rec/jilin_001_0_27_5.jpg"

推理

python3 tools/infer_rec.py -c configs/rec/PP-OCRv4/ch_PP-OCRv4_rec.yml -o Global.pretrained_model=./output/rec_ppocr_v4/best_accuracy Global.infer_img=./train_data/rec/jilin_001_0_27_5.jpg

实践：
参考：https://blog.csdn.net/qq_52852432/article/details/131817619
在这里插入图片描述
一共训练了20轮，第五轮训练测试集达到最大精度，85%，之后精度逐渐下降

在这里插入图片描述

预测

图片：

在这里插入图片描述
在这里插入图片描述

训练的模型：

(‘2218白城师范学院(吉林省白城市,10206)’, 0.9582517743110657)
(‘2225吉林警察学院(长春市,11441)’, 0.9862592816352844)
原始v4模型：

(2218白城师范学院(吉林省白城市,10206)', 0.9726919531822205)
(‘2225吉林警察学院（长春市,11441）’, 0.9829413294792175)

总结

可以看到，训练后模型识别括号基本统一成英文了。其实光是识别，起始v4效果已经很好了，原来检测的效果不太行，会拉低识别正确率

改进：微调文字检测模型，待完成后补充

其他需要注意的

实践时，使用了预训练模型，但一开始模型准确率acc一直为0，因为数据准备错误了，图片包含了多行文字，后来修正了图片，acc飞速提高。

其他版本

由于我数据集存在很多文本， 更改max_length，从25改到50，并且image.shape的宽从320改成640,batch_size改成了32
在这里插入图片描述
第5个epoch达到最大的acc 65%，效果不够好

训练模型可能有的疑问

参考：添加链接描述

  • 如何识别文字比较长的文本
    在这里插入图片描述

  • 合成数据与真实数据比例
    在这里插入图片描述

  • 如何生成数据
    在这里插入图片描述

  • 文本识别训练时宽高比大于 10 或者文本长度大于 25 的图像会直接丢弃吗？会
    参考：https://github.com/PaddlePaddle/PaddleOCR/issues/5017

  • 如果大部分图像都超过了25个字符，建议训练时根据实际情况修改：max_text_length，并将input_size设置为宽高比更大的比例
    参考：https://github.com/PaddlePaddle/PaddleOCR/issues/7500

  • 英文长度是按照字母计算的，需要将空格计算在内。
    我印象中，定义的max_text_length需要比实际的长度至少多两位数。
    比如要想识别身份证号，实际中身份证号是18位，那在config文件中定义的max_text_length至少要为20，否则会报错。

  • 训练检测模型时，不会用到标签中的文本字段。

  • 如果训练数据较少的话，配置越高越容易过拟合。

参考：https://aistudio.baidu.com/projectdetail/4484441
1.7 简单的对于精度要求不高的OCR任务，数据集需要准备多少张呢？

A：（1）训练数据的数量和需要解决问题的复杂度有关系。难度越大，精度要求越高，则数据集需求越大，而且一般情况实际中的训练数据越多效果越好。

（2）对于精度要求不高的场景，检测任务和识别任务需要的数据量是不一样的。对于检测任务，500张图像可以保证基本的检测效果。对于识别任务，需要保证识别字典中每个字符出现在不同场景的行文本图像数目需要大于200张（举例，如果有字典中有5个字，每个字都需要出现在200张图片以上，那么最少要求的图像数量应该在200-1000张之间），这样可以保证基本的识别效果。

1.8 当训练数据量少时，如何获取更多的数据？

A：当训练数据量少时，可以尝试以下三种方式获取更多的数据：（1）人工采集更多的训练数据，最直接也是最有效的方式。（2）基于PIL和opencv基本图像处理或者变换。例如PIL中ImageFont, Image, ImageDraw三个模块将文字写到背景中，opencv的旋转仿射变换，高斯滤波等。（3）利用数据生成算法合成数据，例如pix2pix等算法。

1.9 如何更换文本检测/识别的backbone？

A：无论是文字检测，还是文字识别，骨干网络的选择是预测效果和预测效率的权衡。一般，选择更大规模的骨干网络，例如ResNet101_vd，则检测或识别更准确，但预测耗时相应也会增加。而选择更小规模的骨干网络，例如MobileNetV3_small_x0_35，则预测更快，但检测或识别的准确率会大打折扣。幸运的是不同骨干网络的检测或识别效果与在ImageNet数据集图像1000分类任务效果正相关。飞桨图像分类套件PaddleClas汇总了ResNet_vd、Res2Net、HRNet、MobileNetV3、GhostNet等23种系列的分类网络结构，在上述图像分类任务的top1识别准确率，GPU(V100和T4)和CPU(骁龙855)的预测耗时以及相应的117个预训练模型下载地址。

（1）文字检测骨干网络的替换，主要是确定类似与ResNet的4个stages，以方便集成后续的类似FPN的检测头。此外，对于文字检测问题，使用ImageNet训练的分类预训练模型，可以加速收敛和效果提升。

（2）文字识别的骨干网络的替换，需要注意网络宽高stride的下降位置。由于文本识别一般宽高比例很大，因此高度下降频率少一些，宽度下降频率多一些。可以参考PaddleOCR中MobileNetV3骨干网络的改动。

V4使用的高精度中文场景文本识别模型SVTR详解

参考：https://aistudio.baidu.com/projectdetail/4263032
参考：https://github.com/PaddlePaddle/PaddleOCR/blob/main/applications/%E9%AB%98%E7%B2%BE%E5%BA%A6%E4%B8%AD%E6%96%87%E8%AF%86%E5%88%AB%E6%A8%A1%E5%9E%8B.md，但一直没下载成功SVTR中文模型文件

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/581278.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【kettle004】kettle访问本地MySQL数据库并处理数据至execl文件

【kettle004】kettle访问本地MySQL数据库并处理数据至execl文件

一直以来想写下基于kettle的系列文章，作为较火的数据ETL工具，也是日常项目开发中常用的一款工具，最近刚好挤时间梳理、总结下这块儿的知识体系。 熟悉、梳理、总结下MySQL关系数据库相关知识体系 3.欢迎批评指正，跪谢一键三连&…
阅读更多...
大模型微调：技术迭代与实践指南

大模型微调：技术迭代与实践指南

在人工智能领域，大模型（LLM）的微调是一个关键过程，它使模型能够适应特定的任务和数据集。微调是深度学习中用于改进预训练模型性能的重要技术。通过在特定任务的数据集上继续训练，模型的权重被更新以更好地适应该任务。…
阅读更多...
揭秘工业大模型：从人工智能小白到技术先锋

揭秘工业大模型：从人工智能小白到技术先锋

工业大模型的五个基本问题 信息化时代，数字化转型成为企业提升营运效率、应对经营风险和提升核心竞争力的重要途径。在此过程中，数据作为一种客观存在的资源，所产生的价值日益凸显。党的十九届四中全会从国家治理体系和治理能力现代化的高度将…
阅读更多...
详解Qt绘图机制

详解Qt绘图机制

Qt框架以其强大的图形界面功能著称，其中绘图机制是构建丰富视觉效果的关键。本文将详细介绍Qt中的绘图机制，包括绘图基础、绘图设备、绘图工具及高级特性，并通过实战C代码示例，带你领略Qt绘图的魅力。 绘图基础 Qt的绘图操作主要…
阅读更多...
vs2019 - release版中_DEBUG宏生效的问题

vs2019 - release版中_DEBUG宏生效的问题

文章目录 vs2019 - release版中_DEBUG宏生效的问题概述笔记总结END vs2019 - release版中_DEBUG宏生效的问题 概述 在加固程序，需要去掉PE的字符串表中和逻辑相关的字符串。 编译成release版后，用IDA看，还是发现有debug版才有的字符串。 那…
阅读更多...
gitee关联picgo设置自己的typora_图床

gitee关联picgo设置自己的typora_图床

一：去gitee官网创建仓库：typora_图床 1.百度搜索关键字：gitee，进入官网 2.进入gitee登录或者注册自己的账号 3.进入主页后，点击右上方 4.点击新建仓库 5.设置仓库名：typora_图床 6.点击5的创建&#xff0…
阅读更多...
＜计算机网络自顶向下＞ Internet Protocol（未完成）

＜计算机网络自顶向下＞ Internet Protocol（未完成）

互联网中的网络层 IP数据报格式 ver: 四个比特的版本号（IPV4 0100, IPV6 0110） headlen：head的长度（头部长度字段（IHL）指定了头部的长度，以32位字（4字节）为单位计算。这…
阅读更多...
echarts实现水滴图

echarts实现水滴图

使用echarts实现水滴图 引入依赖&#xff0c;echarts-liquidfill3兼容echarts5; 安装依赖 "echarts": "^5.4.3","echarts-liquidfill": "^3.1.0",npm install echarts-liquidfill3.1.0 -S实现的效果图 构建一个水滴图的页面 <tem…
阅读更多...
基于Spring Boot的商务安全邮件收发系统设计与实现

基于Spring Boot的商务安全邮件收发系统设计与实现

基于Spring Boot的商务安全邮件收发系统设计与实现 开发语言&#xff1a;Java框架&#xff1a;springbootJDK版本&#xff1a;JDK1.8数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/idea 系统部分展示 已发送效果图&#xff0c;用户可以对已发送信息…
阅读更多...
4.28总结

4.28总结

对部分代码进行了修改&#xff0c;将一些代码封装成方法&#xff0c;实现了头像功能&#xff0c;创建一个本地字节输入流 fileinputSteam 对象&#xff0c;构造方法中绑定读取的数据源&#xff0c;创建一个socket对象&#xff0c;构造方法中绑定服务器的IP地址和端口号使用sock…
阅读更多...
Kafka（十二）Streams

Kafka（十二）Streams

目录 Streams1 什么式是流式处理2 流式处理的相关概念2.1 拓扑2.2 时间2.2.1 输入时间2.2.2 输出时间 2.3 状态2.4 流和表2.5 时间窗口2.5.1 测试时间窗口 2.6 处理保证 3 流式处理设计模式3.1 单事件处理3.2 使用本地状态3.3 多阶段处理和重分区3.4 使用外部查找&#xff1a;流…
阅读更多...
阿里云操作日记

阿里云操作日记

昨天买了一个超级便宜的阿里云服务器&#xff0c;2核2G&#xff0c;3M固定带宽&#xff0c;40G ESSD Entry云盘&#xff0c;搭载一个简单的系统&#xff0c;就想到了docker轻量级&#xff0c;易于管理 其实docker很好用&#xff0c;第一步就是安装docker 一、docker安装与端口…
阅读更多...
Python快速入门1数据类型（需要具有编程基础）

Python快速入门1数据类型（需要具有编程基础）

数据类型&#xff1a; Python 3.0版本中常见的数据类型有六种&#xff1a; 不可变数据类型可变数据类型Number&#xff08;数字&#xff09;List&#xff08;列表&#xff09;String&#xff08;字符串&#xff09;Dictionary&#xff08;字典&#xff09;Tuple&#xff08;元…
阅读更多...
python学习笔记----循环语句（四）

python学习笔记----循环语句（四）

一、while循环 为什么学习循环语句 循环在程序中同判断一样&#xff0c;也是广泛存在的&#xff0c;是非常多功能实现的基础&#xff1a; 1.1 while循环语法 while 条件表达式:# 循环体# 执行代码这里&#xff0c;“条件表达式”是每次循环开始前都会评估的表达式。如果条件…
阅读更多...
张大哥笔记：我付钱了，我就是大爷？

张大哥笔记：我付钱了，我就是大爷？

很抱歉用这个当做标题&#xff0c;来给大家分享一些电商的故事&#xff01;大家好&#xff0c;我是张大哥&#xff0c;今天聊聊在电商路上遇到过的奇葩买家&#xff1f; 比如最近我在做PDD的时候&#xff0c;就会遇到很多莫名其妙的sha子&#xff0c;咱是知识份子&#xff0c;肯…
阅读更多...
漏洞扫扫工具合集

漏洞扫扫工具合集

综合类扫描工具 AWVS Acunetix一款商业的Web漏洞扫描程序&#xff0c;它可以检查Web应用程序中的漏洞&#xff0c;如SQL注入、跨站脚本攻击、身份验证页上的弱口令长度等。它拥有一个操作方便的图形用户界面&#xff0c;并且能够创建专业级的Web站点安全审核报告。新版本集成了…
阅读更多...
LeetCode1017题：负二进制转换（原创）

LeetCode1017题：负二进制转换（原创）

【题目描述】 给你一个整数 n &#xff0c;以二进制字符串的形式返回该整数的 负二进制&#xff08;base -2&#xff09;表示。注意&#xff0c;除非字符串就是 "0"&#xff0c;否则返回的字符串中不能含有前导零。 示例 1&#xff1a; 输入&#xff1a;n 2 输出&…
阅读更多...
高频面试题：解决Spring框架中的循环依赖问题

高频面试题：解决Spring框架中的循环依赖问题

引言&#xff1a;什么是Spring框架与循环依赖&#xff1f; 在Spring框架中&#xff0c;循环依赖是指两个或多个bean相互依赖对方以完成自己的初始化。这种依赖关系形成了一个闭环&#xff0c;导致无法顺利完成依赖注入。比如&#xff0c;如果Bean A在其构造函数中需要Bean B&a…
阅读更多...
图像处理：乘法滤波器（Multiplying Filter）和逆FFT位移

图像处理：乘法滤波器（Multiplying Filter）和逆FFT位移

一、乘法滤波器&#xff08;Multiplying Filter&#xff09; 乘法滤波器是一种以像素值为权重的滤波器&#xff0c;它通过将滤波器的权重与图像的像素值相乘&#xff0c;来获得滤波后的像素值。具体地&#xff0c;假设乘法滤波器的权重为h(i,j)&#xff0c;图像的像素值为f(m,…
阅读更多...
基于51单片机的电子秤LCD1602液晶显示( proteus仿真+程序+设计报告+讲解视频）

基于51单片机的电子秤LCD1602液晶显示( proteus仿真+程序+设计报告+讲解视频）

基于51单片机电子秤LCD显示 1. 主要功能&#xff1a;2. 讲解视频&#xff1a;3. 仿真设计4. 程序代码5. 设计报告6. 设计资料内容清单&&下载链接 基于51单片机电子秤LCD显示( proteus仿真程序设计报告讲解视频&#xff09; 仿真图proteus8.9及以上 程序编译器&#xf…
阅读更多...
最新文章

Copyright @ 2022~2023