在全新ubuntu上用gpu训练paddleocr模型遇到的坑与解决办法

目录

  • 一. 我的ubuntu版本![在这里插入图片描述](https://img-blog.csdnimg.cn/297945917309494ab03b50764e6fb775.png)
  • 二.首先拉取paddleocr源代码
  • 三.下载模型
  • 四.训练前的准备
  • 1.在源代码文件夹里创造一个自己放东西的文件
  • 2.准备数据
    • 2.1数据标注
    • 2.2数据划分
  • 3.改写yml配置文件
  • 4.安装anaconda
  • 五.开始训练
  • 六.报错
    • （1） libGL.so.1
    • （2）Polygon
    • (3) lanms
  • （4）报错UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xbc in position 2: invalid start byt
  • （5）Out of memory error on GPU 0. Cannot allocate xxxxMB memory on GPU 0, xxxxGB memory has been allocated and available memory is only 0.000000B.

一. 我的ubuntu版本在这里插入图片描述

二.首先拉取paddleocr源代码

下载地址：https://gitee.com/paddlepaddle/PaddleOCR

三.下载模型

  • 我要训练一个中文模型，看到该预训练模型泛化性能最优，于是下载这个模型
    https://gitee.com/link?target=https%3A%2F%2Fpaddleocr.bj.bcebos.com%2FPP-OCRv3%2Fchinese%2Fch_PP-OCRv3_rec_train.tar

  • 其他模型地址：https://gitee.com/paddlepaddle/PaddleOCR/blob/release/2.6/doc/doc_ch/models_list.md

四.训练前的准备

1.在源代码文件夹里创造一个自己放东西的文件

在这里插入图片描述

  • config文件夹用来装yml配置文件
    pretrained_model用来装上一步下载的预训练模型
    split_rec_label用来放数据集
    output用来放训练出的模型

  • 创建文件夹非强制，只是这样更方便管理自己文件，yml源文件地址就在
    PaddleOCR-release-2.6/configs/rec/PP-OCRv3这个路径下

2.准备数据

2.1数据标注

参考博客：https://blog.csdn.net/qq_49627063/article/details/119134847

2.2数据划分

在训练之前，所有图片都在一个文件夹中，所有label信息都在同一个txt文件中，因此需要编写脚本，将其按照8:1:1的比例进行分割。

import os
import re
import shutil
import random
import argparse

def split_label(all_label, train_label, val_label, test_label):
    f = open(all_label, 'r')
    f_train = open(train_label, 'w')
    f_val = open(val_label, 'w')
    f_test = open(test_label, 'w')
    raw_list = f.readlines()
    num_train = int(len(raw_list) * 0.8)
    num_val = int(len(raw_list) * 0.1)
    num_test = int(len(raw_list) * 0.1)
    random.shuffle(raw_list)
    for i in range(num_train):
        f_train.writelines(raw_list[i])
    for i in range(num_train, num_train + num_val):
        f_val.writelines(raw_list[i])
    for i in range(num_train + num_val, num_train + num_val + num_test):
        f_test.writelines(raw_list[i])
    f.close()
    f_train.close()
    f_val.close()
    f_test.close()


def split_img(all_imgs, train_label, train_imgs, val_label, val_imgs, test_label, test_imgs):
    f_train = open(train_label, 'r')
    f_val = open(val_label, 'r')
    f_test = open(test_label, 'r')
    train_list = f_train.readlines()
    val_list = f_val.readlines()
    test_list = f_test.readlines()
    for i in range(len(train_list)):
        img_path = os.path.join(all_imgs, re.split("[/\t]", train_list[i])[1])
        shutil.move(img_path, train_imgs)
    for i in range(len(val_list)):
        img_path = os.path.join(all_imgs, re.split("[/\t]", val_list[i])[1])
        shutil.move(img_path, val_imgs)
    for i in range(len(test_list)):
        img_path = os.path.join(all_imgs, re.split("[/\t]", test_list[i])[1])
        shutil.move(img_path, test_imgs)


def get_args():
    parser = argparse.ArgumentParser()
    parser.add_argument("--all_label", default="../paddleocr/PaddleOCR/train_data/cls/cls_gt_train.txt")
    parser.add_argument("--all_imgs_dir", default="../paddleocr/PaddleOCR/train_data/cls/images/")
    parser.add_argument("--train_label", default="../paddleocr/PaddleOCR/train_data/cls/train.txt")
    parser.add_argument("--train_imgs_dir", default="../paddleocr/PaddleOCR/train_data/cls/train/")
    parser.add_argument("--val_label", default="../paddleocr/PaddleOCR/train_data/cls/val.txt")
    parser.add_argument("--val_imgs_dir", default="../paddleocr/PaddleOCR/train_data/cls/val/")
    parser.add_argument("--test_label", default="../paddleocr/PaddleOCR/train_data/cls/test.txt")
    parser.add_argument("--test_imgs_dir", default="../paddleocr/PaddleOCR/train_data/cls/test/")
    return parser.parse_args()


def main(args):
    if not os.path.isdir(args.train_imgs_dir):
        os.makedirs(args.train_imgs_dir)
    if not os.path.isdir(args.val_imgs_dir):
        os.makedirs(args.val_imgs_dir)
    if not os.path.isdir(args.test_imgs_dir):
        os.makedirs(args.test_imgs_dir)
    split_label(args.all_label, args.train_label, args.val_label, args.test_label)
    split_img(args.all_imgs_dir, args.train_label, args.train_imgs_dir, args.val_label, args.val_imgs_dir, args.test_label, args.test_imgs_dir)


if __name__ == "__main__":
    main(get_args())

3.改写yml配置文件

  • 源地址：https://gitee.com/paddlepaddle/PaddleOCR/blob/release/2.6/configs/rec/PP-OCRv3/ch_PP-OCRv3_rec_distillation.yml
Global:
  debug: false
  use_gpu: true
  epoch_num: 800
  log_smooth_window: 20
  print_batch_step: 10
  save_model_dir: wjp/output/rec_ppocr_v3_distillation
  save_epoch_step: 3
  eval_batch_step: [0, 2000]
  cal_metric_during_train: true
  pretrained_model:
  checkpoints:
  save_inference_dir:
  use_visualdl: false
  infer_img: doc/imgs_words/ch/word_1.jpg
  character_dict_path: ppocr/utils/ppocr_keys_v1.txt
  max_text_length: &max_text_length 25
  infer_mode: false
  use_space_char: true
  distributed: true
  save_res_path: wjp/output/rec/predicts_ppocrv3_distillation.txt


Optimizer:
  name: Adam
  beta1: 0.9
  beta2: 0.999
  lr:
    name: Piecewise
    decay_epochs : [700]
    values : [0.0005, 0.00005]
    warmup_epoch: 5
  regularizer:
    name: L2
    factor: 3.0e-05


Architecture:
  model_type: &model_type "rec"
  name: DistillationModel
  algorithm: Distillation
  Models:
    Teacher:
      pretrained:
      freeze_params: false
      return_all_feats: true
      model_type: *model_type
      algorithm: SVTR
      Transform:
      Backbone:
        name: MobileNetV1Enhance
        scale: 0.5
        last_conv_stride: [1, 2]
        last_pool_type: avg
      Head:
        name: MultiHead
        head_list:
          - CTCHead:
              Neck:
                name: svtr
                dims: 64
                depth: 2
                hidden_dims: 120
                use_guide: True
              Head:
                fc_decay: 0.00001
          - SARHead:
              enc_dim: 512
              max_text_length: *max_text_length
    Student:
      pretrained:
      freeze_params: false
      return_all_feats: true
      model_type: *model_type
      algorithm: SVTR
      Transform:
      Backbone:
        name: MobileNetV1Enhance
        scale: 0.5
        last_conv_stride: [1, 2]
        last_pool_type: avg
      Head:
        name: MultiHead
        head_list:
          - CTCHead:
              Neck:
                name: svtr
                dims: 64
                depth: 2
                hidden_dims: 120
                use_guide: True
              Head:
                fc_decay: 0.00001
          - SARHead:
              enc_dim: 512
              max_text_length: *max_text_length
Loss:
  name: CombinedLoss
  loss_config_list:
  - DistillationDMLLoss:
      weight: 1.0
      act: "softmax"
      use_log: true
      model_name_pairs:
      - ["Student", "Teacher"]
      key: head_out
      multi_head: True
      dis_head: ctc
      name: dml_ctc
  - DistillationDMLLoss:
      weight: 0.5
      act: "softmax"
      use_log: true
      model_name_pairs:
      - ["Student", "Teacher"]
      key: head_out
      multi_head: True
      dis_head: sar
      name: dml_sar
  - DistillationDistanceLoss:
      weight: 1.0
      mode: "l2"
      model_name_pairs:
      - ["Student", "Teacher"]
      key: backbone_out
  - DistillationCTCLoss:
      weight: 1.0
      model_name_list: ["Student", "Teacher"]
      key: head_out
      multi_head: True
  - DistillationSARLoss:
      weight: 1.0
      model_name_list: ["Student", "Teacher"]
      key: head_out
      multi_head: True

PostProcess:
  name: DistillationCTCLabelDecode
  model_name: ["Student", "Teacher"]
  key: head_out
  multi_head: True

Metric:
  name: DistillationMetric
  base_metric_name: RecMetric
  main_indicator: acc
  key: "Student"
  ignore_space: False

Train:
  dataset:
    name: SimpleDataSet
    data_dir: wjp/split_rec_label/train
    ext_op_transform_idx: 1
    label_file_list:
    - wjp/split_rec_label/train.txt
    transforms:
    - DecodeImage:
        img_mode: BGR
        channel_first: false
    - RecConAug:
        prob: 0.5
        ext_data_num: 2
        image_shape: [48, 320, 3]
        max_text_length: *max_text_length
    - RecAug:
    - MultiLabelEncode:
    - RecResizeImg:
        image_shape: [3, 48, 320]
    - KeepKeys:
        keep_keys:
        - image
        - label_ctc
        - label_sar
        - length
        - valid_ratio
  loader:
    shuffle: true
    batch_size_per_card: 32
    drop_last: true
    num_workers: 4
Eval:
  dataset:
    name: SimpleDataSet
    data_dir: wjp/split_rec_label/val
    label_file_list:
    - wjp/split_rec_label/val.txt
    transforms:
    - DecodeImage:
        img_mode: BGR
        channel_first: false
    - MultiLabelEncode:
    - RecResizeImg:
        image_shape: [3, 48, 320]
    - KeepKeys:
        keep_keys:
        - image
        - label_ctc
        - label_sar
        - length
        - valid_ratio
  loader:
    shuffle: false
    drop_last: false
    batch_size_per_card: 128
    num_workers: 4

4.安装anaconda

参考博客：https://blog.csdn.net/wyf2017/article/details/118676765

  • 创建python虚拟环境
conda create -n ppocr
  • 切换虚拟环境
source activate ppocr

五.开始训练

python tools/train.py -c wjp/ch_PP-OCRv3_rec_distillation.yml -o Global.pretrained_model=wjp/ch_PP-OCRv3_rec_train/best_accuracy
//-c参数放配置文件地址，-o参数放预训练模型地址

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple

六.报错

（1） libGL.so.1

ImportError: libGL.so.1: cannot open shared object file: No such file or directory
  • 解决办法：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple opencv-python-headless

（2）Polygon

ModuleNotFoundError: No module named 'Polygon'
  • 解决办法：
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple Polygon3

(3) lanms

ModuleNotFoundError: No module named 'lanms'

源码下载地址：https://github.com/AndranikSargsyan/lanms-nova/tree/master

参考我这个教程编译：http://t.csdnimg.cn/BqOW6

  • 将__init __.py文件替换
import numpy as np


def merge_quadrangle_n9(polys, thres=0.3, precision=10000):
    if len(polys) == 0:
        return np.array([], dtype='float32')
    p = polys.copy()
    p[:, :8] *= precision
    ret = np.array(merge_quadrangle_n9(p, thres), dtype='float32')
    ret[:, :8] /= precision
    return ret
  • 找到linux种anaconda的包放在什么地方
pip show numpy

在这里插入图片描述
就知道该环境下的包安装地址

  • 将编译好库的整个lanms文件夹移动到该地址去即可调用

（4）报错UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xbc in position 2: invalid start byt

f = open('txt01.txt',encoding='utf-8')

将 encoding=’utf-8’ 改为GB2312、gbk、ISO-8859-1，随便尝试一个均可以

（5）Out of memory error on GPU 0. Cannot allocate xxxxMB memory on GPU 0, xxxxGB memory has been allocated and available memory is only 0.000000B.

将训练的配置yml文件中的batch_size_per_card参数不断改小（除以2），直到不再报这个错即可。
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/108038.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

OS的Alarm定时器调度机制

OS的Alarm定时器调度机制

调度表触发的任务在编译时就被静态定义，任务的触发时间和执行顺序是固定的。这种方式适用于已知的、固定的任务触发模式，例如周期性任务或事件驱动任务。而使用 Alarm 机制触发的任务具有更大的灵活性。Alarm 允许在运行时动态地设置和修改任务的触发时间…
阅读更多...
Megatron-LM GPT 源码分析（三） Pipeline Parallel分析

Megatron-LM GPT 源码分析（三） Pipeline Parallel分析

引言 本文接着上一篇【Megatron-LM GPT 源码分析（二） Sequence Parallel分析】，基于开源代码 GitHub - NVIDIA/Megatron-LM: Ongoing research training transformer models at scale ，通过GPT的模型运行示例，从三个维…
阅读更多...
论文阅读——GPT3

论文阅读——GPT3

来自论文：Language Models are Few-Shot Learners Arxiv：https://arxiv.org/abs/2005.14165v2 记录下一些概念等。，没有太多细节。 预训练LM尽管任务无关，但是要达到好的效果仍然需要在特定数据集或任务上微调。因此需要消除这个…
阅读更多...
基于边缘智能网关的储能系统安全监测管理方案

基于边缘智能网关的储能系统安全监测管理方案

“储能系统充电”是配套新能源汽车产业发展的重要应用之一。得益于电池技术的发展，新能源汽车正逐步迈入快充时代，由于在使用快速充电桩时，可能导致用电峰值负荷超过电网的承载能力，对于电网的稳定性和持续性会有较大影响&#xf…
阅读更多...
nodejs+vue+elementui+express酒店管理系统

nodejs+vue+elementui+express酒店管理系统

登录：运行系统后，进行登录，可使用本系统。 客房预定：此界面先通过条件查询客房信息，然后进行客房预定。对预定的客房还可以取消和支付操作。 信息查询：可查询所有的公告信息，点击公告名称&#…
阅读更多...
单目3D目标检测 方法综述——直接回归方法、基于深度信息方法、基于点云信息方法

单目3D目标检测 方法综述——直接回归方法、基于深度信息方法、基于点云信息方法

本文综合整理单目3D目标检测的方法模型，包括：基于几何约束的直接回归方法，基于深度信息的方法，基于点云信息的方法。万字长文，慢慢阅读~ 直接回归方法 涉及到模型包括：MonoCon、MonoDLE、MonoFlex、CUPNet…
阅读更多...
Unity的碰撞检测(五)

Unity的碰撞检测(五)

温馨提示：本文基于前一篇“Unity的碰撞检测(四)​​​​​​​”继续探讨两个游戏对象具备刚体的BodyType均为Dynamic，但是Collision Detection属性不同的碰撞检测，阅读本文则默认已阅读前文。 （一）测试说明 在基于两…
阅读更多...
Git窗口打开vim后如何退出编辑（IDEA/Goland等编辑器）

Git窗口打开vim后如何退出编辑（IDEA/Goland等编辑器）

最近在学习git高级操作过程中，遇到了一下问题： 我在学习Git合并多个commit为一个的时候，需要输入一个命令 git rebase -i HEAD~2 这说明已经是编辑模式了。当我写好后，我还按照原来在linux上的按下ESC键，但是只是光…
阅读更多...
【错误解决方案】ModuleNotFoundError: No module named ‘cPickle‘

【错误解决方案】ModuleNotFoundError: No module named ‘cPickle‘

1. 错误提示 在python程序中试图导入一个名为cPickle的模块，但Python提示找不到这个模块。 错误提示：ModuleNotFoundError: No module named cPickle 2. 解决方案 实际上，cPickle是Python的pickle模块的一个C语言实现，通常用于…
阅读更多...
分类预测 | MATLAB实现SSA-CNN-BiGRU麻雀算法优化卷积双向门控循环单元数据分类预测

分类预测 | MATLAB实现SSA-CNN-BiGRU麻雀算法优化卷积双向门控循环单元数据分类预测

分类预测 | MATLAB实现SSA-CNN-BiGRU麻雀算法优化卷积双向门控循环单元数据分类预测 目录 分类预测 | MATLAB实现SSA-CNN-BiGRU麻雀算法优化卷积双向门控循环单元数据分类预测分类效果基本描述程序设计参考资料 分类效果 基本描述 1.MATLAB实现SSA-CNN-BiGRU麻雀算法优化卷积双…
阅读更多...
2023年中国机场建设标准、机场数量及机场系统投资完成情况分析[图]

2023年中国机场建设标准、机场数量及机场系统投资完成情况分析[图]

机场，亦称飞机场、空港，较正式的名称是航空站。机场有不同的大小，除了跑道之外，机场通常还设有塔台、停机坪、航空客运站、维修厂等设施，并提供机场管制服务、空中交通管制等其他服务。 机场建设资质等级标准 资料来源…
阅读更多...
2-多媒体数据压缩国际标准

2-多媒体数据压缩国际标准

文章目录 多媒体数据压缩编码的重要性和分类为什么要压缩?计算: 未压缩音频的数据率简答: 环绕声系统-作业题9(简述7.4.3全景声)计算: 未压缩图像的数据量-作业题10(估计尺寸及容量)计算: 未压缩视频的数据率 为什么能压缩?数据压缩编码的两大类无损压缩算法: LZ77-作业题6-(…
阅读更多...
嵌入式中的MCU、ARM、DSP、FPGA

嵌入式中的MCU、ARM、DSP、FPGA

目录 “角色扮演” MCU ARM 特点 DSP 特点 FPGA 特点 应用 “角色扮演” MCU（Microcontroller Unit）、ARM（Advanced RISC Machine）、DSP（Digital Signal Processor）和FPGA（Field-Progr…
阅读更多...
DevOps与CI/CD的最佳实践

DevOps与CI/CD的最佳实践

在当今的软件开发领域，DevOps（开发与运维的结合）和CI/CD（持续集成/持续交付）已经成为了不可或缺的一部分。它们不仅提高了软件开发的效率，还帮助团队更快地交付高质量的软件。本文将深入探讨DevOps文化和CI…
阅读更多...
计算机网络重点概念整理-第五章 传输层【期末复习|考研复习】

计算机网络重点概念整理-第五章 传输层【期末复习|考研复习】

第五章 传输层 【期末复习|考研复习】 计算机网络系列文章传送门： 第一章 计算机网络概述 第二章 物理层 第三章 数据链路层 第四章 网络层 第五章 传输层 第六章 应用层 第七章 网络安全 计算机网络整理-简称&缩写 文章目录 第五章 传输层 【期末复习|考研复习…
阅读更多...
替换所有的问号

替换所有的问号

这篇也是凑数的 哈哈.... 稍后会整合到算法通关第三关白银挑战 . 描述 : 给你一个仅包含小写英文字母和 ? 字符的字符串 s，请你将所有的 ? 转换为若干小写字母，使最终的字符串不包含任何 连续重复 的字符。 注意 : 不能 修改非 ? 字符 . 题目 : …
阅读更多...
读图数据库实战笔记02_图数据建模

读图数据库实战笔记02_图数据建模

1. 概念 1.1. 实体 1.1.1. 通常用名词来表示 1.1.2. 描述一个领域中的事物或者事物类型 1.1.2.1. 汽车 1.1.2.2. 用户 1.1.2.3. 地理位置 1.1.3. 在逻辑模型和技术实现过程中，实体通常会变成“顶点” 1.2. 关系 1.2.1. 用动词（或动词短语&#…
阅读更多...
[量化投资-学习笔记003]Python+TDengine从零开始搭建量化分析平台-Grafana画K线图

[量化投资-学习笔记003]Python+TDengine从零开始搭建量化分析平台-Grafana画K线图

在前面两个笔记： PythonTDengine从零开始搭建量化分析平台-数据存储 PythonTDengine从零开始搭建量化分析平台-MA均线的多种实现方式 中有提到使用 Grafana 画图，不过画的都是均线。除了均线，Grafana 非常人性的提供了 K线图模块 搭配 TDeng…
阅读更多...
设置Ubuntu 20.04的静态IP地址(wifi模式下)

设置Ubuntu 20.04的静态IP地址(wifi模式下)

一、引言 自己家用的Ubuntu的，重启后ip地址经常会改变，这个时候就需要我们手动配置静态IP了。 二、优点 给Ubuntu设置一个静态IP地址有以下几个好处： 持久性：静态IP地址是固定不变的，与设备的MAC地址绑定。这意味着…
阅读更多...
【C++】STL容器——探究不同 [ 迭代器 ] 种类＆在STL中的使用方式（15）

【C++】STL容器——探究不同 [ 迭代器 ] 种类＆在STL中的使用方式（15）

前言 大家好吖，欢迎来到 YY 滴C系列 ，热烈欢迎！ 本章主要内容面向接触过C的老铁 主要内容含： 欢迎订阅 YY滴C专栏！更多干货持续更新！以下是传送门！ 目录 引言：一.查看STL使用文档时…
阅读更多...
最新文章

Copyright @ 2022~2023