OpenCV实现OCR图片文本检测

一、操作步骤

在这里插入图片描述

把左边这样的图片，通过仿射变换转换成右边那样的图片。

然后再通过pytesseract读取图片内容得到图片中的文本就好了。

在这里插入图片描述

需要使用到：

  • 仿射变换
  • ocr识别

注：本文使用现成图片，轮廓检测较为明显，若是自己拍照，建议让轮廓/边缘清晰一些。

二、tesseract-ocr安装配置

第一步：下载安装

mac：官网地址

在 MacBook 上安装 Tesseract，有两种方式，MacPorts 或 Homebrew，可以参考这里

brew install tesseract

windows：

下载一下tesseract-ocr，建议选择一个稳定点的版本下载。

现在完成之后安装的时候点下一步下一步就行了，记得记一下安装路径，下一步要配置环境变量(不配置也可以)

第二步：环境变量

注：即使不配置环境变量也不影响后面在代码中的操作，即这一步可以跳过。

上一步安装完成后，把路径加进去：

在这里插入图片描述

打开cmd，输入tesseract -v得到版本信息，没报错就说明环境变量配置成功。

在这里插入图片描述

进行测试，比如我桌面上有这样一张图片：

在这里插入图片描述

在cmd中输入：tesseract 图片路径 输出路径 如：

在这里插入图片描述

注：这个路径不用手打，直接把图片拖进去

然后我的桌面上出现了一个叫result.txt的文本文件：

在这里插入图片描述

第三步：下载pytesseract

pip install pytesseract
下载完成之后，有一件事要记得注意一下，我们打开对应的python环境的文件，比如我下载在anaconda中，那我的路径就是：C:\Anaconda01\Lib\site-packages\pytesseract 总之，打开它：

在这里插入图片描述

这里原本是相对路径，把它手动设置成绝对路径，以防报错。

在这里插入图片描述

当然 也可以不管，报错了再回来看。

from PIL import Image
import pytesseract
 
# 有时也可以提前加一些灰度转换 二值处理 滤波操作等，效果可能会更好一些。
 
text = pytesseract.image_to_string(Image.open(r'./data/image.png'))
print(text)

第四步：下载中文包

这一步是用来识别中文的，其实安装的时候有一个选项会问你是否下载中文包，不过比较慢还是自己下载吧。

github下载中文包

在这里插入图片描述

下载完成后放到tessdata里就好

在这里插入图片描述

我们识别下方这句诗：

在这里插入图片描述

import pytesseract
from PIL import Image
 
# lang='chi_sim'设置为中文识别
text = pytesseract.image_to_string(Image.open('./images/yylm.jpg'), lang='chi_sim')
print(text)

在这里插入图片描述

三、完整代码及原理

3.1定义图片展示函数 和 图片大小设置函数

import cv2
import numpy as np
 
 
def cv_show(name, img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
 
def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    dim = None
    (h, w) = image.shape[:2]
    if width is None and height is None:
        return image
    if width is None:
        r = height / float(h)
        dim = (int(w * r), height)
    else:
        r = width / float(w)
        dim = (width, int(h * r))
    resized = cv2.resize(image, dim, interpolation=inter)
    return resized

前者是为了方便代码执行过程中图片处理得如何了，方便我们观察。

后者是为了方便我们管理图的大小，比如resize(img, width=500) 或 resize(img, height=500) 可以把大大小小的图片转换成相应比例的统一宽高的图片，方便我们观察。

3.2读取输入图片，做预处理

# 读取输入
image = cv2.imread("./images/receipt.jpg")
 
# 统一图片大小
orig = image.copy()
image = resize(orig, height=500)
 
# 记录变化比例 后面会用到
ratio = image.shape[0] / 500.0
 
# 预处理
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # 转化为灰度图
gray = cv2.GaussianBlur(gray, (5, 5), 0) # 高斯滤波降噪
cv_show('edged',gray)

在这里插入图片描述

3.3进行边缘检测

# 边缘检测
edged = cv2.Canny(gray, 75, 200)
cv_show('edged',edged)

在这里插入图片描述

3.4进行轮廓检测

由于我们后面仿射变换需要的只是图片中对象的四个角的坐标，因此轮廓检测时把面积最大的轮廓拿出来就行。

# 轮廓检测
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[0]
# 根据面积倒序 只要最大的面积那n组。
need_cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[:4]# 几组都行，其实倒序后的第一个基本上就是面积最大的。

此时，第一个轮廓也有可能与第二个轮廓很像或者基本表示同一个轮廓，毕竟图片中的对象不够平整。 我们先一步进行边缘检测，后一步进行轮廓检测。

本例中排序完成后，cnts[0]与cnts[1]都是我们想要的那部分。即下一步绿色框中的图片

3.5遍历轮廓，进行轮廓近似

由于我们上一步取出好几组(基本上第一组就是了)可能的轮廓(每个轮廓是一组点集，因为图像并不平整，所以我们接下来进行轮廓近似，我们对这几组进行遍历，确定它有四个点就说明是我们想要的答案。 不明白轮廓近似的建议去了解一下。

# 遍历轮廓
for c in cnts:
    # 轮廓近似
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)
    # 近似成4个点的时候就拿出来
    if len(approx) == 4:
        screenCnt = approx
        break
 
cv2.drawContours(image, [screenCnt], -1, (0, 255, 0), 2)
cv_show('Outline',image)

在这里插入图片描述

解释一下这一步和上一步：其实就是我们边缘检测后的图片进行轮廓检测，取出轮廓面积最大的n组轮廓，每个轮廓是一组点集，不一定就是四个点，也可能是100个构成一个轮廓，我们按顺序进行轮廓近似，一般循环到第一遍的时候就可以近似成我们想要的上图的这个轮廓了，我们也就得到了这四个顶点。

透视变换

在这里插入图片描述

我们上一步拿到了那四个点的坐标，那个对应的轮廓也不是平行的，我们要做的就是把“它正过来”，平铺在图片上。

我们首先要确定四个的位置，左上、右上、右下、左上。

# 处理点坐标，返回rect使其顺序为左上，右上，右下，左下
def order_points(pts):
    # 一共4个坐标点
    rect = np.zeros((4, 2), dtype="float32")
 
    # 计算左上，右下  左上的x和y都是最小的 右下的x和y都是最大的 
    s = pts.sum(axis=1)
    rect[0] = pts[np.argmin(s)]
    rect[2] = pts[np.argmax(s)]
 
    # 计算右上和左下  np.diff后一项减前一项
    diff = np.diff(pts, axis=1)
    rect[1] = pts[np.argmin(diff)]
    rect[3] = pts[np.argmax(diff)]
    return rect

两点间距离公式，我们计算最长的宽高，知道宽和高了我们就可以自己规定个矩阵，根据变换矩阵

把原图转换为“铺平 铺满”后的图片：

def four_point_transform(image, pts):
    # 获取输入坐标点
    rect = order_points(pts)
    tl, tr, br, bl = rect
 
    # 两点间距离公式计算输入的w和h值
    widthTop = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    widthBot = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    # 要最大的 看着方便 下同 
    maxWidth = max(int(widthTop), int(widthBot))
 
    heightRight = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightLeft = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightRight), int(heightLeft))
 
    # 变换后对应坐标位置
    dst = np.array([
        [0, 0],
        [maxWidth - 1, 0],
        [maxWidth - 1, maxHeight - 1],
        [0, maxHeight - 1]], dtype="float32")   
    
    # 计算变换矩阵
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
      
    # 返回变换后结果
    return warped

我们执行上方函数：

# 透视变换  记得乘以比例，我们之前为了方便观察统一过大小。
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
cv_show('warped',resize(warped, height=650))

在这里插入图片描述

3.6最后进行ocr检测

对上一步获得的warped进行二值处理，使用pytesseract.image_to_string()即可。

from PIL import Image
import pytesseract
 
 
warped = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
ref = cv2.threshold(warped, 100, 255, cv2.THRESH_BINARY)[1]
   
filename = "{}.png".format('内容')
cv2.imwrite(filename, gray)
    
text = pytesseract.image_to_string(Image.open(filename))
print(text)
os.remove(filename)

3.7得到结果

在这里插入图片描述

四、完整代码

# 导入工具包
import os
import cv2
import pytesseract
import numpy as np
from PIL import Image
 
 
def cv_show(name, img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()
 
 
def resize(image, width=None, height=None, inter=cv2.INTER_AREA):
    dim = None
    (h, w) = image.shape[:2]
    if width is None and height is None:
        return image
    if width is None:
        r = height / float(h)
        dim = (int(w * r), height)
    else:
        r = width / float(w)
        dim = (width, int(h * r))
    resized = cv2.resize(image, dim, interpolation=inter)
    return resized
 
 
def order_points(pts):
    # 一共4个坐标点
    rect = np.zeros((4, 2), dtype="float32")
 
    # 按顺序找到对应坐标0123分别是 左上，右上，右下，左下
    # 计算左上，右下
    s = pts.sum(axis=1)
    rect[0] = pts[np.argmin(s)]
    rect[2] = pts[np.argmax(s)]
 
    # 计算右上和左下
    diff = np.diff(pts, axis=1)
    rect[1] = pts[np.argmin(diff)]
    rect[3] = pts[np.argmax(diff)]
    return rect
 
 
def four_point_transform(image, pts):
    # 获取输入坐标点
    rect = order_points(pts)
    tl, tr, br, bl = rect
 
    # 两点间距离公式计算输入的w和h值
    widthTop = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
    widthBot = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
    maxWidth = max(int(widthTop), int(widthBot))
 
    heightRight = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
    heightLeft = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
    maxHeight = max(int(heightRight), int(heightLeft))
 
    # 变换后对应坐标位置
    dst = np.array([
        [0, 0],
        [maxWidth - 1, 0],
        [maxWidth - 1, maxHeight - 1],
        [0, maxHeight - 1]], dtype="float32")   
    
    # 计算变换矩阵
    M = cv2.getPerspectiveTransform(rect, dst)
    warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))
      
    # 返回变换后结果
    return warped
 
 
# 读取输入
image = cv2.imread("./images/receipt.jpg")
# 记录比例 后面会用到
ratio = image.shape[0] / 500.0
orig = image.copy()
# 统一图片大小
image = resize(orig, height=500)
 
# 预处理
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (5, 5), 0)
 
# 边缘检测
edged = cv2.Canny(gray, 75, 200)
 
# 轮廓检测
cnts = cv2.findContours(edged.copy(), cv2.RETR_LIST, cv2.CHAIN_APPROX_SIMPLE)[0]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)[:3]
 
# 遍历轮廓
for c in cnts:
    # 计算轮廓近似
    peri = cv2.arcLength(c, True)
    approx = cv2.approxPolyDP(c, 0.02 * peri, True)
    # 4个点的时候就拿出来
    if len(approx) == 4:
        screenCnt = approx
        break
 
# 透视变换
warped = four_point_transform(orig, screenCnt.reshape(4, 2) * ratio)
 
 
# 文本检测
gray = cv2.cvtColor(warped, cv2.COLOR_BGR2GRAY)
# gray = cv2.threshold(gray, 0, 255,cv2.THRESH_BINARY | cv2.THRESH_OTSU)[1]
gray = cv2.medianBlur(gray, 3)
filename = "{}.png".format('finally_picture')
cv2.imwrite(filename, gray)
    
text = pytesseract.image_to_string(Image.open(filename))
print(text)
os.remove(filename)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/468164.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

CTF题型 SSTI(1) Flask-SSTI-labs 通关 题记

CTF题型 SSTI(1) Flask-SSTI-labs 通关 题记

CTF题型 SSTI(1) Flask-SSTI-labs 通关 题记 文章目录 CTF题型 SSTI(1) Flask-SSTI-labs 通关 题记前记获取键值或下标的方式获取属性的方式 Level 1 no wafLevel 2 bl[\{\{]Level 3 no waf and blindLevel 4 bl[[, ]]获取键值或下标 Level 5 bl[\, "]Level 6 bl[_]Level …
阅读更多...
搭建 es 集群

搭建 es 集群

一、VMware准备机器 首先准备三台机器 这里我直接使用 VMware 构建三个虚拟机 都是基于 CentOS7 然后创建新用户 部署 es 需要单独创建一个用户，我这里在构建虚拟机的时候直接创建好了 然后将安装包上传 可以使用 rz 命令上传，也可以使用工具上传 工…
阅读更多...
Linux网络命令介绍30+

Linux网络命令介绍30+

目录 一、网络命令 1. ifconfig 2. ip 3. traceroute 4. ping 5. route 6. netstat 7. ss 8. dig 9. arp 10. iwconfig 11. nslookup 12. host 13. whois 14. tracepath 15. curl 16. hostname 17. wget 18. mtr 19. iftop 20. iotop 21. tcpdump 22. i…
阅读更多...
jenkins Pipeline接入mysql

jenkins Pipeline接入mysql

背景： jenkin pipeline进化过程如下： Jenkins Pipeline 脚本优化实践：从繁琐到简洁 >>>>> Jenkins Pipeline脚本优化：为Kubernetes应用部署增加状态检测>>>>>> 使用Jenkins和单个模板部署多个K…
阅读更多...
Nadaraya-Watson核回归

Nadaraya-Watson核回归

目录 基本原理 ​编辑 核函数的选择 带宽的选择 特点 应用 与注意力机制的关系 参考内容 在统计学中，核回归是一种估计随机变量的条件期望的非参数技术。目标是找到一对随机变量 X 和 Y 之间的非线性关系。 在任何非参数回归中，变量 Y 相对于变量…
阅读更多...
量子加速超算简介

量子加速超算简介

量子加速超算简介 有用的量子计算的发展是全球政府、企业和学术界的巨大努力。 量子计算的优势可以帮助解决世界上一些与材料模拟、气候建模、风险管理、供应链优化和生物信息学等应用相关的最具挑战性的问题。 要实现量子计算的优势，需要将量子计算机集成到现有的…
阅读更多...
【算法与数据结构】二叉树（前中后）序遍历

【算法与数据结构】二叉树（前中后）序遍历

文章目录 📝前言🌠 创建简单二叉树🌉二叉树的三种遍历🌠前序🌉中序遍历 🌠后序遍历 🌠二叉树节点个数🌉二叉树节点个数注意点 🚩总结 📝前言 一棵二叉树是结…
阅读更多...
React的基本使用

React的基本使用

安装VSCode插件 ES7 Reactopen in browser React基本使用 基本使用步骤 引入两个JS文件&#xff08; 注意引入顺序 &#xff09; <!-- react库, 提供React对象 --> //本地 <script src"../js/react.development.js"></script> //线上 //<scr…
阅读更多...
web前端之实现复选功能、repeat

web前端之实现复选功能、repeat

MENU 1、原生实现1.1、html部分1.2、JavaScript部分1.3、css部分1.4、效果图 2、uniApp实现2.1、html部分2.2、JavaScript部分2.3、css部分2.4、效果图 1、原生实现 1.1、html部分 暂时为null&#xff0c;后续会补充。1.2、JavaScript部分 暂时为null&#xff0c;后续会补充…
阅读更多...
推理性能提升10倍，成本下降一半！第四范式发布大模型推理加速卡、推理框架...

推理性能提升10倍，成本下降一半！第四范式发布大模型推理加速卡、推理框架...

为破解大模型推理中GPU显存瓶颈&#xff0c;第四范式发布了大模型推理框架SLXLLM以及硬件版本的推理加速卡4Paradigm Sage LLM Accelerator&#xff08;简称SLX&#xff09;。通过多任务共享存储及处理优化技术&#xff0c;大模型推理性能提升10倍&#xff1b;在模型效果无损情…
阅读更多...
AJAX-原理XMLHttpRequest

AJAX-原理XMLHttpRequest

定义 使用 查询参数 定义&#xff1a;浏览器提供给服务器的额外信息&#xff0c;让服务器返回浏览器想要的数据 语法&#xff1a;http://xxxx.com/xxx/xxx?参数名1值1&参数名2值2
阅读更多...
vsto excel 插件注册表属性值含义

vsto excel 插件注册表属性值含义

在 VSTO (Visual Studio Tools for Office) 中&#xff0c;LoadBehavior 是用于指定 Office 插件加载行为的一个属性。具体含义如下&#xff1a; - LoadBehavior 0&#xff1a;此值表示插件已被禁用&#xff0c;将不会加载。 - LoadBehavior 1&#xff1a;此值表示插件将在 O…
阅读更多...
C#，图论与图算法，图（Graph）广度优先遍历（BFS，Breadth First Search）算法与源代码

C#，图论与图算法，图（Graph）广度优先遍历（BFS，Breadth First Search）算法与源代码

1 深度优先算法与 宽度优先遍历 深度优先算法（DFS，Deep First Search）与 宽度优先遍历（BFS，Breadth First Search） 是树、图数据结构的基础性、标准性的遍历算法。 2 深度优先算法（DFS，Deep First Search） 深度优先搜索（DFS）是一种用于搜索图形或树数据结构的算法…
阅读更多...
【HTTP】面试题整理

【HTTP】面试题整理

HTTP&#xff1a;什么是队头阻塞以及怎么解决&#xff1f; 队头阻塞&#xff08;Head-of-Line Blocking&#xff09; 计算机网络中的一个概念&#xff0c;特别是在处理HTTP请求时。当多个HTTP请求被发送到一个服务器&#xff0c;并且这些请求被放置在一个队列中等待处理时&…
阅读更多...
石油炼化5G智能制造工厂数字孪生可视化平台，推进行业数字化转型

石油炼化5G智能制造工厂数字孪生可视化平台，推进行业数字化转型

石油炼化5G智能制造工厂数字孪生可视化平台&#xff0c;推进行业数字化转型。在石油炼化行业&#xff0c;5G智能制造工厂数字孪生可视化平台的出现&#xff0c;为行业的数字化转型注入了新的活力。石油炼化行业作为传统工业的重要领域&#xff0c;面临着资源紧张、环境压力、安…
阅读更多...
leetcode刷题（javaScript）——动态规划相关场景题总结

leetcode刷题（javaScript）——动态规划相关场景题总结

动态规划在 JavaScript 刷题中有一定的难度&#xff0c;但也是非常常见和重要的算法思想。动态规划通常适用于需要求解最优解、最大值、最小值等问题的场景&#xff0c;可以将复杂问题拆分成子问题&#xff0c;通过存储子问题的解来避免重复计算&#xff0c;从而提高效率。 理解…
阅读更多...
鸿蒙-项目创建及了解

鸿蒙-项目创建及了解

目录 项目创建 1.App普通项目创建 2.元服务创建 项目结构 .hvigor .idea AppScope entry EntryAbility.ts pages resources module.json5 ohosTest hvigorfile.ts build-profile.json5 oh_modules build-profile.json5 hvigorfile.ts 项目运行 项目创建 F…
阅读更多...
信息系统项目管理师015：元宇宙（1信息化发展—1.5数字化转型与元宇宙—1.5.2元宇宙）

信息系统项目管理师015：元宇宙（1信息化发展—1.5数字化转型与元宇宙—1.5.2元宇宙）

文章目录 1.5.2 元宇宙1.主要特征2.发展演进 记忆要点总结 1.5.2 元宇宙 元宇宙(Metaverse)是一个新兴概念&#xff0c;是一大批技术的集成。北京大学陈刚教授对元宇宙的定义是&#xff1a;元宇宙是利用科技手段进行链接与创造的&#xff0c;与现实世界映射与交互的虚拟世界&am…
阅读更多...
Linux 文件系统：C语言接口、系统接口

Linux 文件系统：C语言接口、系统接口

目录 一、文件接口 二、感性理解Linux系统下“一切皆文件” 三、C语言文件接口 1、fopen 2、当前路径 3、fwrite、fprintf、fputs 4、fgets 模拟实现cat命令 五、系统接口 1、open系统调用 2、write系统调用 例&#xff1a;O_WRONLY 例&#xff1a;O_WRONLY|O_CREAT…
阅读更多...
jeecg启动Sentinel 一直是空白页面 解决办法用 外部 Sentinel SpringCloud之Sentinel概述和安装及简单整合

jeecg启动Sentinel 一直是空白页面 解决办法用 外部 Sentinel SpringCloud之Sentinel概述和安装及简单整合

jeecg启动Sentinel 一直是空白页面 解决办法用 外部 Sentinel SpringCloud之Sentinel概述和安装及简单整合 文章目录 jeecg启动Sentinel 一直是空白页面 解决办法用 外部 Sentinel SpringCloud之Sentinel概述和安装及简单整合 Sentinel概述基本介绍 Sentinel安装下载地址: http…
阅读更多...
最新文章

Copyright @ 2022~2023