1.OCR任务简介

OCR(Optical Character Recognition,光学字符识别)是指对包含文本内容的图像或者视频进行处理识别，并提取其中所包含的文字及排版信息的过程。例如，一个常见的应用是将包含文档图像的不可编辑状态的 PDF 文档通过 OCR 技术识别后，转换为可编辑状态的 Word 格式文档[1]。例如，一个常见的应用是将包含文档图像的不可编辑状态的 PDF 文档通过 OCR 技术识别后，转换为可编辑状态的 Word 格式文档。

1.1 应用场景

通常来说，根据不同文本内容的特性而言，OCR应用场景可以分为以下几类：

• 印刷体文本识别：现代计算机字体编排并印刷的文本内容识别。

• 手写文本识别：签名等手写文本识别。

• 公式文本识别：数学公式等文本识别，比如将数学公式图片转为LaTex或者MD代码。

• 场景文本识别：发票、火车票、招牌等文本识别。

• 古籍文本识别：古籍文档与现代印刷的排版和布局通常具有很大的差别，例如，阅读顺序可能自上而下，自右向左等。因此，使用基于现代文档数据开发的 OCR 技术和模型在包含这些内容的图像上的识别效果往往不够好。因此，在对大量古籍进行数字化保护的过程中，催生了专门针对该类型文档内容进行识别的 OCR 技术。

1.2 OCR任务流程

OCR任务按照算法可分为传统方法和深度学习方法。

传统方法主要包括图像预处理（噪声过滤、灰度转换、图像旋转矫正、二值化等）、版面分析（表格线检测、关键区域的特征匹配、文字区域分段分行等）、字符切分、字符特征提取、字符特征匹配、版面理解、格式化数据输出。

深度学习方法有图像预处理、文字检测/分割、文字识别等，文字检测/分割从包含文字的目标图片中准确找到文字所在位置，标注形式通常为polygon、bbox或图片。文字识别从纯文字图片或上述的检测框中得到文字内容，标注形式为text。

深度学习方法分为两阶段和端到端两种，两阶段就是上面的先进行图片文字检测，然后在进行文字识别。端到端方式直接输入图片，得到文字识别结果。

2. OCR任务的评价指标

2.1 两阶段算法的评价指标

检测阶段跟图像目标检测中的使用指标相似，一般使用检测框和标注框的IOU值进行评估。IOU大于某个阈值判断为检测正确，但是不同于一般的通用目标检测框的点在于有部分的检测框和标注框是采用多边形进行表示。

文字识别阶段的评价指标有CER(Character Error Rate,字符错误率)、WER(Word Error Rate,单词错误率)、编辑距离、准确率、召回率、F1 Score等

• 准确率：正确识别的字符数占总字符数的比例。适用于字符清晰、字体规范的数据集。正确识别的字符数占总字符数的比例。适用于字符清晰、字体规范的数据集。

• 召回率：实际识别出的字符数与所有应被识别的字符数的比例。反映系统的查全率。实际识别出的字符数与所有应被识别的字符数的比例。反映系统的查全率。

• 精准率：识别出的文本与原始文本的匹配度，通常使用编辑距离或Levenshtein距离来衡量。

• WER：衡量识别出的句子与原始句子之间的差异。它是插入、删除和替换错误的总和与总词数的比值。

• CER：类似于WER，但关注单个字符的错误。CER是插入、删除和替换错误的总和与总字符数的比值。

为了更全面地评估OCR系统，通常会结合使用以上多种指标。此外，还可以进行交叉验证来评估模型在不同数据子集上的泛化能力。为了更全面地评估OCR系统，通常会结合使用以上多种指标。此外，还可以进行交叉验证来评估模型在不同数据子集上的泛化能力。

可以使用token accuracy来作为识别效果的评价指标，跟wer和cer相似，根据分词后的token识别准确率进行评估。

端到端(End-to-End)的OCR方式的评价指标跟两阶段中的识别阶段一样，基本也是采用上述那些评估指标。

2.2 其它OCR评估指标

除了识别精度，识别的速度也是非常重要的衡量ocr性能的指标，尤其在移动端和嵌入式平台的推理，决定是否可用的衡量标准。除了识别精度，识别的速度也是非常重要的衡量ocr性能的指标，尤其在移动端和嵌入式平台的推理，决定是否可用的衡量标准。

预训练模型大小，即存放训练模型参数文件的大小，这对移植到移动端或嵌入式台的使用很重要即存放训练模型参数文件的大小，这对移植到移动端或嵌入式台的使用很重要

3. OCR任务常用数据集

4. 评价指标实例

用单词错误率WER指标评估：

import evaluate

wer = evaluate.load("wer")
wer_res = wer.compute(predictions=["hello there"], references=["hello there, i am"])
print(wer_res)

使用字符错误率CER指标评估：

import evaluate

cer = evaluate.load("cer")
cer_res = wer.compute(predictions=["hello there"], references=["hello there, i am"])
print(cer_res)