打造高效问答系统:合合信息文档解析工具的应用与实践

官.网地址:合合TextIn - 合合信息旗下OCR云服务产品

LLM(大型语言模型)的应用落地正快速推动着各行各业工作模式的革新。根据埃森哲在2023年发布的研究报告,预计全行业中有40%的工作时间将得到大语言模型的支持与协助。通过引入AI作为辅助,不仅能重塑员工的工作方式,还能通过自动化技术显著提升工作效率和生产力。

除了常规的知识问答,针对细分领域的专业问答对企业人员来说更具实用价值,比如在阅读冗长的论文或报告时,大模型可以完成综述、归纳和辅助分析等工作。但是这也引出了一个问题:当提供的材料相对复杂冗长时,大型模型是否能够进行文档解析并给出准确答案呢?

一、基于文档内容,大模型能给出准确的回答吗?

在文档交互中,大模型需要做到:根据文件内容给出精准回答、提供关联信息建议并给出专业分析参考。

通常企业在工作过程中,会面临大量的文件信息,人工阅读往往需要消耗大量的时间和精力。尤其在面对扫描或图片文档时,常规办公软件无法完成关键词检索,导致信息收集困难。大模型可以解决这个问题吗?合合信息技术团队以国内某自然语言大模型为例进行了测试。

01.企业年报

首先,上传一份多达100页的企业年报扫描文本,并进行提问:根据文档内容,该公司的上市时间、地点以及营业期限分别的何时何地?大模型准确无误地给出了答案。

接着,再次提问:报告中提到的企业与客户间的销售商品合同包含哪些条款?大模型同样精准地提供了答案。将回答与原文对比,发现其信息不仅准确,而且详尽全面。

这些示例表明,在处理年报等长篇文档的信息提取任务时,大模型能够有效地提供分析辅助,帮助用户快速把握关键信息。

02.经济报告

上传一份包含数据与图表的经济报告并进行提问:依据报告,美国CPI食品的1月官方值是多少?

大模型回答如下:

根据您提供的文件内容,报告中并没有直接提供美国CPI食品的1月官方值。如果需要1月的具体数值,可能需要查阅其他官方数据发布渠道或等待官方数据的公布。

但是如果进行人工检索,可在报告中获得如下表格,清楚地写明了CPI食品1月的官方值。

那么问题来了,为什么大模型读取不到这一信息呢?

03.期刊论文

上传扫描版论文后,提出具体问题:根据所给文件,精氨酸在40度的水中,溶解度是多少?

大模型回答如下:

文档中并没有直接提供精氨酸在40℃时的具体溶解度数值。同时,它补充:如果文档中确实包含了40℃的溶解度数据,但由于文档不完整或扫描不清晰导致无法读取,请提供更详细的信息或完整的文档,以便进行准确回答。

然而,表格中清晰地提供了这些信息:

在实际的工作场景中,需要识别的文件往往是纷繁多样的,其中包括清晰且便于机器读取的纯文字电子文件,也可能包含大量形式的图表,或是来源时期不一的纸质扫描档、模糊或扭曲的页面。大模型目前的回答还未达到理想状态。

二、为什么大模型的回答会不准确?

通过上述几项测试可以看到大模型在面对经济报告和期刊论文的回答并不准确。使用合合信息的文档解析工具把PDF版的经济报告转成Markdown格式后再次发送给大模型,并提出相同的问题。此时大模型给出了正确答案。

在期刊论文案例中,有线表格中的内容同样得到了正确提取。这表明,问题就出现在文档解析环节。

在先前的测试中,大模型没有从文档中准确捕捉到关键信息,而当合合信息文档解析产品把图文档进行格式处理,转化成机器可读格式,大模型就能基于文档内容,快速准确的给出答案。

在业界实践中,目前问答模型的落地面临以下几个挑战:

第一,文档识别的失败率较高。

当面对复杂的版面时,模型无法正确地解析文档,包括获取标题、分块文本、图表等内容。在这种情况下,大型模型常常无法提供细节信息的答案,或者给出错误的答案。

第二,逻辑结构的解析不完整。

模型在划分段落语义时可能出现错误,导致回答不全面或存在总结性偏差。

第三,召回效果不佳。

这可能是由于训练数据的不平衡,影响了模型的检索召回能力。

而面对前两种问题,文档解析工具能够助力解析获取内容极大提升大模型的应答能力,优化用户体验。

三、如何试用文档解析工具?

合合信息文档解析产品已经上架TextIn平台,每位开发者都可以注册账号并开通使用。

访问入口icon-default.png?t=N7T8https://link.zhihu.com/?target=https%3A//www.textin.com/market/detail/pdf_to_markdown

点击【免费体验】,即可在线试用,如下图所示:

如果想试试用代码调用,也可以访问对应的接口文档内容:

代码调用入口​icon-default.png?t=N7T8https://link.zhihu.com/?target=https%3A//www.textin.com/document/pdf_to_markdown

平台提供了一个Playground,帮开发者们预先调试接口。

点击页面中【API调试】按钮,即可进入调试页面。

在这里可以简单配置一些接口参数,发起调用后,右侧就会出现调用结果。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/678879.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

23种模式之一— — — —适配器模式的详细介绍与讲解

适配器介绍与讲解 一、概念二、适配器模式结构适配器分类核心思想核心角色模式的UML类图应用场景模式优点模式缺点 实例演示图示代码演示运行结果 一、概念 适配器模式(别名:包装器) 是一种结构型设计模式 将一个类的接口转换成客户希望的另…

存内计算与扩散模型:下一代视觉AIGC能力提升的关键

目录 前言 视觉AIGC的ChatGPT4.0时代 扩散模型的算力“饥渴症” 存内计算解救算力“饥渴症” 结语 前言 ​ 在这个AI技术日新月异的时代,我们正见证着前所未有的创新与变革。尤其是在视觉内容生成领域(AIGC,Artificial Intelligence Generate…

家政预约小程序12用户登录

目录 1 创建全局变量2 创建页面3 搭建页面4 实现登录逻辑总结 在小程序中,登录是一个常见的场景。比如我们在小程序预约或者购买时,通常要求用户先登录后购买。如果使用传统方案,登录这个动作其实最终的目的是为了获取用户的openid。而使用低…

如何理解与学习数学分析——第一部分——数学分析概观

第1 部分:数学分析概观(Studying Analysis) 1. 数学分析之面目(What is Analysis like?) 本章说明了分析中的定义、定理和证明。 它介绍了一些符号,并解释了如何使用数学分析中的这些数学符号和数学词汇、以及应该把它们读成什么。它指出了这种类型的…

【通俗易懂搞算法】一篇文章弄懂Manacher算法

Manacher算法 manacher算法解决的问题回文 最长回文子串最长回文子串解法解法1.0解法2.0Manacher算法回文半径、回文直径回文半径数组之前扩的所有位置中所到达的最右回文右边界(R)取得更远边界的中心点的位置(C)Manacher算法优化情形Manacher算法优化情形总结 manacher算法代码…

PySpark特征工程(I)--数据预处理

有这么一句话在业界广泛流传:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。由此可见,特征工程在机器学习中占有相当重要的地位。在实际应用当中,可以说特征工程是机器学习成功的关键。 特征工程是数据分析…

工业网关有效解决企业在数据采集、传输和整合方面的痛点问题-天拓四方

一、企业背景概述 随着信息技术的飞速发展,工业互联网已成为推动制造业转型升级的关键力量。在众多工业企业中,某公司凭借其深厚的技术积淀和广阔的市场布局,成为行业内的佼佼者。然而,在数字化转型的道路上,该公司也…

Java中getBytes()方法

我以为旅人将我 热情都燃尽 —— 24.6.4 String.getBytes(String decode)方法会根据指定的decode编码返回某字符串在该编码下的byte数组表示 而与getBytes相对的,可以通过new String(byte[], decode)的方式来还原这个“深”字时,这个new String(byte[],…

【UML用户指南】-07-对基本结构建模-公共机制

目录 1、术语和概念 1.1、注解(note) 1.2、修饰 1.3、衍型 1.4、标记值 1.5、约束 1.6、标准元素 1.7、外廓(profile) 2、对新特性建模 3、对新语义建模 注解 (note)是附加在元素或元素集上用来表…

EcoVadis审核方法是什么符合EcoVadis规范的文件清单

EcoVadis审核方法是参照全球契约社会责任国际标准进行,包括环境、劳工及人权、商业道德、可持续采购等四大主题又分:能源消耗及温室气体排放、水环境管理、生态环境与物种多样性保护、局部环境污染、原材料及化学品使用(含废弃物)、产品使用、产品生命末期、消费者健…

控制应优先

先从大体上的去找规律,然后才是数字归纳(更为详细的),同时控制关系应该优先(这里是天数和位置)。是否涉及所有对象不是广泛,如果是具体的数值就不是广泛。

天润融通携手好丽友,打造食品零售行业智能客服新标杆

AI大模型,如何给食品零售行业的客服服务带来质变? 在很多人印象中,食品零售行业是不需要客户服务的。 因为绝大多数食品都是通过经销商、零售商、商场这样的渠道进行销售。所以在食品零售行业,一直都有一句话,叫“渠…

贝加莱工控机维修5PC810.SX01-00 APC810系列

工控机维修常见故障:工控机无显示、自检不过、死机、触摸不灵、按键无法操作、与PLC通讯不上驱动器报过流过载、电压高、编码器错误 等。 PLC有输入无输出、报错等工控机维修常见故障现象 。 贝加莱工控机维修常见故障排查: 电源灯亮但工控机没有反应: …

ChatTTS:对话式文本转语音模型,开源啦!突破开源语音天花板...

最近,一个名为 ChatTTS 文本转语音项目爆火出圈,短短三天时间,在 GitHub 上已经斩获了 9.2 k 的 Star 量。 ChatTTS:对话式文本转语音模型 项目地址:https://github.com/2noise/ChatTTS/tree/main 体验地址&#xff1a…

Houdini pbd_constraints.h的文件位置

Houdini安装目录下的houdini\vex\include文件夹 C:\Program Files\Side Effects Software\Houdini 19.5.716\houdini\vex\include

Codeforces Round 950 (Div. 3)(A~E题解)

这场比赛我自己打的是真的垃圾,也是侥幸被拿下了,第三题当时没想清楚,要不然还能止损一下,惜败惜败 话不多说,现在来看A~E题的题解 A. Problem Generator 题解:这题水题一个,我们来考虑本题的…

学会 YOLOv8 直接上手 YOLOv10 | YOLOv8 YOLOv10 模型结构 Yaml 文件对比

先来对比下 模型 yaml 文件, YOLOv8 的 5 个模型尺寸是写到一起的,也就是说,YOLOv8 的 5个尺寸之间就是宽度和深度等比例缩放; YOLOv10 的 6 个模型尺寸是分开写的,10 并不是简单的宽度和深度等比例缩放,…

正邦科技七:pycharm的使用

Pycharm的使用 1:下载python解释器:https://www.python.org/downloads/windows/ 2:下载Pycharm社区办:去官网下载(不需要跟Java一样配置jdk这种环境) 需要注意一点如果是别人发的包解压之后不能直接用&…

C++期末复习

目录 1.基本函数 2.浅拷贝和深拷贝 3.初始化列表 4.const关键字的使用 5.静态成员变量和成员函数 6.C对象模型 7.友元 8.自动类型转换 9.继承 1.基本函数 (1)构造函数,这个需要注意的就是我们如果使用类名加括号,括号里面…

Spring Cloud系列——使用Sentinel进行微服务保护

文章目录 一、引言1. 雪崩问题的产生原因2. 解决雪崩问题的思路 二、微服务保护1. 服务保护方案1.1 请求限流1.2 线程隔离1.3 服务熔断 2. Sentinel2.1 安装2.2 微服务整合2.2.1 请求限流2.2.2 线程隔离①OpenFeign整合Sentinel②配置线程隔离 2.2.3 服务熔断①编写降级逻辑②配…