NLP信息抽取大总结：三大任务（带Prompt模板）

信息抽取大总结

    • 1.NLP的信息抽取的本质？
    • 2.信息抽取三大任务？
    • 3.开放域VS限定域
    • 4.信息抽取三大范式？
      • 范式一：基于自定义规则抽取（2018年前）
      • 范式二：基于Bert+下游任务建模抽取（2018年后）
      • 范式三：基于大模型+Promt抽取（2022年后）
    • 附1：Prompt信息抽取模板
      • （1）实体抽取
      • （2）关系抽取
      • （3）事件抽取
      • （4）三元组抽取
    • 附2：中文大模型抽取哪家强？
    • 附3：专用于信息抽取的模型

2024.11.27

I hear and I forget； I see and I know； I do and I understand

1.NLP的信息抽取的本质？

针对NLP领域的信息抽取，即是从原始文本数据中自动提取出结构化的信息，本质相当于是对原始数据进行了一次信息加工，把我们不关注的信息进行了剔除或把我们关注的信息进行提炼。

抽取后的信息就相当于一篇论文的摘要和关键词。

2.信息抽取三大任务？

信息抽取是一个较大的范畴，可以细分为很多任务，但我们通常关注以下三类：

请添加图片描述

  • 实体抽取

    实体抽取的总结可以查看我的另外一篇文章：

    https://blog.csdn.net/xiangxiang613/article/details/143922862

  • 关系抽取

    待总结

  • 事件抽取

    待总结

    这些任务在建模时可以独立建模（每种任务一个模型）或者统一建模（一个模型能同时处理多种任务，如上图的UIE）。

3.开放域VS限定域

  • 开放域信息抽取，就是不限定实体和关系的类型，给定文本，抽取其包含的所有SPO三元组〈主，谓，宾〉，或者叫RDF三元组，这个通常就弱化了schema的设计（不需要设计）；在大模型构建知识图谱时代，这个是趋势。
  • 限定域信息抽取，就是限定抽取的实体和关系类型（此时可以画出清晰的schema），此时适合清晰的业务场景，具备推理价值。

4.信息抽取三大范式？

下面更侧重与实体抽取和关系抽取任务的处理，因为在知识抽取过程中更关注这两类。

范式一：基于自定义规则抽取（2018年前）

典型的，使用自定义词典+分词工具+词性标注完成实体抽取；基于依存句法分析+自定义关系创建规则完成关系抽取。这是在深度学习时代前常用的方法，优点是简单好理解，上手快，不需要标注数据和训练模型，只需要写规则；但规则的最大缺点就是不灵活，覆盖率低。

范式二：基于Bert+下游任务建模抽取（2018年后）

请添加图片描述

Bert的诞生重塑了NLP的任务构建范式，几乎所有的NLP任务都被转换为BERT的下游任务进行微调。在信息抽取领域，此时需要完成一定量的下游任务样本数据集标注（通常还伴随着标注规范的指定），针对一份数据集，会同时标注实体和实体间的关系。

一个样本标注完的数据，大概包含下面这些信息：

(人工标注的过程其实就是人在做信息抽取的过程)

{
    "sentences": ["维护V3^对蓄电池进行充电处理^由于蓄电池电量不足^无法启动↓↓充电处理*蓄电池↓蓄电池*电量不足↓[整车]无法启动"],
    "ner": [[[6, 8, "PART"], [11, 14, "METHOD"], [18, 20, "PART"], [21, 24, "STATUE"], [26, 29, "STATUE"], [32, 39, "SOLUTION"], [41, 48, "TROUBLE"], [50, 57, "TROUBLE"]]],
    "relations": [[]],
    "doc_key": "RID_2014010129978096",
    "predicted_ner": [[[6, 8, "PART"], [11, 14, "METHOD"], [18, 20, "PART"], [21, 24, "STATUE"], [26, 29, "STATUE"], [32, 39, "SOLUTION"], [41, 48, "TROUBLE"], [50, 57, "TROUBLE"]]],
    "predicted_relations": [[]],
    "sections": [[[0, 3], [5, 14], [16, 24], [26, 29]]],
    "dtc": [[]],
    "part_no": [["00-000"]],
    "part_name": [["无零件"]],
    "relations_inside": [[[11, 14, 6, 8, "METH"], [18, 20, 21, 24, "TROU"]]],
    "combined_ner_to_rel": [{"充电处理*蓄电池": 0, "蓄电池*电量不足": 1}]
}

基于标注完成的数据，可以分别训练实体抽取模型和关系抽取模型（pipeline方式），也可以同时训练实体-关系抽取模型（joint方式），此处不展开，后面再关系抽取总结的文章中再谈。

无论是那种方式，都会采用bert来作为底层的文本编码器，实现文本向量生成，区别在于bert向量生成后的下游任务建模方式不同。

在Bert时代，信息抽取任务通常是被当成一个序列标注型任务进行处理的，答案是存在于文本之中的。

即使在大模型时代，基于bert类的抽取方法也是性能最好的。在2024年了，都还有这方面的模型出现。如GliNER（基于DeBERTA v3 large）star1.5K，可以一看：

https://www.zhihu.com/people/luo-xie-yang-guang【GliNER 多任务： 适用于各种信息提取任务的通用轻量级模型】

补充：bert这么好，为什么大家要用大模型，因为要用bert一方面是要标注数据进行微调，另一方面是微调后的模型通常只能识别限定域的实体类型和关系类型（训练什么就识别什么），这个特点导致使用bert模型的成本很高，而大模型则是属于开放域信息抽取，不限制实体和关系的类型（更具应用场景可以限定）。

范式三：基于大模型+Promt抽取（2022年后）

请添加图片描述

这里的大模型准确来说是指生成式大模型，此时将信息抽取任务转换为文本生成任务进行处理。

在大模型时代下，信息抽取任务只需要编写一个少样本学习的Promt即可完成抽取，见后文。少样本学习（few-short）是指在Prompt中添加几个任务的示例样本，包含输入和输出。在信息抽取领域，这种方式明细优于零样本学习（zero-short）。可以参考：https://zhuanlan.zhihu.com/p/702821255

尽管大模型在各种NLP任务上取得了SOTA性能，但其在NER上的性能仍然明显低于监督基线。这是由于NER和llm两个任务之间的差距:前者本质上是一个序列标记任务，而后者是一个文本生成模型。

完整的大模型用于信息抽取综述性文章可以参考：《Large Language Models for Generative Information Extraction: A Survey》https://arxiv.org/pdf/2312.17617.pdf

请添加图片描述

附1：Prompt信息抽取模板

收集的一些Prompt模板如下，英文模板需要翻译为中文模板进行使用，陆续更新：

（1）实体抽取

  • 模板1：来自oneKE
{
    "task": "NER",
    "source": "NER",
    "instruction": {
        "instruction": "你是专门进行实体抽取的专家。请从input中抽取出符合schema定义的实体，不存在的实体类型返回空列表。请按照JSON字符串的格式回答。",
        "schema": ["人物", "地理位置", "组织机构"],
        "input": "在这里恕弟不恭之罪，敢在尊前一诤：前人论书，每曰“字字有来历，笔笔有出处”，细读公字，何尝跳出前人藩篱，自隶变而后，直至明季，兄有何新出？"
    },
    "output": {
        "人物": [],
        "地理位置": [],
        "组织机构": []
    }
}
  • 模板2：来自YAYI-UIE
{
  "Task": "NER",
  "Dataset": "WikiNeural",
  "instruction": "Text: In the Tour of Flanders , he took on a defensive role when his teammate Stijn Devolder escaped and won . \n【Named Entity Recognition】From the given text, extract all the entities and types. Please format the answer in json {location/person/organization：[entities]}. \nAnswer:",
  "input": "",
  "label": {
    "person": ["Stijn Devolder"]
  }
}

  • 模板3：来自Assessing the Performance of Chinese Open Source Large Language Models in Information Extraction Tasks[https://arxiv.org/abs/2406.02079]

    包含普通的和二阶段，且NER两阶段性能大幅度优于普通

    请添加图片描述

（2）关系抽取

  • 模板1：来自oneKE
{
    "task": "RE",
    "source": "RE",
    "instruction": {
        "instruction": "你是专门进行关系抽取的专家。请从input中抽取出符合schema定义的关系三元组，不存在的关系返回空列表。请按照JSON字符串的格式回答。",
        "schema": ["丈夫", "上映时间", "专业代码", "主持人"],
        "input": "如何演好自己的角色，请读《演员自我修养》《喜剧之王》周星驰崛起于穷困潦倒之中的独门秘笈"
    },
    "output": {
        "丈夫": [],
        "上映时间": [],
        "专业代码": [],
        "主持人": []
    }
}
  • 模板2：来自Assessing the Performance of Chinese Open Source Large Language Models in Information Extraction Tasks[https://arxiv.org/abs/2406.02079]

​ 包含普通的和QA4RE

请添加图片描述

（3）事件抽取

  • 模板1：来自oneKE
{
    "task": "EE",
    "source": "PHEE",
    "instruction": {
        "instruction": "You are an expert in event extraction. Please extract events from the input that conform to the schema definition. Return an empty list for events that do not exist, and return NAN for arguments that do not exist. If an argument has multiple values, please return a list. Respond in the format of a JSON string.",
        "schema": [
            {
                "event_type": "potential therapeutic event",
                "trigger": true,
                "arguments": [
                    "Treatment.Time_elapsed",
                    "Treatment.Route",
                    "Treatment.Freq",
                    "Treatment",
                    "Subject.Race",
                    "Treatment.Disorder",
                    "Effect",
                    "Subject.Age",
                    "Combination.Drug",
                    "Treatment.Duration",
                    "Subject.Population",
                    "Subject.Disorder",
                    "Treatment.Dosage",
                    "Treatment.Drug"
                ]
            },
            {
                "event_type": "adverse event",
                "trigger": true,
                "arguments": [
                    "Subject.Population",
                    "Subject.Age",
                    "Effect",
                    "Treatment.Drug",
                    "Treatment.Dosage",
                    "Treatment.Freq",
                    "Subject.Gender",
                    "Treatment.Disorder",
                    "Subject",
                    "Treatment",
                    "Treatment.Time_elapsed",
                    "Treatment.Duration",
                    "Subject.Disorder",
                    "Subject.Race",
                    "Combination.Drug"
                ]
            }
        ],
        "input": "Our findings reveal that even in patients without a history of seizures, pregabalin can cause a cortical negative myoclonus."
    },
    "output": {
        "potential therapeutic event": [],
        "adverse event": [
            {
                "trigger": "cause",
                "arguments": {
                    "Subject.Population": "NAN",
                    "Subject.Age": "NAN",
                    "Effect": "cortical negative myoclonus",
                    "Treatment.Drug": "pregabalin",
                    "Treatment.Dosage": "NAN",
                    "Treatment.Freq": "NAN",
                    "Subject.Gender": "NAN",
                    "Treatment.Disorder": "NAN",
                    "Subject": "patients without a history of seizures",
                    "Treatment": "pregabalin",
                    "Treatment.Time_elapsed": "NAN",
                    "Treatment.Duration": "NAN",
                    "Subject.Disorder": "NAN",
                    "Subject.Race": "NAN",
                    "Combination.Drug": "NAN"
                }
            }
        ]
    }
}
  • 模板2：来自Assessing the Performance of Chinese Open Source Large Language Models in Information Extraction Tasks[https://arxiv.org/abs/2406.02079]

（4）三元组抽取

  • 模板1：来自YAYI-UIE
{
  "Task": "CRE",
  "Dataset": "SanWen_sample50000",
  "instruction": "文本: 我与其他云南同学对视骇笑 \n【关系抽取】已知关系列表是['unknown', '造出', '使用', '临近', '社会关系', '位于', '拥有者', '隶属于', '亲属', '包含']\n根据关系列表抽取关系三元组，在这个句子中可能包含哪些关系三元组？请按照json[{'relation':'', 'head':'', 'tail':''}, ]的格式回答。\n答案：",
  "input": "",
  "label": [
    {
      "relation": "社会关系",
      "head": "我",
      "tail": "其他云南同学"
    }
  ]
}
  • 模板2：来自textgraphs
prompt= """
        句子: {}        
        从句子中提取 RDF 三元组，格式如下：        
        主语:<主语>        
        谓词:<谓词>        
        宾语:<宾语，可选>            
        """    
text= """维尔纳·赫尔佐格是一位德国电影导演、编剧、作家、演员和歌剧导演，被认为是新德国电影的先驱。"""

附2：中文大模型抽取哪家强？

参考1：【哪个中文开源大模型在信息抽取上效果最好？】

结论：

  • 实体抽取（零样本）：qwen-14B >> Baichuan2-13B > qwen-7B > ChatGLM3-6B
    请添加图片描述

    注意：各模型少样本的性能会普遍强于零样本；

  • 关系抽取（无限制）：qwen-14B > qwen-7B > ChatGLM3-6B>Baichuan2-13B

请添加图片描述

  • 事件抽取：Baichuan2-13B > qwen-14B >>qwen-7B > ChatGLM3-6B

    请添加图片描述

整体来看，Qwen系列确实很强，特别是现在还升级到了2.5系列，在实际使用过程中，体验也不错，可以作为一个不错的基准大模型用于中文领域的信息抽取。

附3：专用于信息抽取的模型

印象中有这几个：

  • UIE：2022，开启基于promt的多任务统一建模方式；

  • InstructUIE：基于指令微调后的UIE？

  • oneKE：https://github.com/zjunlp/DeepKE/tree/main/example/llm/InstructKGC/data

  • UniLM：https://github.com/microsoft/unilm，微软出品，20+Kstar

  • UniIE：https://github.com/AAIG-NLP/UniIE

  • GliNER：https://github.com/urchade/GLiNER，2024新提出。1.5Kstar

  • openNRE：清华出品，基于CNN用于关系抽取？
    待更新…

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/925352.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

LLM*：路径规划的大型语言模型增强增量启发式搜索

LLM*：路径规划的大型语言模型增强增量启发式搜索

路径规划是机器人技术和自主导航中的一个基本科学问题&#xff0c;需要从起点到目的地推导出有效的路线&#xff0c;同时避开障碍物。A* 及其变体等传统算法能够确保路径有效性&#xff0c;但随着状态空间的增长&#xff0c;计算和内存效率会严重降低。相反&#xff0c;大型语言…
阅读更多...
C#基础题总结

C#基础题总结

16.一张单据上有一个5位数的号码为6**42&#xff0c;其中百位数和千位数已模糊不清&#xff0c;但知道该数能被 57 和 67 除尽。设计一个算法&#xff0c;找出该单据所有可能的号码。 17.编程序求2&#xff5e;10000以内的完全数。一个数的因子&#xff08;除了这个数本身&…
阅读更多...
Android数据存储——文件存储、SharedPreferences、SQLite、Litepal

Android数据存储——文件存储、SharedPreferences、SQLite、Litepal

数据存储全方案——详解持久化技术 Android系统中主要提供了3中方式用于简单地实现数据持久化功能&#xff0c;即文件存储、SharedPreference存储以及数据库存储。除了这三种方式外&#xff0c;还可以将数据保存在手机的SD卡中&#xff0c;不给使用文件、SharedPreference或者…
阅读更多...
【动手学电机驱动】STM32-FOC（8）MCSDK Profiler 电机参数辨识

【动手学电机驱动】STM32-FOC（8）MCSDK Profiler 电机参数辨识

STM32-FOC&#xff08;1&#xff09;STM32 电机控制的软件开发环境 STM32-FOC&#xff08;2&#xff09;STM32 导入和创建项目 STM32-FOC&#xff08;3&#xff09;STM32 三路互补 PWM 输出 STM32-FOC&#xff08;4&#xff09;IHM03 电机控制套件介绍 STM32-FOC&#xff08;5&…
阅读更多...
ubuntu 安装proxychains

ubuntu 安装proxychains

在Ubuntu上安装Proxychains&#xff0c;你可以按照以下步骤操作&#xff1a; 1、更新列表 sudo apt-update 2、安装Proxychains sudo apt-get install proxychains 3、安装完成后&#xff0c;你可以通过编辑/etc/proxychains.conf文件来配置代理规则 以下是一个简单的配置示例&…
阅读更多...
ZooKeeper 基础知识总结

ZooKeeper 基础知识总结

先赞后看&#xff0c;Java进阶一大半 ZooKeeper 官网这样介绍道&#xff1a;ZooKeeper 是一种集中式服务&#xff0c;用于维护配置信息、命名、提供分布式同步和提供组服务。 各位hao&#xff0c;我是南哥&#xff0c;相信对你通关面试、拿下Offer有所帮助。 ⭐⭐⭐一份南哥编写…
阅读更多...
visionpro官方示例分析（一） 模板匹配工具 缺陷检测工具

visionpro官方示例分析（一） 模板匹配工具 缺陷检测工具

1.需求&#xff1a;找出图像中的这个图形。 2.步骤 使用CogPMAlignTool工具&#xff0c;该工具是模板匹配工具&#xff0c;见名知意&#xff0c;所谓模板匹配工具就是说先使用该工具对一张图像建立模板&#xff0c;然后用这个模板在其他图像上进行匹配&#xff0c;匹配上了就说…
阅读更多...
代码随想录算法训练营第六十天|Day60 图论

代码随想录算法训练营第六十天|Day60 图论

Bellman_ford 队列优化算法&#xff08;又名SPFA&#xff09; https://www.programmercarl.com/kamacoder/0094.%E5%9F%8E%E5%B8%82%E9%97%B4%E8%B4%A7%E7%89%A9%E8%BF%90%E8%BE%93I-SPFA.html 本题我们来系统讲解 Bellman_ford 队列优化算法 &#xff0c;也叫SPFA算法&#xf…
阅读更多...
LAMP环境的部署

LAMP环境的部署

一、软件安装介绍 在Linux系统中安装软件有rpm安装、yum安装、源码安装等方法&#xff0c;在这里主要给大家介绍 yum 安装&#xff0c;这是一种最简单方便的一种安装方法。 YUM&#xff08;Yellow dog Upadate Modifie&#xff09;是改进版的 RPM 管理器&#xff0c;很好地解…
阅读更多...
搭建文件服务器并使用Qt实现文件上传和下载（带账号和密码）

搭建文件服务器并使用Qt实现文件上传和下载（带账号和密码）

文章目录 0 背景1 搭建文件服务器2 代码实现文件上传和下载2.1 在pro文件中添加网络支持2.2 创建网络管理类2.3 文件上传2.4 文件下载 3 扩展&#xff08;其他方法实现文件上传和下载&#xff09;3.1 python3.2 npm3.3 ftp服务器 4 完整的代码 0 背景 因为需要使程序具备在远程…
阅读更多...
matlab导出3D彩色模型(surface类转stl，并对白模上色)

matlab导出3D彩色模型(surface类转stl，并对白模上色)

在matlab中绘制3维图形时&#xff0c;需要将3维图形导出到PPT中展示。但是直接导出图片效果欠佳&#xff0c;无法全方位展示。 最近学习了如何将matlab中的图形导出为stl模型&#xff0c;然后再采用简单的方法对模型上色。 中间尝试过matlab导出stl、ply、3dm等多种格式&…
阅读更多...
Java项目中加缓存

Java项目中加缓存

Java项目中加缓存 1.更新频率低&#xff1b;但读写频率高的数据很适合加缓存&#xff1b; 2.可以加缓存的地方很多&#xff1a;浏览器的缓存&#xff1b;CDN的缓存&#xff1b;服务器的缓存&#xff1b; 本地内存&#xff1b;分布式远端缓存&#xff1b; 加缓存的时候不要…
阅读更多...
VTK的基本概念（一）

VTK的基本概念（一）

文章目录 三维场景的基本要素1.灯光2.相机3.颜色4.纹理映射 三维场景的基本要素 1.灯光 在三维渲染场景中&#xff0c;可以有多个灯光的存在&#xff0c;灯光和相机是三维渲染场景的必备要素&#xff0c;如果没有指定的话&#xff0c;vtkRenderer会自动创建默认的灯光和相机。…
阅读更多...
【C知道】数据包捕获（wire shark）

【C知道】数据包捕获（wire shark）

请解释一下数据包捕获和分析工具&#xff08;如Wireshark&#xff09;的工作原理和用途。 数据包捕获和分析工具&#xff0c;例如Wireshark&#xff08;以前称为 Ethereal&#xff09;&#xff0c;是一种网络协议分析软件&#xff0c;它允许用户实时监控计算机网络中的数据传输…
阅读更多...
浮点数计算，不丢失精度

浮点数计算，不丢失精度

在js中对于浮点数直接计算会存在精度丢失的情况&#xff0c;为了保证精度问题&#xff0c;可以做如下处理&#xff1a; 浮点数精度计算 主要流程如下&#xff1a; 浮点数转换成整数 示例代码如下 /** 将一个浮点数转成整数&#xff0c;返回整数和倍数。如 3.14 >> 314…
阅读更多...
计算机网络八股整理（三）

计算机网络八股整理（三）

目录 计算机网络八股&#xff08;三&#xff09;传输层1&#xff1a;说一下tcp的头部&#xff1f;2&#xff1a;tcp三次握手的过程说一下&#xff1f;拓展linux中查看tcp状态&#xff1a; 3:tcp为什么需要三次握手建立连接&#xff1f;4&#xff1a;tcp三次握手&#xff0c;如果…
阅读更多...
C#基础控制台程序

C#基础控制台程序

11.有一个54的矩阵&#xff0c;要求编程序求出其中值最大的那个元素的值&#xff0c;以及其所在的行号和列号。 12.从键盘输入一行字符&#xff0c;统计其中有多少个单词&#xff0c;单词之间用空格分隔开。 13.输入一个数&#xff0c;判断它是奇数还是偶数&#xff0c;如果…
阅读更多...
小程序-基于java+SpringBoot+Vue的微信小程序养老院系统设计与实现

小程序-基于java+SpringBoot+Vue的微信小程序养老院系统设计与实现

项目运行 1.运行环境&#xff1a;最好是java jdk 1.8&#xff0c;我们在这个平台上运行的。其他版本理论上也可以。 2.IDE环境&#xff1a;IDEA&#xff0c;Eclipse,Myeclipse都可以。推荐IDEA; 3.tomcat环境&#xff1a;Tomcat 7.x,8.x,9.x版本均可 4.硬件环境&#xff1a…
阅读更多...
LeetCode—74. 搜索二维矩阵（中等）

LeetCode—74. 搜索二维矩阵（中等）

仅供个人学习使用 题目描述&#xff1a; 给你一个满足下述两条属性的 m x n 整数矩阵&#xff1a; 每行中的整数从左到右按非严格递增顺序排列。 每行的第一个整数大于前一行的最后一个整数。 给你一个整数 target &#xff0c;如果 target 在矩阵中&#xff0c;返回 true…
阅读更多...
命令行使用ssh隧道连接远程mysql

命令行使用ssh隧道连接远程mysql

本地电脑A 跳板机B 主机2.2.2.2 用户名 B ssh端口号22 登录密码bbb 远程mysql C 地址 3.3.3.3 端口号3306 用户名C 密码ccc A需要通过跳板机B才能访问C; navicat中配置ssh可以实现在A电脑上访问C 如何实现本地代码中访问C呢? # 假设本地使…
阅读更多...
最新文章

Copyright @ 2022~2023