一篇大模型 Agent 工具使用全面研究综述

使用大型语言模型(LLMs)进行工具学习已成为增强LLMs能力以解决高度复杂问题的一个有希望的范式。尽管这一领域受到越来越多的关注和快速发展,但现有的文献仍然分散,缺乏系统性的组织,为新来者设置了进入障碍。因此对LLMs工具学习方面的现有工作进行全面调查,从两个主要方面展开:

  • (1)为什么工具学习是有益的;

  • (2)如何实现工具学习,以全面理解LLMs的工具学习。

根据工具学习工作流程中的四个关键阶段对文献进行了系统性审查:任务规划、工具选择、工具调用和响应生成。

Paper:Tool Learning with Large Language Models: A Survey
ArXiv:https://arxiv.org/pdf/2405.17935
Code:https://github.com/quchangle1/LLM-Tool-Survey

图1:工具学习发展轨迹的示意图。展示了按出版年份和会议统计的论文,每个会议由一种独特的颜色表示。

对于每个时间段,选择了一些对领域有重大贡献的代表性里程碑研究

图2:总体研究结构框架

技术交流&资料

技术要学会分享、交流,不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了大模型算法面试和技术交流群,相关资料、技术交流&答疑,均可加我们的交流群获取,群友已超过2000人,添加时最好的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。

方式①、微信搜索公众号:机器学习社区,后台回复:加群
方式②、添加微信号:mlc2040,备注:来自CSDN + 技术交流

用通俗易懂的方式讲解系列

  • 重磅来袭!《大模型面试宝典》(2024版) 发布!

  • 重磅来袭!《大模型实战宝典》(2024版) 发布!

  • 用通俗易懂的方式讲解:一文讲透最热的大模型开发框架 LangChain

  • 用通俗易懂的方式讲解:这应该是最全的大模型训练与微调关键技术梳理

  • 用通俗易懂的方式讲解:大模型训练过程概述

  • 用通俗易懂的方式讲解:专补大模型短板的RAG

  • 用通俗易懂的方式讲解:大模型微调方法总结

  • 用通俗易懂的方式讲解:掌握大模型这些优化技术,优雅地进行大模型的训练和推理!

为什么工具学习是有益的?

一方面,将工具整合到LLMs中可以增强多个领域内的能力,即知识获取、专业技能提升、自动化与效率以及交互增强。另一方面,采用工具学习范式可以增强响应的稳健性和生成过程的透明度,从而提高可解释性和用户信任度,以及改善系统的稳健性和适应性

知识获取(Knowledge Acquisition):

  • LLMs 的能力受限于预训练期间学习的知识范围,这些知识是固定的,不能动态更新。

  • 通过集成外部工具,如搜索引擎、数据库和知识图谱、天气或地图工具,LLMs 能够动态获取和整合外部知识,从而提供更准确、与上下文相关的输出。

专业知识增强(Expertise Enhancement):

  • LLMs 在特定领域缺乏专业知识,例如复杂数学计算、编程和科学问题解决。

  • 通过使用在线计算器、数学工具、Python解释器等工具,LLMs 能够执行复杂计算、解决方程式、分析统计数据,从而增强其在专业领域的能力。

自动化和效率(Automation and Efficiency):

  • LLMs 本质上是语言处理器,缺乏独立执行外部操作的能力,如预订会议室或机票。

  • 通过与外部工具集成,LLMs 可以自动化执行任务,如日程安排、设置提醒、过滤电子邮件等,提高实用性和用户交互的效率。

交互增强(Interaction Enhancement):

  • 用户查询具有多样性和多模态性,LLMs 在理解不同类型输入时面临挑战。

  • 利用多模态工具和机器翻译工具,LLMs 可以更好地理解和响应更广泛的用户输入,优化对话管理和意图识别。

增强的可解释性和用户信任(Enhanced Interpretability and User Trust):

  • 当前LLMs的“黑箱”特性导致其决策过程对用户不透明,缺乏可解释性。

  • 通过工具学习,LLMs可以展示决策过程的每一步,增加操作透明度,使用户能够快速识别和理解错误来源,增强对LLMs决策的信任。

改进的鲁棒性和适应性(Improved Robustness and Adaptability):

  • LLMs 对用户输入非常敏感,微小的变化可能导致响应的大幅变化,显示出缺乏鲁棒性。

  • 集成专用工具可以减少对训练数据中统计模式的依赖,提高对输入扰动的抵抗力和对新环境的适应性。

如何实现工具学习?


图3:使用大型语言模型进行工具学习的整体工作流程。左侧部分展示了工具学习的四个阶段:任务规划、工具选择、工具调用和响应生成。

右侧部分展示了两种工具学习范式:一步式任务解决的工具学习和迭代式任务解决的工具学习。

任务规划(Task Planning )

任务规划的重要性:
  • 任务规划是工具学习过程中的首要阶段,它涉及对用户查询的全面分析,以理解用户意图。

  • 用户的问题往往包含复杂的意图,需要被分解为多个可执行的子问题。

任务规划的步骤:
  • 任务分解:将用户的问题分解为多个子问题,这有助于逐步解决复杂问题。

  • 依赖关系和执行顺序:确定子问题之间的依赖关系以及它们应该被执行的顺序。

任务规划的方法:
  • 无需调整的方法(Tuning-free Methods):利用LLMs的内在能力,通过少量示例或零示例提示来实现任务规划。例如,使用CoT(Chain of Thought)或ReACT等框架来引导LLMs逐步思考和规划。

  • 基于调整的方法(Tuning-based Methods):通过在特定任务上微调LLMs来提高任务规划能力。例如,Toolformer等方法通过微调来增强LLMs对工具使用的意识和能力。

工具选择(Tool Selection)

工具选择的重要性:
  • 工具选择是工具学习过程中的关键步骤,它紧接着任务规划阶段。

  • 在这个阶段,需要从可用的工具集中选择最合适的工具来解决特定的子问题。

工具选择的分类:
  • **基于检索器的工具选择(Retriever-based Tool Selection):**当工具库庞大时,使用检索器(如TF-IDF、BM25等)来从大量工具中检索出与子问题最相关的前K个工具。这种方法侧重于通过关键词匹配和语义相似性来快速缩小工具选择范围。

  • **基于LLM的工具选择(LLM-based Tool Selection):**当工具数量有限或者在检索阶段已经缩小了工具范围时,可以直接将工具描述和参数列表与用户查询一起提供给LLM。LLM需要根据用户查询和工具描述来选择最合适的工具。

工具选择的方法:

无需调整的方法(Tuning-free Methods):

利用LLMs的上下文学习能力,通过策略性提示来增强工具选择能力。例如,通过链式思维(Chain of Thought)或ReACT框架来引导LLMs进行推理和行动。

基于调整的方法(Tuning-based Methods):

通过在工具学习数据集上微调LLMs的参数来提高工具选择的能力。例如,Toolbench和TRICE等方法通过微调和行为克隆来增强LLMs的工具使用能力。

工具调用(Tool Calling)

工具调用的重要性:

工具调用是工具学习流程中的第三个阶段,它紧跟在工具选择之后。

在这个阶段,大型语言模型(LLMs)需要根据所选工具的要求提取用户查询中的必要参数,并调用工具服务器获取数据。

工具调用的步骤:
  • 参数提取:LLMs必须能够从用户查询中提取出符合工具描述中指定格式的参数。

  • 调用工具:使用提取的参数向工具服务器发送请求,并接收响应。

工具调用的方法:
  • **无需调整的方法(Tuning-free Methods):**利用少量示例或规则方法来指导LLMs识别和提取参数。例如,Reverse Chain方法通过逆向思维选择工具,然后填充所需参数。

  • 基于调整的方法(Tuning-based Methods):

  • 通过微调LLMs的参数来增强工具调用能力,使用特定的优化技术如LoRA。例如,GPT4Tools通过微调开源LLMs来集成工具使用能力。

响应生成(Response Generation)

响应生成的重要性:
  • 响应生成是工具学习流程中的最后一个阶段,它涉及将工具的输出与LLMs的内部知识结合起来,生成对用户的全面响应。

  • 此阶段的目标是为用户提供准确、相关且有用的回答。

响应生成的方法:
  • 直接插入方法(Direct Insertion Methods): 在早期工作中,直接将工具的输出插入到生成的响应中。这种方法简单直接,但可能因为工具输出的不可预测性而影响用户体验。

  • **信息整合方法(Information Integration Methods):**大多数方法选择将工具的输出作为LLMs的输入上下文,使LLMs能够根据工具提供的信息制定更优质的回答。由于LLMs的上下文长度有限,需要采用不同的策略来处理工具的长输出。

  • 信息整合的策略:

    • 简化输出:使用预创建的模式或文档来简化长输出。

    • 截断输出:将输出截断以适应长度限制,但可能会丢失解决用户查询所需的信息。

    • 压缩信息:开发压缩器将长信息压缩成更简洁的格式,保留最有用的信息。

无模式方法:动态生成函数以根据指令提取目标输出。

工具学习范式(Paradigms of Tool Learning)

工具学习范式:
  • 一步任务解决(Tool Learning with One-step Task Solving): 这种范式涉及到在收到用户问题后,LLMs立即分析用户请求,理解用户意图,并规划出所有需要的子任务来解决问题。

  • 在这个过程中,LLMs会直接生成一个基于选定工具返回结果的响应,而不会考虑过程中可能出现的错误或根据工具的反馈调整计划。

  • 迭代任务解决(Tool Learning with Iterative Task Solving):

  • 这种范式允许LLMs与工具进行迭代交互,不预先承诺一个完整的任务计划。

  • 相反,它允许基于工具的反馈逐步调整子任务,使LLMs能够一步步地解决问题,并根据工具返回的结果不断完善计划。

  • 这种方法增强了LLMs的问题解决能力,因为它允许模型在响应工具反馈时进行适应和学习。

范式的特点:
  • 规划无反馈(Planning without Feedback):在一步任务解决范式中,LLMs在没有反馈的情况下进行规划,这可能导致在面对错误或意外情况时缺乏适应性。

  • 规划有反馈(Planning with Feedback):在迭代任务解决范式中,LLMs的规划过程包括接收和利用来自工具的反馈,这允许更灵活和动态的问题解决。

工具学习评估基准与指标

评估指标(Evaluation)

任务规划评估(Task Planning Evaluation):
  • 工具使用意识(Tool Usage Awareness):评估LLMs是否能够准确识别何时需要使用外部工具。

  • 任务规划效果(Effectiveness of Task Planning):使用通过率(pass rate)或人类评估来衡量任务规划解决查询的有效性。

  • 计划精度(Precision of the Plan):通过与最优解决方案比较,定量分析LLMs生成的计划的准确性。

工具选择评估(Tool Selection Evaluation):
  • 召回率(Recall):衡量模型选择的前K个工具中有多少是正确的。

  • 归一化折扣累积增益(NDCG, Normalized Discounted Cumulative Gain):不仅考虑正面工具的比例,还考虑它们在列表中的位置。

  • 完整性(COMP, Completeness):评估前K个选择的工具是否形成了一个相对于真实集合的完整集合。

工具调用评估(Tool Calling Evaluation):
  • 评估LLMs在执行工具调用功能时的有效性,检查输入参数是否符合工具文档中的规定。
响应生成评估(Response Generation Evaluation):
  • 评估工具学习最终目标,即提高LLMs解决下游任务的能力。

  • 使用诸如ROUGE-L、精确匹配(Exact Match)、F1分数等指标来评估最终响应的质量。

图4:不同基准测试及其具体配置的详细列表。符号①、②、③和④分别代表工具学习的四个阶段——任务规划、工具选择、工具调用和响应生成。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/755267.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Gemma 2大模型:性能更优,效率更高

当地时间6月27日,谷歌正式发布了在一个月前的I/O开发者大会上预告过的Gemma 2大模型。这款新模型相较于第一代Gemma模型,在性能和推理效率上都有了显著的提升,为AI领域带来了新的突破。 据谷歌介绍,Gemma 2模型包括9B和27B两种参…

AIGC->基于扩散模型的图像生成算法 (课程大纲)

https://edu.csdn.net/course/detail/39618?spm=1001.2014.3001.5507https://edu.csdn.net/course/detail/39618?spm=1001.2014.3001.5507 课程特色是围绕着工作中AIGC文生图的具体用途来对文生图领域进行一个高屋建瓴式的分析,结合具体的应用,尤其是产业界的具体实用场景,…

【排序算法】—— 希尔排序

目录 一、希尔排序原理 二、希尔排序的思路 三、希尔排序为什么快 四、如何取增量 五、源码 希尔排序是简单插入排序的一种升级版,它也是用了插入的思想,而插入排序相比冒泡排序和选择排序的效率要高的多,再将它优化为希尔排序后效率跟原…

ONLYOFFICE 桌面编辑器 8.1 发布:全新 PDF 编辑器、幻灯片版式、增强 RTL 支持及更多本地化选项

目录 什么是ONLYOFFICE? ONLYOFFICE 主要特点包括: 官网信息: 1. 功能齐全的 PDF 编辑器 1.1 编辑 PDF 文本 1.2 插入和修改对象 1.3 创建和填写表单 2. 幻灯片版式功能 2.1 快速应用幻灯片版式 2.2 动画窗格的改进 3. 文档编辑、…

Linux—系统安全及应用

目录 一、账号安全控制 1、系统账号清理 1.1、将用户账号设置为无法登录 1.2、锁定长期不使用的账号 1.3、删除无用的账号 1.4、锁定账号文件passwd、shadow 2、密码安全控制 2.1、设置密码有效期 2.1.1、适用于新建用户 2.1.2、适用于已有用户 2.2、强制用户下次登录…

什么是预主密钥(pre-master secret)?

什么是预主密钥(Pre-Master Secret)? 在SSL/TLS协议中,预主密钥(Pre-Master Secret)是建立安全连接的关键要素之一。它在客户端和服务器之间生成共享密钥的过程中扮演重要角色。本文将详细介绍预主密钥的生…

Raylib学习-鼠标检测与GPU缓冲区使用

鼠标左键点击运行绘制 #include <raylib.h>int main() {const int screenWidth 800;const int screenHeight 450;InitWindow(screenWidth, screenHeight, "test"); // 设置帧率SetTargetFPS(150); // 设置一个画布&#xff0c;可以使用GPU进行绘制RenderText…

k8s部署mongodb副本高可用集群

此版本的NFS为单点,仅为练习使用,生产环境建议使用cephfs的卷类型,避免单点。或者通过keepalived加Sersync的方案对NFS作容灾处理即可用于生产环境。当然,对于开发或测试环境,方便起见,直接使用单点的NFS加mongodb statefulSet方案是最为清晰简便的。 mongodb集群部署分…

2024年每个月有哪些数学建模和数学挖掘竞赛?

文章目录 2024年每个月有哪些竞赛&#xff1f;2024年32个数学建模和数据挖掘竞赛重磅来袭&#xff01;&#xff01;&#xff01;2024年数学建模和数学挖掘竞赛时间目录汇总数学建模助手使用一月二月三月四月五月六月七月八月九月十月十一月十二月 2024年每个月有哪些竞赛&#…

Interview preparation--Elasticsearch写入原理与调优

ES的写入过程 ES支持的写操作 create&#xff1a; create操作不同于put操作&#xff0c;put操作的时候如果当前put的数据存在则会被覆盖&#xff0c;如果put操作的时候加上操作类型create&#xff0c;如果数据存在则会返回失败&#xff0c;比如&#xff1a;PUT /pruduct/_cre…

【项目日记(二)】搜索引擎-索引制作

❣博主主页: 33的博客❣ ▶️文章专栏分类:项目日记◀️ &#x1f69a;我的代码仓库: 33的代码仓库&#x1f69a; &#x1faf5;&#x1faf5;&#x1faf5;关注我带你了解更多项目内容 目录 1.前言2.索引结构2.1创捷索引2.2根据索引查询2.3新增文档2.4内存索引保存到磁盘2.5把…

VUE的快速使用

使用步骤 代码 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> </head&…

数据结构历年考研真题对应知识点(串的模式匹配)

目录 4.2串的模式匹配 4.2.2串的模式匹配算法——KMP算法 【KMP 匹配过程中指针变化的分析(2015)】 【KMP 匹配过程中比较次数的分析(2019)】 4.2串的模式匹配 4.2.2串的模式匹配算法——KMP算法 【KMP 匹配过程中指针变化的分析(2015)】 最终得到子串指针变化公式 jnex…

Dahlia Hart: Stylized Casual Character(休闲角色模型)

此包包含两个发型和两个服装&#xff0c;每个都有多种颜色选择。每个发型都适合与物理资源一起使用&#xff0c;并包含各种表情和音素混合形状。 下载&#xff1a;​​Unity资源商店链接资源下载链接 效果图&#xff1a;

OBD诊断(ISO15031) 02服务

文章目录 功能简介请求和响应1、read-supported PIDs1.1、请求1.2、肯定响应 2、read PID value1.1、请求1.2、肯定响应 3、同时请求多个PID4、同时读取多个PID数据 Parameter definition报文示例1、单个PID请求和读取2、多个PID请求和读取 功能简介 02服务&#xff0c;即 Req…

基于CNN卷积神经网络的步态识别matlab仿真,数据库采用CASIA库

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 4.1步态识别系统框架 4.2 CNN原理及数学表述 4.3 CASIA步态数据库 5.算法完整程序工程 1.算法运行效果图预览 (完整程序运行后无水印) 1.训练过程 2.样本库 3.提取的步态能量图 4.步态识…

李商隐,情丝绕指的朦胧诗人

李商隐&#xff0c;字义山&#xff0c;号玉谿生、樊南生&#xff0c;约生于唐宪宗元和八年&#xff08;公元813年&#xff09;&#xff0c;卒于唐宣宗大中十二年&#xff08;公元858年&#xff09;&#xff0c;享年45岁。李商隐生活在晚唐时期&#xff0c;与杜牧合称“小李杜”…

【51单片机入门】矩阵键盘

文章目录 前言矩阵键盘介绍与检测原理原理图代码讲解总结 前言 在嵌入式系统设计中&#xff0c;键盘输入是一种常见的人机交互方式。其中&#xff0c;矩阵键盘因其简单、方便和易于扩展的特性&#xff0c;被广泛应用于各种设备中。本文将介绍如何使用51单片机来实现矩阵键盘的…

微机原理与接口技术:重点内容|计算机系统|学习笔记

系列目录 前言 只将最重要的知识点考点列出来方便学习复习 目录 系列目录前言第1章 微型计算机概述第2章 16位和32位微处理机&#x1f31f;16位微处理器 8086 第3章 Pentium 的指令系统常用指令 第4章 存储器、存储管理和高速缓存技术第5章 微型计算机和外设的数据传输第6章 串…

Java学习 - 布隆过滤器

前置需求 需求 已经有50亿个电话号码&#xff0c;现在给出10万个电话号码&#xff0c;如何快速准确地判断这些电话号码是否已经存在&#xff1f; 参考方案 通过数据库查询&#xff1a;比如MySQL&#xff0c;性能不行&#xff0c;速度太慢将数据先放进内存&#xff1a;50亿*8字…