PromptEngineering：ReAct 框架（LangChain 使用的 Agents 框架）

今天介绍 ReAct 框架，前面介绍的提示工程技术除了 CoT 大家可能很少接触到，那么今天的主角会稍有名气。ReAct 是著名工具 LangChain 最主要的代理类型。

ReAct 的全称是《语言模型中的协同推理和同步》[1]，论文名字是《ReAct: Synergizing Reasoning and Acting in Language Models 》[2]。

ReAct 由 Shunyu Yao 等人 2022年10月提出，用以解决语言模型语言理解和交互式决策制定等任务中推理（例如思维链提示）和行动（例如行动计划生成）能力结合的问题。

背景

虽然大型语言模型（LLM）在语言理解和交互式决策制定等任务中表现出了令人印象深刻的能力，但它们的推理（例如思维链提示）和行动（例如行动计划生成）能力主要作为单独的主题进行研究。

使用 LLM 以交错的方式生成推理轨迹和特定于任务的动作，从而实现两者之间更大的协同作用： 推理轨迹帮助模型归纳、跟踪和更新行动计划以及处理异常，而操作允许它与外部源（例如知识库或环境）交互，以收集附加信息。

简而言之就是先利用 LLM 的推理能力，如果某个步骤 LLM 不能很好的解决，那么就和外部资源（文档、物联网、数据库、代码执行等）交互，以获取额外的信息，得到更好的答案。

在这里插入图片描述

下面是 ReAct 学术上的战绩：

问答和事实验证

在问答（HotpotQA[3]）和事实验证（Fever[4]）方面， ReAct 通过与简单的维基百科 API 交互，克服了思维链推理中普遍存在的幻觉和错误传播问题，并生成类似人类的任务解决轨迹，比没有推理痕迹的基线更容易解释。

决策

在两个交互式决策基准（ALFWorld[5] 和 WebShop[6]）上， ReAct 的表现优于模仿和强化学习方法，绝对成功率分别为 34% 和 10%，同时仅用一两个上下文示例进行提示。

代码

ReAct 网站[7] 也开放了代码，Github 地址为：https://github.com/ysymyth/ReAct[8] ，大家可以运行代码来重新任务测试结果或者来定制自己的项目。

在这里插入图片描述

ReAct 和 CoT/ACT 对比

在这里插入图片描述

ReAct 测试结果

当然，几乎不会有人真的去运行 ReAct 的代码（虽然很方便），但是不妨看一眼，他的主要部分，拿 HotpotQA 问答数据集的代码为例：

在这里插入图片描述

谁是小李子的女朋友?她现在的年龄加到0.43次方是多少?

注意：ReAct 和前面文章介绍的 ART 一样，不同的任务会有不同的提示模板（相当于任务库）。

ReAct 和 LangChain

最简单或者最流行的实践 ReAct 的方法肯定是用 LangChain 的示例[9]了。

LangChain 默认使用 ReAct 实现代理逻辑，所以也不需要关注怎么实现，直接看效果就好了。

首先引入包，使用 OpenAI 作为语言模型，同时加载一些工具。

from langchain.agents import load_tools
from langchain.agents import initialize_agent
from langchain.agents import AgentType
from langchain.llms import OpenAI

llm = OpenAI(temperature=0)
tools = load_tools(["serpapi", "llm-math"], llm=llm)

接下来创建代理执行器，代理执行器内部会根据 ReAct 的原理去帮我们拆解任务，并调用工具。

agent_executor = initialize_agent(
  tools, 
  llm, 
  agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, 
  verbose=True
)

接下来我们问他一个奇怪的问题：

agent_executor.invoke({"input": "谁是小李子的女朋友?她现在的年龄加到0.43次方是多少?"})

以为我们刚刚开启了 verbose=True，所以可以看到详细的输出：

> Entering new AgentExecutor chain...
 我得查出里奥·迪卡普里奥的女朋友是谁然后算出她的年龄的0.43次方.
Action: Search
Action Input: "小李子女朋友"
Observation: 模特 维多利亚·塞雷蒂
Thought: 我要找出 维多利亚·塞雷蒂 的年龄
Action: Search
Action Input: "维多利亚·塞雷蒂的年龄"
Observation: 25 years
Thought: 我需要计算25的0.43次方
Action: Calculator
Action Input: 25^0.43
Observation: Answer: 3.991298452658078
Thought: 我知道了最终的方案
Final Answer: 小李子的女朋友是维多利亚·塞雷蒂，她现在的年龄是3.991298452658078的0.43次方.

> Finished chain.

{'input': "谁是小李子的女朋友?她现在的年龄加到0.43次方是多少?",
 'output': "小李子的女朋友是维多利亚·塞雷蒂，她现在的年龄是3.991298452658078的0.43次方."}

可以看到过程如下，不断重复 Action+ Input -> 结果 -> 下一个想法，一直到找到最终答案。

在这里插入图片描述

谁是小李子的女朋友?她现在的年龄加到0.43次方是多少?

结语

虽然 Prompt Engineering 这个系列主要介绍提示工程的理论和技术，但是这些看起来不那么贴地气的技术，正在真真切切改变这个世界。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望