LangChain学习二：提示-实战（下半部分）

文章目录

  • 上一节内容：LangChain学习二：提示-实战（上半部分）
  • 学习目标：提示词中的示例选择器和输出解释器
  • 学习内容一：示例选择器
    • 1.1 LangChain自定义示例选择器
    • 1.2 实现自定义示例选择器
      • 1.2.1实战：定义一个类继BaseExampleSelector并且承实现方法
      • 1.2.2实战：使用示例选择器
    • 1.3 实现基于长度的选择器
    • 1.4 最大边际相关性示例选择器
    • 1.5 gram重叠
      • 1.5.1 创建示例集
      • 1.5.2 选择示例
        • 1.5.2.1 threshold=-1.0,示例排序、不排除任何示例
        • 1.5.2.2 threshold=0.0,`排除`具有与输入无ngram重叠的示例
        • 1.5.2.3 threshold大于0小于1意味着只有相似度大于 设置值的示例才会被选择
        • 1.5.2.4 threshold大于1,不会选择任何
    • 1.6 相似度
  • 学习内容二：输出解析器

上一节内容：LangChain学习二：提示-实战（上半部分）

LangChain学习二：提示-实战（上半部分）

学习目标：提示词中的示例选择器和输出解释器

  1. 示例选择器：在写提示词的时候给与少量的示例在前面，在上一节的最后提到，这一节细化说一下
  2. 输出解释器：语言模型输出文本。但是很多时候，你可能想要获得比文本更结构化的信息。这就是输出解析器的作用。

学习内容一：示例选择器

1.1 LangChain自定义示例选择器

自定义示例选择器它的英文名叫做few shot examples：就像我们教小朋友一样，比如教小朋友分类水果，先给他演示一下水果怎么分类的，红色的放哪一个框框，白色的放哪一个框框，然后在给它一个新的水果，小朋友根据你教的示范，就会自己去分类了

具体在上一节的2.5有介绍

在这里插入图片描述
在这里插入图片描述

1.2 实现自定义示例选择器

具体步骤如下

  • 定义一个类，继承BaseExampleSelector
  • 实现add_example方法，它接受一个示例并将其添加到该ExampleSelector中。
  • 实现select_examples方法，它接受输入变量（这些变量应为用户输入)，并返回要在few-shot提示中使用的示例列表。

1.2.1实战：定义一个类继BaseExampleSelector并且承实现方法

from langchain.prompts.example_selector.base import BaseExampleSelector
from typing import Dict, List
import numpy as np
 
class CustomExampleSelector(BaseExampleSelector):
 
    def __init__(self, examples: List[Dict[str, str]]):
        self.examples = examples
 
    def add_example(self, example: Dict[str, str]) -> None:
 		"""为密钥添加要存储的新示例。"""
        self.examples.append(example)
 
    def select_examples(self, input_variables: Dict[str, str]) -> List[dict]:
 		"""根据输入选择要使用的示例。 你可以在这里写你自己的算法，我这里就表示随机从examples里拿两个示例，replace表示不会重复"""
        return np.random.choice(self.examples, size=2, replace=False)

1.2.2实战：使用示例选择器

 
examples = [
    {"foo": "1"},
    {"foo": "2"},
    {"foo": "3"}
]
 
# 初始化示例选择器。
example_selector = CustomExampleSelector(examples)
 
#选择示例
example_selector.select_examples({"foo": "foo"})
# -> array([{'foo': '2'}, {'foo': '3'}], dtype=object)
 
# 将新示例添加到示例集
example_selector.add_example({"foo": "4"})
print(f"======查看现在有哪些示例\n{example_selector.examples}\n")
# -> [{'foo': '1'}, {'foo': '2'}, {'foo': '3'}, {'foo': '4'}]
 
# 选择示例
llm_example=example_selector.select_examples({"foo": "foo"})
print(f"======选择示例\n{llm_example}\n")

在这里插入图片描述
在这里插入图片描述
因为这里选择写的是随机的，所以这里就是随机的找两条

1.3 实现基于长度的选择器

总长度是由max_length控制的，如果我们输入的长一些，就会少从examples 拿一些，输入短，则反之

from langchain import PromptTemplate, FewShotPromptTemplate

# 首先，创建少数快照示例的列表。
from langchain.prompts import LengthBasedExampleSelector

examples = [
    {"word": "开心", "antonym": "悲伤"},
    {"word": "高", "antonym": "低"},
]


# 接下来，我们指定模板来格式化我们提供的示例。
# 为此，我们使用“PromptTemplate”类。
example_formatter_template = """
单词: {word}
反义词: {antonym}\n
"""
example_prompt = PromptTemplate(
    input_variables=["word", "antonym"],
    template=example_formatter_template,
)
#我们将使用' LengthBasedExampleSelector '来选择示例。
example_selector = LengthBasedExampleSelector(
    # 这些是可供选择的例子。
    examples=examples,
    #这是用于格式化示例的PromptTemplate。
    example_prompt=example_prompt,
    # 这是格式化示例的最大长度。
    # 长度由下面的get_text_length函数测量。
    max_length=25,
)
# 我们现在可以使用' example_selector '来创建' FewShotPromptTemplate '。
dynamic_prompt = FewShotPromptTemplate(
    # We provide an ExampleSelector instead of examples.
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="给出每个输入的反义词",
    suffix="单词: {input}\n反义词:",
    input_variables=["input"],
    example_separator="",
)

# We can now generate a prompt using the `format` method.
print(dynamic_prompt.format(input="大"))

在这里插入图片描述
这个是上一节举的例子，当然上一节没有提到现在的示例添加新的示例方法

#您也可以将示例添加到示例选择器中。
new_example = {"word": "大", "antonym": "小"}
dynamic_prompt.example_selector.add_example(new_example)
print(dynamic_prompt.format(input="多"))

在这里插入图片描述

1.4 最大边际相关性示例选择器

这种示例选择器基于与输入之间的边际相关性来选择示例。它计算每个示例与输入之间的相关性，并选择具有最高相关性的示例作为回答。

这种方法适用于输入和示例之间有很强相关性的情况，例如问答系统中的问题和答案。

这里我们要借助一个类MaxMarginalRelevanceExampleSelector

MaxMarginalRelevanceExampleSelector：基于哪些示例与输入最相似以及优化多样性的组合选择示例。

这里我们用m3e-base作为向量化引擎
下载

from modelscope.hub.snapshot_download import snapshot_download

local_dir_root = "/root/autodl-tmp/models_from_modelscope"
snapshot_download('Jerry0/m3e-base', cache_dir=local_dir_root)

from langchain.prompts.example_selector import MaxMarginalRelevanceExampleSelector
from langchain.vectorstores import FAISS
from langchain.embeddings import OpenAIEmbeddings
from langchain.embeddings import HuggingFaceEmbeddings
from langchain.prompts import FewShotPromptTemplate, PromptTemplate
embeddings = HuggingFaceEmbeddings(
model_name = "/root/autodl-tmp/models_from_modelscope/Jerry0/m3e-base",
model_kwargs = {'device': 'cuda'})
example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="Input: {input}\nOutput: {output}",
)
 
#这是许多创建反义词的假装任务的例子。
examples = [
    {"input": "开心", "output": "悲伤"},
    {"input": "发呆", "output": "兴奋"},
    {"input": "高", "output": "底"},
    {"input": "精力充沛的", "output": "无精打采"},
    {"input": "晴天", "output": "雨天"},
    {"input": "天上", "output": "地下"},
]


example_selector = MaxMarginalRelevanceExampleSelector.from_examples(
    #这是可供选择的示例列表。
    examples, 
    #这是用于生成用于测量语义相似性的嵌入的嵌入类。
    embeddings, 
    #这是VectorStore类，用于存储嵌入并进行相似性搜索。
    FAISS, 
    #这是要生成的示例数。
    k=2
)
mmr_prompt = FewShotPromptTemplate(
    #我们提供了ExampleSelector而不是示例。
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="给出每个输入的反义词",
    suffix="Input: {adjective}\nOutput:", 
    input_variables=["adjective"],
)
 
    
# 输入是一种感觉，所以应该选择快乐/悲伤的例子作为第一个
print(mmr_prompt.format(adjective="快乐"))

在这里插入图片描述

1.5 gram重叠

其实是对1.4的补充和优化

我们需要借助一个NGramOverlapExampleSelector的类，然后根据ngram重叠得分选择和排序示例.

该得分表示示例与输入的相似程度

ngram重叠得分是一个介于0.0和1.0之间的浮点数。

  • 选择器允许设置阈值得分。 ngram重叠得分小于或等于阈值的示例将被排除。默认情况下，阈值设置为-1.0，因此不会排除任何示例，只会对它们进行重新排序。

  • 将阈值设置为0.0将排除具有与输入无ngram重叠的示例

1.5.1 创建示例集

pip install nltk

from langchain.prompts import PromptTemplate
from langchain.prompts.example_selector.ngram_overlap import NGramOverlapExampleSelector
from langchain.prompts import FewShotPromptTemplate, PromptTemplate


# 创建模板
example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="输入: {input}\n输出: {output}",
)
#示例集合：这些是虚构翻译任务的例子：英语转化为葡萄牙语

examples = [
    {"input": "See Spot run.", "output": "Ver correr a Spot."},
    {"input": "My dog barks.", "output": "Mi perro ladra."},
    {"input": "Spot can run.", "output": "Spot puede correr."},
]

1.5.2 选择示例

1.5.2.1 threshold=-1.0,示例排序、不排除任何示例
example_prompt = PromptTemplate(
    input_variables=["input", "output"],
    template="Input: {input}\nOutput: {output}",
)
example_selector = NGramOverlapExampleSelector(
    # 以下是可供选择的示例。
    examples=examples, 
    # 这是用于格式化示例的PromptTemplate。
    example_prompt=example_prompt, 
    # 这是选择器停止的阈值。
    # 默认情况下，它设置为-1.0。
    threshold=-1.0,
	#对于负阈值：
	
	#Selector按ngram重叠分数对示例进行排序，不排除任何示例。
	
	#对于大于1.0的阈值：
	
	#选择器排除所有示例，并返回一个空列表。
	
	#对于等于0.0的阈值：
	
	#Selector根据ngram重叠分数对示例进行排序，
	
	#并且排除与输入没有ngram重叠的那些。
)
dynamic_prompt = FewShotPromptTemplate(
    # We provide an ExampleSelector instead of examples.
    example_selector=example_selector,
    example_prompt=example_prompt,
    prefix="提供每个Input的西班牙语翻译",
    suffix="Input: {sentence}\nOutput:", 
    input_variables=["sentence"],
)

 

#一个与“Spot can run”有较大ngram重叠的示例输入
#与“我的狗叫”没有重叠
print(dynamic_prompt.format(sentence="Spot can run fast."))

在这里插入图片描述
让我们添加示例，再来一次

new_example = {"input": "Spot plays fetch.", "output": "Spot juega a buscar."}
 
example_selector.add_example(new_example)
print(dynamic_prompt.format(sentence="Spot can run fast."))

在这里插入图片描述

我们可以看到 他确实进行了排序，我们的问题是，Spot跑的飞快

而且第一个是Spot可以跑，第二个看见Spot跑，第三个Spot在玩游戏
第四个：我的狗再叫

第三第四个很明显不符合，所以在最后

1.5.2.2 threshold=0.0,排除具有与输入无ngram重叠的示例
example_selector.threshold=0.0
print(dynamic_prompt.format(sentence="Spot can run fast."))

在这里插入图片描述
这里就把第三第四给排除了

1.5.2.3 threshold大于0小于1意味着只有相似度大于 设置值的示例才会被选择

example_selector.threshold=0.09
print(dynamic_prompt.format(sentence="Spot can play fetch."))

在这里插入图片描述

1.5.2.4 threshold大于1,不会选择任何

1.0 + 1e-9 的结果是 1.000000001，即在 1.0 的基础上增加了一个非常小的数 1e-9。这种写法通常是为了解决在计算机中浮点数运算可能产生的精度问题。

在这段代码中，将 example_selector.threshold 的值设为 1.0+1e-9，其实就是设置一个非常接近于 1.0，但又比它略大一点点的阈值。这样做可能会使得更多的示例被选择，因为在相似度计算中可能存在一些舍入误差或计算误差，导致某些本来应该被选择的示例未能被选中。

example_selector.threshold=1.0+1e-9
print(dynamic_prompt.format(sentence="Spot can play fetch."))

在这里插入图片描述
这里只会显示我们输入的，不会选择任何示例

1.6 相似度

  最大边际相关性 ExampleSelector 和 相似度 ExampleSelector 都是示例选择器，它们的区别在于选择示例的方法不同。

  相似度 ExampleSelector 则使用文本相似度度量来选择最相关的示例。它不仅考虑了输入和示例之间的相关性，还考虑了它们之间的相似度。具体而言，它计算输入和示例之间的相似度，然后选择与输入最相似的示例作为回答。这种方法适用于输入和示例之间没有直接的相关性，但它们在语义或形式上非常相似的情况，例如聊天机器人对话中的语句。

最大边际相关性 ExampleSelector：

  • 基于输入与示例之间的边际相关性来选择示例。
  • 计算每个示例与输入之间的相关性，并选择具有最高相关性的示例作为回答。
  • 适用于输入和示例之间有明显相关性的情况，例如问答系统中的问题和答案。

相似度 ExampleSelector：

  • 使用文本相似度度量来选择最相关的示例。
  • 不仅考虑输入和示例之间的相关性，还考虑它们之间的相似度。
  • 计算输入和示例之间的相似度，然后选择与输入最相似的示例作为回答。
  • 适用于输入和示例之间没有直接的相关性，但在语义或形式上非常相似的情况，例如聊天机器人对话中的语句。

总结：
最大边际相关性 ExampleSelector 关注输入与示例之间的相关性，而相似度 ExampleSelector 则重点考虑它们之间的相似度。两种选择器在选择示例时的侧重点不同，适用于不同的应用场景和数据特征。

说白了就是通过找到嵌入与输入具有最大余弦相似度的示例，然后迭代地添加它们，同时筛选它们与已选择示例的接近程度来实现这一目的。

其实这里《LangChain学习一：模型-实战》中文本嵌入有介绍，这里我们在复习一下

  就是说从很多的示例集中，我们通过向量的方式去找到示例里和我们提的问题语义相近的内容作为示例，然后在给大模型，这里就不啰嗦介绍了，那一节里介绍的比较全

学习内容二：输出解析器

未完成待续，明晚继续，睡觉

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/240482.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

EMT（light sr）：Efficient Mixed Transformer for Single Image Super-Resolution

EMT（light sr）：Efficient Mixed Transformer for Single Image Super-Resolution

EMT 论文地址：Efficient Mixed Transformer for Single Image Super-Resolution 代码地址：Fried-Rice-Lab/EMT: Efficient Mixed Transformer for Single Image Super-Resolution (github.com) 摘要 ​ 最近，基于 Transformer 的方法在单…
阅读更多...
Unity 修改游戏对象的旋转角度Rotation的方法

Unity 修改游戏对象的旋转角度Rotation的方法

在Unity中要修改游戏对象中的旋转角度，即下图中的Rotation: 有三个方法： 1、 使用欧拉角（Euler Angles）：欧拉角是一组表示旋转的三个角度值（绕X轴的旋转、绕Y轴的旋转和绕Z轴的旋转）。 transf…
阅读更多...
word中表格跨页

word中表格跨页

有时候在word中输入内容后，出现断开情况，如下图 处理的方法是，选中表格，右击选项，在行--允许跨页断行勾选即可
阅读更多...
妙手ERP特色功能来袭：上线Lazada包邮营销功能，全方位助力卖家高效引流！

妙手ERP特色功能来袭：上线Lazada包邮营销功能，全方位助力卖家高效引流！

包邮是线上消费者作出购买决策的重要因素，据Lazada平台调研显示：73%的受访者希望商品免费配送，有84%的消费者使用过Lazada包邮优惠券，其中75%的消费者对此感到满意。由此可见，包邮已成为打动东南亚消费者下单的主要原因…
阅读更多...
【教程】如何将重要文件进行混淆和加密

【教程】如何将重要文件进行混淆和加密

怎么保护苹果手机移动应用程序ipa中文件安全？ ios应用程序存储一些图片，资源，配置信息，甚至敏感数据如用户信息、证书、私钥等。这些数据怎么保护呢？可以使用iOS提供的Keychain来保护敏感数据，也可以使用加…
阅读更多...
智选假日酒店大中华区迎来开业、在建500家里程碑

智选假日酒店大中华区迎来开业、在建500家里程碑

“90后”先锋品牌，智选假日酒店在华实现骄人突破，成就非凡 2023年12月12日，中国上海 — 洲际酒店集团今日宣布，旗下中高端精选服务品牌智选假日酒店迎来大中华区的开业和在建酒店数量突破500家这一发展里程碑。智选假日酒店凭借其…
阅读更多...
深入理解Java关键字volatile

深入理解Java关键字volatile

前置知识-了解以下CPU结构 如下图所示，每个CPU都会有自己的一二级缓存，其中一级缓存分为数据缓存和指令缓存，这些缓存的数据都是从内存中读取的，而且每次都会加载一个cache line，关于cache line的大小可以使用命令cat…
阅读更多...
Oracle（2-17） RMAN Maintenance

Oracle（2-17） RMAN Maintenance

文章目录 一、基础知识1、Retention Policy 保留政策2、Recovery Window - Part 1 恢复窗口-第1部分3、Cross Checking 交叉检查4、The CROSSCHECK Command CROSSCHECK命令5、OBSOLETE VS EXPIRED 过时与过期6、Deleting Backups and Copies 删除备份和副本7、The DELETE Comma…
阅读更多...
如何使用内网穿透实现iStoreOS软路由R4S公网远程访问局域网电脑桌面

如何使用内网穿透实现iStoreOS软路由R4S公网远程访问局域网电脑桌面

最近，我发现了一个超级强大的人工智能学习网站。它以通俗易懂的方式呈现复杂的概念，而且内容风趣幽默。我觉得它对大家可能会有所帮助，所以我在此分享。点击这里跳转到网站。 文章目录 简介一、配置远程桌面公网地址二、家中使用永久固定地址…
阅读更多...
【生物信息学】scRNA-seq数据分析（一）：质控~细胞筛选~高表达基因筛选

【生物信息学】scRNA-seq数据分析（一）：质控~细胞筛选~高表达基因筛选

文章目录 一、实验介绍二、实验环境1. 配置虚拟环境2. 库版本介绍 三、实验内容0. 导入必要的库1. 质控2. 细胞筛选3. 高表达基因筛选 一、实验介绍 质控~ 细胞筛选 ~高表达基因筛选 二、实验环境 1. 配置虚拟环境 可使用如下指令： conda create -n bio python3.…
阅读更多...
vue文件下载请求blob文件流token失效的问题

vue文件下载请求blob文件流token失效的问题

页面停留很久token失效没有刷新页面，这时候点击下载依然可以导出文件，但是文件打不开且接口实际上返回的是401，这是因为文件下载的方式通过window创建a标签的形式打开的，并没有判断token失效问题 const res await this.$axios.…
阅读更多...
java开发的智能聊天机器人_超级AI_支持自动绘画功能

java开发的智能聊天机器人_超级AI_支持自动绘画功能

支持Web、Android、IOS、H5等多终端应用。它使用OpenAI的ChatGPT模型实现智能聊天机器人，并支持绘图自动生成Vincent图。未来还将接入国内大型AI模型，如文心一言、统一千问、MOSS等模型，并不断更新以满足用户需求。 AI大脑软件中的AI绘画功能…
阅读更多...
SpringBoot中MyBatis-Flex的集成和使用

SpringBoot中MyBatis-Flex的集成和使用

一、MyBatis-Flex 是什么​ MyBatis-Flex是一个基于MyBatis的数据访问框架，专门为Flex应用程序而设计的。它提供了一种灵活而高效的方式来处理Flex应用程序中的数据访问，可以轻松地连接到各种数据源，并提供了一些方便的工具和功能&#xff0c…
阅读更多...
【NSX-T】3.搭建NSX-T环境 —— 以 Compute Manager 的形式注册 vCenter Server

【NSX-T】3.搭建NSX-T环境 —— 以 Compute Manager 的形式注册 vCenter Server

目录 3. 以 Compute Manager 的形式注册 vCenter Server补充说明 参考资料 3. 以 Compute Manager 的形式注册 vCenter Server （1）在 NSX 用户界面主页上，依次选择 System > Configuration > Fabric > Compute Managers &#xff0…
阅读更多...
博客社区资讯APP源码/开源知识付费社区小程序源码/资源社区源码/独有付费阅读+兼容安卓苹果

博客社区资讯APP源码/开源知识付费社区小程序源码/资源社区源码/独有付费阅读+兼容安卓苹果

源码简介： 博客社区资讯APP源码，它是开源知识付费小程序源码，作为资源社区源码，它具有独有付费阅读兼容安卓苹果。它是Typecho后端的。 知识付费社区RuleApp多内容发布，后端基于Typoche博客程序开发带完整安装文档 竟…
阅读更多...
蓝桥杯第一场强者挑战赛（C）SOSdp

蓝桥杯第一场强者挑战赛（C）SOSdp

之前在cf上面接触过SOSdp（子集dp），这里就碰到了。 思路： 异或运算即非进位加法运算，因此如果需要进位的话，那么就无法满足题意，因此条件弱化为不需要进位，也就是不存在同一位上面都是…
阅读更多...
为什么要禁止除GET和POST之外的HTTP方法

为什么要禁止除GET和POST之外的HTTP方法

一， HTTP请求有哪些 GET和POST是最为常见方法，而且大部分主流网站只支持这两种方法，因为它们已经可以满足功能需求。 GET获取服务器资源POST用来像服务器指定的URL的资源提交数据。其余方法一般服务器不会响应，并抛出404或405. …
阅读更多...
Spring的IOC容器初始化流程

Spring的IOC容器初始化流程

Spring的IOC容器初始化流程 IOC容器初始化在SpringApplication对象创建完毕执行run方法时执行refreshContext()时开始。 准备BeanFactory，设置其类加载器和environment等 执行BeanFactory后置处理器，扫描要放入容器的Bean信息，得到对应的Bea…
阅读更多...
Linux命令——软件包管理

Linux命令——软件包管理

软件包管理 一、yum list二、yum install三、yum remove 总结 博主最近项目上线，操作了linux系统，感觉命令很容易遗忘，因此总结一下，本文记录的是linux中相关的软件包管理命令 如果是新建立的虚拟机，可能需要安装某些软…
阅读更多...
Python 自动化之批量处理文件（一）

Python 自动化之批量处理文件（一）

批量新建目录、文档Pro版本 文章目录 批量新建目录、文档Pro版本前言一、做成什么样子二、基本思路1.引入库2.基本架构 三、用户输入模块四、数据处理模块1.excel表格数据获取2.批量数据的生成 总结 前言 我来写一个不一样的批量新建吧。在工作中，有些同学应该会遇…
阅读更多...
最新文章

Copyright @ 2022~2023