[书生·浦语大模型实战营]——第三节：茴香豆：搭建你的 RAG 智能助理

0.RAG 概述

定义：RAG（Retrieval Augmented Generation）技术，通过检索与用户输入相关的信息片段，并结合外部知识库来生成更准确、更丰富的回答。解决 LLMs 在处理知识密集型任务时可能遇到的挑战, 如幻觉、知识过时和缺乏透明、可追溯的推理过程等。提供更准确的回答、降低推理成本、实现外部记忆。
在这里插入图片描述
RAG 能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用的茴香豆应用，就应用了 RAG 技术，可以快速、高效的搭建自己的知识领域助手。

1.环境配置

1.1 配置基础环境

和上一章基本一致，创建环境的命令如下：

studio-conda -o internlm-base -t InternLM2_Huixiangdou

激活

conda activate InternLM2_Huixiangdou

1.2 下载基础文件

所使用的模型都已经在share文件夹中了，这里直接创建软链接

# 复制BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1

# 复制大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

安装其他依赖

pip install protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==0.1.14 loguru==0.7.2 lxml_html_clean==0.1.0 openai==1.16.1 openpyxl==3.1.2 pandas==2.2.1 pydantic==2.6.4 pymupdf==1.24.1 python-docx==1.1.0 pytoml==0.1.21 readability-lxml==0.8.1 redis==5.0.3 requests==2.31.0 scikit-learn==1.4.1.post1 sentence_transformers==2.2.2 textract==1.6.5 tiktoken==0.6.0 transformers==4.39.3 transformers_stream_generator==0.0.5 unstructured==0.11.2

从github克隆茴香豆

cd /root
# 克隆代码仓库
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout ded0551

2. 使用茴香豆搭建 RAG 助手

2.1修改配置文件

用已下载模型的路径替换 /root/huixiangdou/config.ini 文件中的默认模型，需要修改 3 处模型地址，分别是:
命令行输入下面的命令，修改用于向量数据库和词嵌入的模型：

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini

用于检索的重排序模型

sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini

选用的大模型

sed -i '31s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

注意：这里教程写的是29行，推荐自己点开文件看看是多少行，我这里是31行

2.2创建知识库

使用 InternLM 的 Huixiangdou 文档作为新增知识数据检索来源，在不重新训练的情况下，打造一个 Huixiangdou 技术问答助手。
（1）下载Huixiangdou 语料

cd /root/huixiangdou && mkdir repodir
git clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

（2）提取知识库特征，创建向量数据库。
数据库向量化的过程应用到了 LangChain (一个大模型编程框架)的相关模块，默认嵌入和重排序模型调用的网易 BCE 双语模型。
此外茴香豆还会建立接受和拒答两个向量数据库，用来在检索的过程中更加精确的判断提问的相关性，这两个数据库的来源分别是：

  • 接受问题列表（希望茴香豆助手回答的示例问题）：
    存储在 huixiangdou/resource/good_questions.json 中
  • 拒绝问题列表（希望茴香豆助手拒答的示例问题）：
    存储在 huixiangdou/resource/bad_questions.json 中

增加茴香豆相关的问题到接受问题示例中，运行代码如下

cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.json

echo '[
    "mmpose中怎么调用mmyolo接口",
    "mmpose实现姿态估计后怎么实现行为识别",
    "mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作",
    "在mmdetection中，如何同时加载两个数据集，两个dataloader",
    "如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？",
    "1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，",
    "mmpose 测试 map 一直是 0 怎么办？",
    "如何使用mmpose检测人体关键点？",
    "我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注",
    "如何生成openmmpose的c++推理脚本",
    "mmpose",
    "mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件",
    "mmpose可以实现行为识别吗，如果要实现的话应该怎么做",
    "我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了",
    "mac m1从源码安装的mmpose是x86_64的",
    "想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？",
    "huixiangdou 是什么？",
    "使用科研仪器需要注意什么？",
    "huixiangdou 是什么？",
    "茴香豆 是什么？",
    "茴香豆 能部署到微信吗？",
    "茴香豆 怎么应用到飞书",
    "茴香豆 能部署到微信群吗？",
    "茴香豆 怎么应用到飞书群",
    "huixiangdou 能部署到微信吗？",
    "huixiangdou 怎么应用到飞书",
    "huixiangdou 能部署到微信群吗？",
    "huixiangdou 怎么应用到飞书群",
    "huixiangdou",
    "茴香豆",
    "茴香豆 有哪些应用场景",
    "huixiangdou 有什么用",
    "huixiangdou 的优势有哪些？",
    "茴香豆 已经应用的场景",
    "huixiangdou 已经应用的场景",
    "huixiangdou 怎么安装",
    "茴香豆 怎么安装",
    "茴香豆 最新版本是什么",
    "茴香豆 支持哪些大模型",
    "茴香豆 支持哪些通讯软件",
    "config.ini 文件怎么配置",
    "remote_llm_model 可以填哪些模型?"
]' > /root/huixiangdou/resource/good_questions.json

创建测试用问询列表，用来测试拒答流程是否起效

cd /root/huixiangdou

echo '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

运行下面的命令，创建 RAG 检索过程中使用的向量数据库：

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir 

# 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

检索流程：
检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索 top K 相似的 chunk，综合问题和检索到的 chunk 生成答案。

问题：

ModuleNotFoundError: No module named 'duckduckgo_search'

解决方案：
pip安装就好了

pip install duckduckgo_search

2.3 运行茴香豆知识助手

运行命令行

# 填入问题
sed -i '74s/.*/    queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py

# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

RAG相当于外挂了一个额外的知识数据库，优点在于可以非参数化的模型调优。

运行截图
在这里插入图片描述

3.茴香豆进阶

3.1加入网络搜索

添加网络搜索需要用到Serper提供的API。
流程如下：
1.登录Serper,注册
2.进入 Serper API 界面，复制自己的 API-key：
3.替换 /huixiangdou/config.ini 中的 ${YOUR-API-KEY} 为自己的API-key

注意是[web_search]块的API

Tips：通过调整domain_partial_order 可以设置网络搜索的范围
在这里插入图片描述

3.2使用远程模型

目前茴香豆支持Kimi，GPT-4，Deepseek 和 GLM 等常见大模型API。
1.启用远端模型，修改 /huixiangdou/config.ini 文件中

在这里插入图片描述

2.修改 remote_ 相关配置，填写 API key、模型类型等参数。
这里可以选择kimi，去官网注册一个账号就可以申请到API
在这里插入图片描述

3.3 利用 Gradio 搭建网页 Demo

1.首先，安装 Gradio 依赖组件：

pip install gradio==4.25.0 redis==5.0.3 flask==3.0.2 lark_oapi==1.2.4

2.运行脚本，启动茴香豆对话 Demo 服务：

cd /root/huixiangdou
python3 -m tests.test_query_gradio

3.结果展示
在这里插入图片描述

问题：
回答的不正确,有很多问题没法回答，且回答很慢
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/645381.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

栈的实现(C语言)

栈的实现(C语言)

文章目录 前言1.栈的概念及结构2.栈的实现3.具体操作3.1.初始化栈(StackInit)和销毁栈(StackDestory)3.2.入栈(StackPush)和出栈(StackPop)3.3.获得栈的个数(StackSize)、获得栈顶元素(StackTop)以及判空(StackEmpty) 前言 前段时间我们学习过了链表和顺序表等相关操作&#x…
阅读更多...
【全网最全】2024电工杯数学建模A题54页A题保奖成品论文+配套代码

【全网最全】2024电工杯数学建模A题54页A题保奖成品论文+配套代码

您的点赞收藏是我继续更新的最大动力！ 一定要点击如下的卡片链接，那是获取资料的入口！ 【全网最全】2024电工杯数学建模A题成品论文前三题完整解答matlabpy代码等（后续会更新成品论文）「首先来看看目前已有的资料&am…
阅读更多...
《Ai学习笔记》自然语言处理 (Natural Language Processing)：机器阅读理解-基础概念解析01

《Ai学习笔记》自然语言处理 (Natural Language Processing)：机器阅读理解-基础概念解析01

自然语言处理 (Natural Language Processing)： NLP四大基本任务 序列标注： 分词、词性标注 分类任务： 文本分类、情感分析 句子关系：问答系统、对话系统 生成任务：机器翻译、文章摘要 机器阅读理解的定义 Machi…
阅读更多...
用LabVIEW进行CAN通信开发流程

用LabVIEW进行CAN通信开发流程

本文详细介绍了在LabVIEW中开发CAN（Controller Area Network）通信的流程，包括硬件配置、软件编程和调试步骤。重点讨论了开发过程中需要注意的问题，如节点配置、数据帧格式和错误处理等，为开发高效可靠的CAN通信应用提…
阅读更多...
[C++]debug介绍+debug时如何查看指针指向内存处的值

[C++]debug介绍+debug时如何查看指针指向内存处的值

一、简介 预备工具和知识：使用使用VSCode使用Debug。 本文简介：本文将简要介绍debug中Continue，Step Over，Step Into和Restart的功能。并介绍如何在debug时查看动态内存地址（指针）的值； 二、D…
阅读更多...
npm 错误,ERESOLVE unable to resolve dependency tree

npm 错误,ERESOLVE unable to resolve dependency tree

npm 错误,ERESOLVE unable to resolve dependency tree 在命令中增加 --legacy-peer-dep 选项或者–force npm install --legacy-peer-depsnpm install --force
阅读更多...
Mysql 找出未提交事务的SQL及死锁

Mysql 找出未提交事务的SQL及死锁

未提交事务： 通过查看information_schema.INNODB_TRX视图,您可以了解当前系统中正在运行的事务情况,从而进行问题排查和性能优化。 SELECT * FROM information_schema.innodb_trx; 通过trx_state为RUNNIG,trx_started判断是否有一直RUNNING的事务。 如果有未提交…
阅读更多...
MySQL 8.4.0 LTS 变更解析：I_S 表、权限、关键字和客户端

MySQL 8.4.0 LTS 变更解析：I_S 表、权限、关键字和客户端

↑ 关注“少安事务所”公众号，欢迎⭐收藏，不错过精彩内容~ MySQL 8.4.0 LTS 已经发布 ，作为发版模型变更后的第一个长期支持版本，注定要承担未来生产环境的重任，那么这个版本都有哪些新特性、变更，接下来少…
阅读更多...
企业如何正确地利用LLM大模型？

企业如何正确地利用LLM大模型？

大型语言模型 (LLM) 不值得信任。就是这样。 考虑到它们先进的 AI 能力以及当今强大的基础模型的普遍知识，这似乎是一件令人惊讶的事情。然而，问题的关键在于 LLM 无法解释其输出。你不能信任 LLM 的结果，不是因为它不准确，而是因…
阅读更多...
如何解决mfc110udll丢失的问题,7个方法可解决mfc110udll丢失

如何解决mfc110udll丢失的问题,7个方法可解决mfc110udll丢失

mfc110u.dll是一个动态链接库文件，属于Microsoft Visual C 2012 Redistributable Package的一部分。它是Microsoft Foundation Classes (MFC) 库的一个版本，专门用于支持基于MFC开发的应用程序运行。MFC是一个用于Windows操作系统上使用C进行本机应用程序…
阅读更多...
[书生·浦语大模型实战营]——第二节：轻松玩转书生·浦语大模型趣味 Demo

[书生·浦语大模型实战营]——第二节：轻松玩转书生·浦语大模型趣味 Demo

1. 部署InternLM2-Chat-1.8B 模型进行智能对话 1.1配置环境 创建开发机 Intern Studio 官网网址：https://studio.intern-ai.org.cn/ 进入官网后，选择创建开发机，填写 开发机名称 后，点击 选择镜像 使用 Cuda11.7-conda 镜像&am…
阅读更多...
JVM堆分配中TLAB分配方案

JVM堆分配中TLAB分配方案

个人博客 JVM堆分配中TLAB分配方案 | iwts’s blog Java对象的内存分配过程如何保证线程安全 对象的内存分配过程中，主要流程是将对象的引用指向一个具体的内存区域，然后进行初始化操作。 但是，因为堆是全局共享的，因此在同一…
阅读更多...
自建公式，VBA在Excel中轻松获取反义词

自建公式，VBA在Excel中轻松获取反义词

自建公式，VBA在Excel中轻松获取反义词 文章目录 前言一、爬取网站数据二、代码1.创建数据发送及返回方法2.汉字转UTF8编码2.获取反义词 三、运行效果截图 前言 小学语文中，近义词、反义词是必考内容之一。家长不能随时辅导怎么办？有VBA&…
阅读更多...
谷歌浏览器安装devtools工具

谷歌浏览器安装devtools工具

在浏览器中输入极简插件，然后打开如下的网页，在搜素框中输入vue 出现下图 点击推荐下载 （地址：https://chrome.zzzmh.cn/info/nhdogjmejiglipccpnnnanhbledajbpd） 打开谷歌浏览器如图 选择“扩展程序” 点开之后&…
阅读更多...
Python实现xml解析并输出到Excel上

Python实现xml解析并输出到Excel上

1.编写xml文件 2.使用Python的ElementTree模块来解析XML import xml.etree.ElementTree as ET from openpyxl import Workbook # 解析XML函数 def parse_xml(xml_file):tree ET.parse(xml_file)root tree.getroot() --打开根节点data []for user in root.findall(Users/Us…
阅读更多...
微信小程序毕业设计-学生知识成果展示与交流系统项目开发实战(附源码+演示视频+LW)

微信小程序毕业设计-学生知识成果展示与交流系统项目开发实战(附源码+演示视频+LW)

大家好！我是程序猿老A，感谢您阅读本文，欢迎一键三连哦。 💞当前专栏：微信小程序毕业设计 精彩专栏推荐👇🏻👇🏻👇🏻 🎀 Python毕业设计…
阅读更多...
python文件处理之os模块和shutil模块

python文件处理之os模块和shutil模块

目录 1.os模块 os.path.exists(path)：文件或者目录存在与否判断 os.path.isfile(path)：判断是否是文件 os.path.isdir(path)：判断是否是文件夹 os.remove(path)：尝试删除文件 os.rmdir(path)：尝试删除目录 os.m…
阅读更多...
程序员分享好用的工具，用来用去还是觉得这几款软件最实用

程序员分享好用的工具，用来用去还是觉得这几款软件最实用

大家好，我是程序员大猩猩。 作为一个程序员，除了经常要使用到的开发工具，如：Jetbrains家的IntelliJ IDEA以及它家族工具，如WebStorm、PhpStorm和GoLand都是非常好的语言开发工具。 相对于语言开发工具，我…
阅读更多...
【LLM多模态】综述Visual Instruction Tuning towards General-Purpose Multimodal Model

【LLM多模态】综述Visual Instruction Tuning towards General-Purpose Multimodal Model

note 文章目录 note论文1. 论文试图解决什么问题2. 这是否是一个新的问题3. 这篇文章要验证一个什么科学假设4. 有哪些相关研究？如何归类？谁是这一课题在领域内值得关注的研究员？5. 论文中提到的解决方案之关键是什么？6. 论文中的…
阅读更多...
民宿bug

民宿bug

前端 后端 1 订单管理 订单日期已过，状态没有变成已完成
阅读更多...
最新文章

Copyright @ 2022~2023