基于大模型和向量数据库的 RAG 示例

1        RAG 介绍

RAG 是一种先进的自然语言处理方法，它结合了信息检索和文本生成技术，用于提高问答系统、聊天机器人等应用的性能。

2        RAG 的工作流程

  1. 文档加载（Document Loading）

    • 从各种来源加载大量文档数据。
    • 这些文档将作为知识库，用于后续的信息检索。

  2. 文档分割（Document Splitting）

    • 将加载的文档分割成更小的段落或部分。
    • 这有助于提高检索的准确性和效率。

  3. 嵌入向量生成（Embedding Generation）

    • 对每个文档或文档的部分生成嵌入向量。
    • 这些嵌入向量捕捉文档的语义信息，方便后续的相似度比较。

  4. 写入向量数据库（Writing to Vector Database）

    • 将生成的嵌入向量存储在一个向量数据库中。
    • 数据库支持高效的相似度搜索操作。

  5. 查询生成（Query Generation）

    • 用户提出一个问题或输入一个提示。
    • RAG 模型根据输入生成一个或多个相关的查询。

  6. 文档检索（Document Retrieval）

    • 使用生成的查询在向量数据库中检索相关文档。
    • 选择与查询最相关的文档作为信息源。

  7. 上下文融合（Context Integration）

    • 将检索到的文档内容与原始问题或提示融合，构成扩展的上下文。

  8. 答案生成（Answer Generation）

    • 基于融合后的上下文，RAG 生成模型产生最终的回答或文本。
    • 这一步骤旨在综合原始输入和检索到的信息。

3        准备环境

3.1        向量数据库环境

已经通过百度向量数据库测试申请的才能访问创建，地址：VectorDB 向量数据库官网页-百度智能云

1        创建百度向量数据库实例，注意需要地域，可用区需要和 BCC 保持在同一个 VPC 内。 地址：百度智能云-向量数据库

image1.png

2        创建成功后，通过实例详情页查看访问的地址信息和账号信息，用于访问操作向量数据库。如例子截图，访问信息如下：

# 访问地址格式：http://${IP}:${PORT}
访问地址：http://192.168.20.4:5287
账号：root
密钥：xxxx

image2.png

image3.png

3.2         开通千帆 Embedding 模型

千帆模型开通付费之后才能使用，开通不会产生费用，且有代金券赠送

1        开通千帆 Embedding 模型的收费，地址： 百度智能云千帆大模型平台

image4.png

2        右上角个人中心的安全认证里面提取用于鉴权调用 Embedding 模型的 Access Key 和 Secret Key

image5.png

3.3        客户端环境

3.3.1        数据准备和写入

本例子使用的是 bcc 计算型 c5 2c4g 实例基于 Centos 系统作为例子，但不仅限于 bcc，只要是同 vpc 内的服务器产品都可以。已经有 BCC 客户端的用户忽略步骤 1。

1        创建 BCC 客户端。 地址：百度智能云

image6.png

2        登录创建的实例进行环境准备，部署安装 python 环境和搭建知识库所必须的依赖包，

# 安装 python 3.9
yum install -y python39
# langchain 依赖包，用于把文本数据转化为向量数据。
pip3.9 install langchain
# pymochow 依赖包，用于访问和操作百度向量数据库。
pip3.9 install pymochow
# qianfan 依赖包，用于访问千帆大模型。
pip3.9 install qianfan
# pdfplumber 依赖包，加载除了 pdf 文档。
pip3.9 install pdfplumber
# 创建项目目录
mkdir -p knowledge/example_data && cd knowledge

3        上传一个 PDF 文件到 knowledge/example_data 目录下

4        创建访问的配置文件

# config.py
import os
from pymochow.auth.bce_credentials import BceCredentials

# 定义配置信息
account = 'root'
api_key = '修改为你的密钥'
endpoint = '修改为之前记录的访问地址，如 http://192.168.20.4:5287'

# 初始化BceCredentials对象
credentials = BceCredentials(account, api_key)

# 设置千帆AI平台的安全认证信息（AK/SK），通过环境变量
# 注意替换以下参数为您的Access Key和Secret Key
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"

5        创建 document 数据库

import pymochow
from pymochow.configuration import Configuration
import config  # 导入配置文件

config_obj = Configuration(credentials=config.credentials, endpoint=config.endpoint)
client = pymochow.MochowClient(config_obj)

try:
    db = client.create_database("document")
except Exception as e:  # 捕获所有类型的异常
    print(f"Error: {e}")  # 打印异常信息
db_list = client.list_databases()
for db_name in db_list:
    print(db_name.database_name)
client.close()

6        创建 chunks 数据表

import time
import pymochow  # 导入pymochow库，用于操作数据库
from pymochow.configuration import Configuration  # 用于配置客户端
import config  # 导入配置文件，包含身份验证和终端信息

# 导入pymochow模型相关的类和枚举类型
from pymochow.model.schema import Schema, Field, VectorIndex, SecondaryIndex, HNSWParams
from pymochow.model.enum import FieldType, IndexType, MetricType, TableState
from pymochow.model.table import Partition

# 使用配置文件中的信息初始化客户端
config_obj = Configuration(credentials=config.credentials, endpoint=config.endpoint)
client = pymochow.MochowClient(config_obj)

# 选择或创建数据库
db = client.database("document")

# 定义数据表的字段
fields = [
    Field("id", FieldType.UINT64, primary_key=True, partition_key=True, auto_increment=False, not_null=True),
    Field("source", FieldType.STRING),
    Field("author", FieldType.STRING, not_null=True),
    Field("vector", FieldType.FLOAT_VECTOR, dimension=384)
]

# 定义数据表的索引
indexes = [
    VectorIndex(index_name="vector_idx", field="vector", index_type=IndexType.HNSW, metric_type=MetricType.L2, params=HNSWParams(m=32, efconstruction=200)),
    SecondaryIndex(index_name="author_idx", field="author")
]

# 尝试创建数据表，捕获并打印可能出现的异常
try:
    table = db.create_table(table_name="chunks", replication=3, partition=Partition(partition_num=1), schema=Schema(fields=fields, indexes=indexes))
except Exception as e:  # 捕获所有类型的异常
    print(f"Error: {e}")  # 打印异常信息

# 轮询数据表状态，直到表状态为NORMAL，表示表已准备好
while True:
    time.sleep(2)  # 每次检查前暂停2秒，减少对服务器的压力
    table = db.describe_table("chunks")
    if table.state == TableState.NORMAL:  # 表状态为NORMAL，跳出循环
        break
    time.sleep(10)  # 如果状态不是NORMAL，等待更长时间再次检查

# 打印数据表的详细信息
print("table: {}".format(table.to_dict()))

client.close()  # 关闭客户端连接

7        从 PDF 文档中加载数据、将文档内容分割为更小的文本块以及利用千帆 AI 平台的接口来对文本进行向量化表示，并且写到 chunks 表，本例子会用小的文档作为例子，用户可以根据实际情况加载。

# 导入必要的库
from langchain_community.document_loaders import PDFPlumberLoader  # 用于加载PDF文档
from langchain.text_splitter import RecursiveCharacterTextSplitter  # 用于文本分割
import os  # 用于操作系统功能，如设置环境变量
import qianfan  # 千帆AI平台SDK
import time  # 用于暂停执行，避免请求频率过高
import pymochow
import config  # 导入配置文件
from pymochow.model.table import Row # 用于写入向量数据
from pymochow.configuration import Configuration


# 加载PDF文档
loader = PDFPlumberLoader("./example_data/ai-paper.pdf")  # 指定PDF文件路径
documents = loader.load()  # 加载文档
print(documents[0])  # 打印加载的第一个文档内容

# 设置文本分割器，指定分割的参数
# chunk_size定义了每个分割块的字符数，chunk_overlap定义了块之间的重叠字符数
# separators列表定义了用于分割的分隔符
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=384, 
    chunk_overlap=0, 
    separators=["\n\n", "\n", " ", "", "。", "，"]
)
all_splits = text_splitter.split_documents(documents)  # 对文档进行分割
print(all_splits[0])  # 打印分割后的第一个块内容

emb = qianfan.Embedding()  # 初始化嵌入模型对象

embeddings = []  # 用于存储每个文本块的嵌入向量
for chunk in all_splits:  # 遍历所有分割的文本块
    # 获取文本块的嵌入向量，使用默认模型Embedding-V1
    resp = emb.do(texts=[chunk.page_content])
    embeddings.append(resp['data'][0]['embedding'])  # 将嵌入向量添加到列表中
    time.sleep(1)  # 暂停1秒，避免请求过于频繁
print(embeddings[0])  # 打印第一个文本块的嵌入向量

# 逐行写入向量化数据
rows = []
for index, chunk in enumerate(all_splits):
    row = Row(
        id=index,
        source=chunk.metadata["source"],
        author=chunk.metadata["Author"],
        vector=embeddings[index]
    )
    rows.append(row)
# 打印第一个Row对象转换成的字典格式，以验证数据结构
print(rows[0].to_dict())

# 读取数据库配置文件，并且初始化连接
config_obj = Configuration(credentials=config.credentials, endpoint=config.endpoint)
client = pymochow.MochowClient(config_obj)

# 选择或创建数据库
db = client.database("document")

try:
    table = db.describe_table("chunks")
    table.upsert(rows=rows) # 批量写入向量数据，一次最多支持写入1000条
    table.rebuild_index("vector_idx") # 创建向量索引，必要步骤
except Exception as e:  # 捕获所有类型的异常
    print(f"Error: {e}")  # 打印异常信息
client.close()

当打印到如下的数据证明你写入成功了。

image7.png

3.3.2        文档检索

1        基于标量的检索

import pymochow
from pymochow.configuration import Configuration
import config  # 导入配置文件

config_obj = Configuration(credentials=config.credentials, endpoint=config.endpoint)
client = pymochow.MochowClient(config_obj)

# 选择或创建数据库
db = client.database("document")

try:
    table = db.describe_table("chunks")
    primary_key = {'id': 0}
    projections = ["id", "source", "author"]
    res = table.query(
        primary_key=primary_key, 
        projections=projections, 
        retrieve_vector=True
    )
except Exception as e:  # 捕获所有类型的异常
    print(f"Error: {e}")  # 打印异常信息

print(res)
client.close()

结果显示如下：

image8.png

2        基于向量的检索

import os
import config
import pymochow
import qianfan
from pymochow.configuration import Configuration
from pymochow.model.table import AnnSearch, HNSWSearchParams

# 初始化千帆AI平台的嵌入模型对象
emb = qianfan.Embedding()

# 定义待查询的问题文本
question = "讲解下大模型的发展趋势"

# 获取问题文本的嵌入向量
resp = emb.do(texts=[question])
question_embedding = resp['data'][0]['embedding']

# 使用配置信息初始化向量数据库客户端
config_obj = Configuration(credentials=config.credentials, endpoint=config.endpoint)
client = pymochow.MochowClient(config_obj)

# 选择数据库
db = client.database("document")

try:
    # 获取指定表的描述信息
    table = db.describe_table("chunks")
    # 构建近似最近邻搜索对象
    anns = AnnSearch(
        vector_field="vector",  # 指定用于搜索的向量字段名
        vector_floats=question_embedding,  # 提供查询向量
        params=HNSWSearchParams(ef=200, limit=1)  # 设置HNSW算法参数和返回结果的限制数量
    )
    # 执行搜索操作
    res = table.search(anns=anns)
    # 打印搜索结果
    print(res)
except Exception as e:  # 捕获并打印所有异常信息
    print(f"Error: {e}")

# 关闭客户端连接
client.close()

3        基于标量和向量的混合检索

import os
import config
import pymochow
import qianfan
from pymochow.configuration import Configuration
from pymochow.model.table import AnnSearch, HNSWSearchParams

# 初始化千帆AI平台的嵌入模型对象
emb = qianfan.Embedding()

# 定义待查询的问题文本
question = "讲解下大模型的发展趋势"

# 获取问题文本的嵌入向量
resp = emb.do(texts=[question])
question_embedding = resp['data'][0]['embedding']

# 使用配置信息初始化向量数据库客户端
config_obj = Configuration(credentials=config.credentials, endpoint=config.endpoint)
client = pymochow.MochowClient(config_obj)

# 选择数据库
db = client.database("document")

try:
    # 获取指定表的描述信息
    table = db.describe_table("chunks")
    # 构建近似最近邻搜索对象
    anns = AnnSearch(
        vector_field="vector",  # 指定用于搜索的向量字段名
        vector_floats=question_embedding,  # 提供查询向量
        params=HNSWSearchParams(ef=200, limit=1),  # 设置HNSW算法参数和返回结果的限制数量
        filter="author='CNKI'" # 提供标量的过来条件
    )
    # 执行搜索操作
    res = table.search(anns=anns)
    # 打印搜索结果
    print(res)
except Exception as e:  # 捕获并打印所有异常信息
    print(f"Error: {e}")

# 关闭客户端连接
client.close()

当然后续还需要上下文融合和答案生成，可以基于百度文心大模型的能力实现，本文篇幅有限就不详细展开了。

原文链接：千帆+Langchain+VectorDB 建立简单的 RAG 示例 - 向量数据库 - 设计架构

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/462198.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

操作系统——cpu、内存、缓存介绍

操作系统——cpu、内存、缓存介绍

一、内存是什么 内存就是系统资源的代名词，它是其他硬件设备与 CPU 沟通的桥梁， 计算机中的所有程序都在内存中运行。其作用是暂时存放CPU的运算数据，以及与硬盘交换的数据。也是相当于CPU与硬盘沟通的桥梁。只要计算机在运行，CP…
阅读更多...
应对恶意IP攻击的有效方法

应对恶意IP攻击的有效方法

在当今数字化时代，网络攻击已经成为了互联网安全的重大挑战之一。恶意IP攻击是网络安全领域中的一种常见威胁，它可能导致数据泄露、服务中断、系统瘫痪等严重后果。因此，有效地应对恶意IP攻击至关重要。IP数据云将深入探讨如何应对恶意IP攻击…
阅读更多...
android中单例模式为什么会引起内存泄漏？

android中单例模式为什么会引起内存泄漏？

单例模式使用不恰当会造成内存泄漏。因为单例的静态特性使得单例的生命周期和应用的生命周期一样长， 如果一个对象已经不需要使用了，但是单例对象还持有该对象的引用，那么这个对象就不能被正常回收，因此会导致内存泄漏。 举个例子： ①新建一个工程。 ②配置好LeakCanary检…
阅读更多...
SpringBoot Servlet容器启动解析

SpringBoot Servlet容器启动解析

介绍 容器架构 容器处理请求 容器启动全局流程解析 启动前准备 WebServer创建入口 WebServer创建 Servlet启动 Web容器工厂类加载解析 Web容器个性化配置 属性注入 工厂类初始化 BeanPostProcessor方法实现 定制化流程 面试题 请描述下Servlet容器启动流程？介绍下…
阅读更多...
下载程序到嵌入式开发板教程

下载程序到嵌入式开发板教程

一、设置共享目录 ubuntu与Window共同拥有的目录。 第一步：在Windows下创建一个文件夹share 第二部：点击虚拟机--->设置--->选项--->共享文件夹 进入共享目录的命令：cd/mnt/hgfs/share 二、C语言编译器 使用Linux平台下的gcc编…
阅读更多...
发一下接口自动化测试框架（python3+requests+excel）

发一下接口自动化测试框架（python3+requests+excel）

Git： https://github.com/lilinyu861/Interface-Test 环境配置： 开发工具：pycharm2018Excel 开发框架：python3requestsexcel 接口自动化测试框架介绍： 此接口测试框架，首先由用户设计原始的测试用例并为…
阅读更多...
爬虫 某物流

爬虫 某物流

目标地址 url "https://api.jdl.com/aging/feeInquiryNewByJDL" 加密参数 ciphertext和data 搜关键字ciphertext跟着栈走 很明显的DES加密 window globalconst e require(jsencrypt); // const e require(JSEncrypt) // e r(775).JSEncrypt // const t requi…
阅读更多...
学点Java打小工_Day4_数组_冒泡排序

学点Java打小工_Day4_数组_冒泡排序

1 数组基本概念 程序算法数据结构 算法：解决程序的流程步骤 数据结构：将数据按照某种特定的结构来存储 设计良好的数据结构会导致良好的算法。 ArrayList、LinkedList 数组是最简单的数据结构。 数组：存放同一种类型数据的集合，在…
阅读更多...
三.使用java的API文档

三.使用java的API文档

在Java中，API是指“应用程序接口”（Application Programming Interface）。Java API是Java编程语言中提供的类和接口的集合，用于开发各种类型的应用程序。类比C的STL（标准模板库）。 通俗理解就当做些封装好…
阅读更多...
Leet code 179 最大数

Leet code 179 最大数

解题思路 贪心算法 贪心算法就是走一步看一步 每一步都取当前位置的最优解 这题我们该如何贪呢？ 我们先把int数组转换为string数组 以示例2为例 3 30 34 5 9 排序哪个在前哪个在后？ 3 30 （330）> 30 3 （30…
阅读更多...
从阿里云降价，看中国云计算创新之变

从阿里云降价，看中国云计算创新之变

继“疯狂星期四”历史级大降价后，阿里云“AI驱动、公共云优先”的战略布局再落一子。 近日，阿里云与菜鸟、高德地图、中远海运、东航物流、圆通速递、申通快递、中通快递、德邦快递、G7易流、地上铁、浙江大学智能交通研究所等共同发起成立“物流智能联…
阅读更多...
2024-03-14 Android app runOnUiThread 函数，它的作用是让一个Runnable对象在主线程（UI线程）上运行。

2024-03-14 Android app runOnUiThread 函数，它的作用是让一个Runnable对象在主线程（UI线程）上运行。

一、看到别人app有这么一个runOnUiThread 函数用法。 二、在Android中，runOnUiThread 是一个非常重要的方法，它的作用是让一个Runnable对象在主线程（UI线程）上运行。在Android中，主线程是负责更新UI的线程，…
阅读更多...
【零基础学习06】嵌入式linux驱动中PWM驱动基本实现

【零基础学习06】嵌入式linux驱动中PWM驱动基本实现

大家好，今天给大家分享一下，如何利用PWM外设来实现LCD背光调节，本次实验使用Linux系统中PWM控制器以及PWM子系统来控制对应的功能。 第一：设备树下PWM控制节点 PWM对应的节点信息如下： pwm3: pwm@02088000 {compatible = "fsl,imx6ul-pwm", "fsl,imx27-pwm…
阅读更多...
分享30秒就能制作3D翻页的电子画册工具

分享30秒就能制作3D翻页的电子画册工具

​想象一下，你手中的照片或设计稿，在几秒钟内变得栩栩如生，仿佛每一页都在你眼前真实翻动着。这不仅是一种视觉享受，更是一种全新的互动体验。 那要怎么实战操作呢？按照我说的去做就很SO EASY 啦 1.首先点击FLBOOK在…
阅读更多...
学习开发小程序的起航日记

学习开发小程序的起航日记

2024年3月16日 不知不觉中三月份还只剩了一半的光景，我想写的内容还很多没有写，或者更应该说，是想积累的还有很多。现在最应该去完善Java的内容，可还是想先等等。想等搞清楚小程序部分，想等积累完小程序的内容。 这几…
阅读更多...
STM32-Flash闪存

STM32-Flash闪存

简介 STM32F1系列的FLASH包含程序存储器、系统存储器和选项字节三个部分，通过闪存存储器接口（外设）可以对程序存储器和选项字节进行擦除和编程。 读写Flash的用途 1.利用程序存储器的剩余空间来保存掉电不丢失的用户数据。 2.通过在程序中…
阅读更多...
145 Linux 网络编程1 ，协议，C/S B/S ,OSI 7层模型，TCP/IP 4层模型，

145 Linux 网络编程1 ，协议，C/S B/S ,OSI 7层模型，TCP/IP 4层模型，

一 协议的概念 从应用的角度出发，协议可理解为“规则”，是数据传输和数据的解释的规则。 典型协议 传输层 常见协议有TCP/UDP协议。 应用层 常见的协议有HTTP协议，FTP协议。 网络层 常见协议有IP协议、ICMP协议、IGMP协议。 网络接口层 常…
阅读更多...
多种智能搜索算法可视化还原 3D 魔方

多种智能搜索算法可视化还原 3D 魔方

一、写在前面 许久没有写图形化界面的程序了，最近学习了一些经典的盲目搜索算法与智能搜索算法，正好拿来还原三阶魔方！试试手！ 提前声明 我不是专业搞人工智能的，理论或者实现过程有些许错误也很正常，评论…
阅读更多...
c语言按位与，按位或，按位异或，按位取反

c语言按位与，按位或，按位异或，按位取反

1、按位与& 按位与的实现逻辑是相同为1，相异为0； 2、按位或 | 按位或的实现逻辑是有1为1，无一为0； 3、按位异或 ^ 按位或的实现逻辑是相同为0，相异为1； 4、按位取反 ~ 按位取反的实现逻辑是0改1&am…
阅读更多...
Linux网络编程: IP协议详解

Linux网络编程: IP协议详解

一、TCP/IP五层模型 物理层（Physical Layer）：物理层是最底层，负责传输比特流（bitstream）以及物理介质的传输方式。它定义了如何在物理媒介上传输原始的比特流，例如通过电缆、光纤或无线传输等。…
阅读更多...
最新文章

Copyright @ 2022~2023