基于OneAPI+ChatGLM3-6B+FastGPT搭建LLM大语言模型知识库问答系统

搭建大语言模型知识库问答系统

    • 部署OneAPI
    • 部署一个LLM模型
    • 部署嵌入模型
    • 部署FastGPT
    • 新建FastGPT对话应用
    • 新建 FastGPT 知识库应用

部署OneAPI

拉取镜像

docker pull justsong/one-api

创建挂载目录

mkdir -p /usr/local/docker/oneapi

启动容器

docker run --name one-api -d --restart always -p 3001:3000 -e TZ=Asia/Shanghai -v /usr/local/docker/oneapi:/data justsong/one-api

访问IP:3001
在这里插入图片描述
注意：

用户默认root 密码默认123456，首次登录后务必修改密码

在这里插入图片描述
创建接口令牌API Key备用

根据需要配置，这里点击“永不过期”+“设为无限额度”

在这里插入图片描述

项目地址: One API

部署一个LLM模型

下载ChatGLM3项目

git clone https://github.com/THUDM/ChatGLM3

创建conda环境

cd /work/ChatGLM3

conda create -n ChatGLM3 python=3.10

conda activate ChatGLM3

编辑ChatGLM3/openai_api_demo/api_server.py文件，指定LLM模型、嵌入模型位置

相关模型可以从huggingface下载

# set LLM path
MODEL_PATH = os.environ.get('MODEL_PATH', '/root/work/models/chatglm3-6b')
TOKENIZER_PATH = os.environ.get("TOKENIZER_PATH", MODEL_PATH)

# set Embedding Model path
EMBEDDING_PATH = os.environ.get('EMBEDDING_PATH', '/root/work/models/bge-large-zh')

启动项目

(ChatGLM3) root@master:~/work/ChatGLM3/openai_api_demo# python api_server.py 
Setting eos_token is not supported, use the default one.
Setting pad_token is not supported, use the default one.
Setting unk_token is not supported, use the default one.
Loading checkpoint shards: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5/5 [00:04<00:00,  1.07it/s]
INFO:     Started server process [517231]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)

在OneAPI中创建一个渠道，并使用事先创建的API Key
在这里插入图片描述
注意：

当完成下面部署FastGPT操作后，可以测试对接是否成功。前提：这里配置的模型名称ChatGLM3-6B需要与在部署FastGPT中的fastgpt/config.json文件中配置模型名称一致。具体参考下面新建FastGPT对话应用操作。

在这里插入图片描述

部署嵌入模型

这里使用m3e嵌入模型

docker pull registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

在运行容器的时候调用GPU，直接使用--gpus all参数指定即可

 docker run -d -p 6008:6008 --name m3e --gpus all registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

接入One API，添加一个渠道，根据官方参数说明如下：

设置安全凭证

默认值：sk-aaabbbcccdddeeefffggghhhiiijjjkkk

也可以通过环境变量引入：sk-key

注意：渠道对应鉴权密匙一定是sk-aaabbbcccdddeeefffggghhhiiijjjkkk

在这里插入图片描述

测试服务

这里将出现404异常，原因：由于不是对话生成模型（/v1/chat/completions）所以会404

在这里插入图片描述
进一步验证，查看容器内部运行日志信息

root@master:~/work/# docker logs -f friendly_feistel
No sentence-transformers model found with name ./moka-ai_m3e-large. Creating a new one with MEAN pooling.
INFO:     Started server process [1]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:6008 (Press CTRL+C to quit)
本次加载模型的设备为GPU:  Tesla V100S-PCIE-32GB
INFO:     172.17.0.1:59468 - "POST /v1/chat/completions HTTP/1.1" 404 Not Found

到这里，嵌入模型准备完毕，在接下来接入FastGPT即可。

部署FastGPT

具体部署可参考官方文档：FastGPT

创建挂载目录

mkdir -p /usr/local/docker/fastgpt

下载文件

curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml

curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

在项目fastgpt目录中，创建mongo密钥

openssl rand -base64 756 > ./mongodb.key
chmod 600 ./mongodb.key
chown 999:root ./mongodb.key

root@master:/usr/local/docker/fastgpt# ls
config.json  docker-compose.yml mongodb.key

执行命令拉取容器镜像

docker-compose pull

启动容器

 docker-compose up -d

初始化 Mongo 副本集(4.6.8以前可忽略)

# 查看 mongo 容器是否正常运行
docker ps

# 进入容器
docker exec -it mongo bash

# 连接数据库
mongo -u myname -p mypassword --authenticationDatabase admin

# 初始化副本集。如果需要外网访问，mongo:27017 可以改成 ip:27017。但是需要同时修改 FastGPT 连接的参数（MONGODB_URI=mongodb://myname:mypassword@mongo:27017/fastgpt?authSource=admin => MONGODB_URI=mongodb://myname:mypassword@ip:27017/fastgpt?authSource=admin）
rs.initiate({
  _id: "rs0",
  members: [
    { _id: 0, host: "mongo:27017" }
  ]
})


# 检查状态。如果提示 rs0 状态，则代表运行成功
rs.status()

访问IP:3000
在这里插入图片描述
注意：

用户默认 root

密码默认 1234

密码设置修改：docker-compose.yml 文件中的 DEFAULT_ROOT_PSW

    environment:
      # root 密码，用户名为: root
      - DEFAULT_ROOT_PSW=1234

在这里插入图片描述
配置docker-compose.yml文件，使用 OneAPI接口、令牌

注意：这里地址指向OneAPI地址，令牌使用上面创建的令牌。

    environment:
      # root 密码，用户名为: root
      - DEFAULT_ROOT_PSW=1234
      # 中转地址，如果是用官方号，不需要管。务必加 /v1
      - OPENAI_BASE_URL=http://192.168.5.210:3001/v1
      - CHAT_API_KEY=sk-CwH3lQk0CCiUdalf3d41A405C9Ca4359991e213d0bC5B13b

重启FastGPT容器

docker-compose up -d

新建FastGPT对话应用

接下来配置FastGPT，修改fastgpt/config.json文件，复制一份gpt-3.5-turbo配置，修改为ChatGLM
在这里插入图片描述

注意：这里配置的model值ChatGLM3-6B需要与渠道中配置的模型名称一致

重启FastGP 容器

docker restart fastgpt

访问IP:3000/,新建FastGPT应用

取一个名称，从模板选择，这里选择“简单的对话”，点击“确认创建”按钮。

在这里插入图片描述
选择上面配置的ChatGLM模型，然后点击“保存并预览”
在这里插入图片描述
对话测试，输入问题，点击图标发送
在这里插入图片描述

新建 FastGPT 知识库应用

知识库需要使用嵌入模型，所以需要提前进行配置。

修改fastgpt/config.json配置文件，在vectorModels 中加入M3E模型：
在这里插入图片描述

注意：这里配置的model值m3e-large需要与渠道中配置的模型名称一致

重启FastGPT容器

docker restart fastgpt

在知识库菜单栏，创建一个知识库，同时取一个名称，选择索引模型
在这里插入图片描述
向demo知识库导入数据
在这里插入图片描述
根据具体需求，进行配置数据处理参数
在这里插入图片描述
当上传数据训练完毕就绪后即可使用
在这里插入图片描述

新建知识库，取个名字，从模板选择知识库+对话引导
在这里插入图片描述
配置AI模型与关联知识库后，保存并预览，然后即可开始进行知识库的对话测试
在这里插入图片描述
进行知识库问答对话时，出现一个异常
在这里插入图片描述
是因为知识库配置中，默认且只有一个文件处理模型，固定为gpt-3.5-turbo-1106，且目前没有配置该模型渠道
在这里插入图片描述

解决方案：

1.更新渠道，添加模型名称gpt-3.5-turbo-1106，意味着使用该模型的就会使用Base URL定义的模型

2.新建一个渠道，指定使用模型名称gpt-3.5-turbo-1106
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/488408.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

官宣了？百度将为苹果今年国行iPhone16、Mac和iOS18提供AI功能！

官宣了？百度将为苹果今年国行iPhone16、Mac和iOS18提供AI功能！

大家好&#xff0c;我是木易&#xff0c;一个持续关注AI领域的互联网技术产品经理&#xff0c;国内Top2本科&#xff0c;美国Top10 CS研究生&#xff0c;MBA。我坚信AI是普通人变强的“外挂”&#xff0c;所以创建了“AI信息Gap”这个公众号&#xff0c;专注于分享AI全维度知识…
阅读更多...
Android视角看鸿蒙第九课-鸿蒙的布局

Android视角看鸿蒙第九课-鸿蒙的布局

鸿蒙的四大布局 导读 前面八篇文章描述了鸿蒙app的配置文件&#xff0c;关于版本号&#xff0c;开发版本&#xff0c;桌面图标等等配置方式。从这一篇文章开始学习鸿蒙的UI使用方式。 前面我们学习到鸿蒙有ability和page的区分&#xff0c;ability类似Activity但又不完全一样…
阅读更多...
目前国内体验最佳的AI问答助手：kimi.ai

目前国内体验最佳的AI问答助手：kimi.ai

文章目录 简介图片理解长文档解析 简介 kimi.ai是国内初创AI公司月之暗面推出的一款AI助手&#xff0c;终于不再是四字成语拼凑出来的了。这是一个非常存粹的文本分析和对话工具&#xff0c;没有那些东拼西凑花里胡哨的AIGC功能&#xff0c;实测表明&#xff0c;这种聚焦是对的…
阅读更多...
ESCTF-Web赛题WP

ESCTF-Web赛题WP

0x01-初次见面-怦然心动:your name? 随便输入一个字 根据提示可以看到 我们需要看源代码 直接 搜索 secret 关键字或者 ESCTF flag ESCTF{K1t0_iS_S0_HAPPy} 0x02-小k的请求 更安全的传参 post 参数为ESCTF 值为 love 自己的ip 同时还有个要求 是需要从度娘转过来 https://www…
阅读更多...
说说Loader和Plugin的区别？编写Loader，Plugin的思路？

说说Loader和Plugin的区别？编写Loader，Plugin的思路？

文章目录 一、区别二、编写loader三、编写plugin参考文献 一、区别 前面两节我们有提到Loader与Plugin对应的概念&#xff0c;先来回顾下 loader 是文件加载器&#xff0c;能够加载资源文件&#xff0c;并对这些文件进行一些处理&#xff0c;诸如编译、压缩等&#xff0c;最终…
阅读更多...
KDB+Q | D1 | 学习资源 基础数据类型

KDB+Q | D1 | 学习资源 基础数据类型

官网会是主要的学习资源&#xff1a;https://code.kx.com/q/ 中文教程可能读起来会快一点&#xff1a; https://kdbcn.gitee.io/ 参考了还不错的学习经验帖&#xff1a;https://www.jianshu.com/p/488764d42627 KDB擅长处理时序数据&#xff0c; KDB数据库是后端数据库&…
阅读更多...
0基础 三个月掌握C语言（15）

0基础 三个月掌握C语言（15）

动态内存管理 为什么要有动态内存分配 我们已经掌握的内存开辟⽅式有&#xff1a; int val 20; //在栈空间上开辟四个字节 char arr[10] {0}; //在栈空间上开辟10个字节的连续空间 但上述的开辟空间的⽅式有两个特点&#xff1a; • 空间开辟⼤⼩是固定的。 • 数组…
阅读更多...
Visual Studio 小更新：改善变量的可见性

Visual Studio 小更新：改善变量的可见性

在 Visual Studio 2022 17.10 预览版 2 中&#xff0c;我们改善了一些小功能&#xff0c;例如&#xff1a;在调试版本中&#xff0c;变量窗口现已可以显示调用堆栈中任意帧的局部变量。 如需体验此功能&#xff0c;请直接安装最新预览版本&#xff0c;就可以知道是怎么一回事儿…
阅读更多...
复盘一下我用过的设计模式

复盘一下我用过的设计模式

建造者模式 保卫萝卜中使用了建造者模式。UML图如下&#xff1a; 接口&#xff1a; public interface IBuilder<T> {//获取到游戏物体身上的脚本对象&#xff0c;从而去赋值T GetProductorClass(GameObject gameObject);//使用工厂去获取具体的游戏对象GameObject GetP…
阅读更多...
你在测试金字塔的哪一层（下）

你在测试金字塔的哪一层（下）

​在《你在测试金字塔的哪一层&#xff08;上&#xff09;》中介绍了自动化测试的重要性以及测试金字塔。测试金字塔分为单元测试、服务测试、UI测试&#xff0c;它们分别是什么呢&#xff1f;本期文章让我们一起详细看看测试金字塔的不同层次。 一、单元测试 单元测试是指对程…
阅读更多...
猪瘟病毒筛查系统的工作原理

猪瘟病毒筛查系统的工作原理

TH-P160S猪瘟病毒筛查系统是一种专门用于检测猪瘟病毒的设备或技术组合&#xff0c;其核心目的是确保生猪养殖、产品流通等环节的安全&#xff0c;防止猪瘟病毒的扩散和传播。猪瘟&#xff0c;又称为“烂肠瘟”&#xff0c;是由黄病毒科瘟毒病属的猪瘟病毒引起猪的一种急性、发…
阅读更多...
如何使用PHP和RabbitMQ实现延迟队列（方式二）？

如何使用PHP和RabbitMQ实现延迟队列（方式二）？

前言 前几天写了一篇关于PHP和RabbitMQ如何通过插件实现延迟队列的功能。 今天写另外一篇不需要插件的方式&#xff0c;使用RabbitMQ的死信队列&#xff08;Dead-Letter-Exchanges, DLX&#xff09;和消息TTL&#xff08;Time-To-Live&#xff09;。 这种方法涉及到设置消息…
阅读更多...
3款免费甘特图制作工具的比较和选择指南

3款免费甘特图制作工具的比较和选择指南

GanntProject GanttProject https://www.ganttproject.biz/ 是一款项目管理和调度应用&#xff0c;适用于 Windows、macOS 和 Linux。它易于使用&#xff0c;无需任何设置&#xff0c;适用于个人用户和小型团队。该应用提供任务层次结构和依存关系、里程碑、基准行、Gantt 图表…
阅读更多...
Knative 助力 XTransfer 加速应用云原生 Serverless 化

Knative 助力 XTransfer 加速应用云原生 Serverless 化

作者&#xff1a;元毅 公司介绍 XTransfer 是一站式外贸企业跨境金融和风控服务公司&#xff0c;致力于帮助中小微企业大幅降低全球展业的门槛和成本&#xff0c;提升全球竞争力。公司连续7年专注 B2B 外贸金融服务&#xff0c;已成为中国 B2B 外贸金融第一平台&#xff0c;目…
阅读更多...
20240325，结构嵌套，联合，全局变量，编译预处理和宏，声明

20240325，结构嵌套，联合，全局变量，编译预处理和宏，声明

二&#xff0c;结构 2.3 结构中的结构 2.3.1 结构数组 #include<stdio.h>//下一秒 struct time{int hour;int min;int sed; }; struct time timeupdate(struct time now); int main(){struct time testTime[5]{{11,59,59},{12,0,0},{1,29,59},{23,59,59},{19,12,27}…
阅读更多...
数据结构 之 队列习题 力扣oj(附加思路版)

数据结构 之 队列习题 力扣oj(附加思路版)

优先级队列 #include<queue> --队列 和 优先级队列的头文件 优先级队列&#xff1a; 堆结构 最大堆 和 最小堆 相关函数&#xff1a; front() 获取第一个元素 back() 获取最后一个元素 push() 放入元素 pop() 弹出第一个元素 size() 计算队列中元素…
阅读更多...
Maven学习记录

Maven学习记录

一、简介 1. Maven&#xff1a; 基于 Java 平台的项目管理和整合工具&#xff0c;将项目的开发和管理过程抽象成一个项目对象模型&#xff08;POM&#xff09;。开发人员只需要做一些简单的配置&#xff0c;Maven 就可以自动完成项目的编译、测试、打包、发布以及部署等工作。…
阅读更多...
把学浪视频保存到电脑方法

把学浪视频保存到电脑方法

为了可以更好的学习很多用户都会想要将学浪的视频下载下来,但是学浪视频官方却没有提供下载方法,为了将学浪视频下载下来我研究了一段时间,总算有突破,找到了下载方法 文章中所用到的工具就在下面,有需要的自己取一下 链接&#xff1a;https://pan.baidu.com/s/1y7vcqILToULr…
阅读更多...
go的for循环应该这么用

go的for循环应该这么用

目录 目录 一&#xff1a;介绍 1: for流程控制 2&#xff1a;for-range流程控制 二&#xff1a;实例展示 1&#xff1a;//按照一定次数循环 2&#xff1a;//无限循环 3: //循环遍历整数、各种容器和通道 4&#xff1a;遍历通道 5&#xff1a;//指针数组循环 6&…
阅读更多...
git笔记之撤销、回退、reset方面的笔记

git笔记之撤销、回退、reset方面的笔记

git笔记之撤销、回退、reset方面的笔记 code review! 文章目录 git笔记之撤销、回退、reset方面的笔记1.git 已经commit了&#xff0c;还没push&#xff0c;如何撤销到初始状态git reset --soft HEAD~1git reset HEAD~1&#xff08;等同于 git reset --mixed HEAD~1&#xff0…
阅读更多...
最新文章

Copyright @ 2022~2023