chatGLM3+chatchat实现本地知识库

背景

由于客服存在大量的问题为FAQ问题,需要精准回复客户,所以针对此类精准问题,通过自建同量数量库进行回复。

落地方案

    通过chatGLM3-6B+langchain-chatchat+bge-large-zh实现本地知识库库。

注意:相关介绍和说明请看官网~

配置要求

名称

要求

说明

内存

16G

最好是32G

GPU

英伟达16G

最好是24G

python

3.10


环境搭建

拉取代码

https://github.com/chatchat-space/Langchain-Chatchat.git

安装环境

建议:通过conda 创建专用环境

进入环境然后执行如下

pip install -r requirements.txt 
pip install -r requirements_api.txt
pip install -r requirements_webui.txt

下载模型

#国内源下载(推荐)git lfs installgit clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
git clone https://www.modelscope.cn/AI-ModelScope/bge-large-zh.git
#需要梯子
git lfs installgit clone https://huggingface.co/THUDM/chatglm3-6b
git clone https://huggingface.co/BAAI/bge-large-zh

项目部署

初始化配置

进入项目执行如下命令:

python copy_config_example.py
python init_database.py --recreate-vs

c8f947ccd9953c9908efdaac36471edb.png

然后会在config中生成如下:

794a7dc714b63ee4fe82c032cee9e225.png

文件名称

说明

basic_config.py

基础配置,用于配置日志相关

kb_config.py

向量数据量配置,可配置相关的参数

model_config.py

模型配置,可以在这里配置模型相关信息

prompt_config.py

消息板模配置

server_config.py

服务配置,配置端口及host等

配置修改

model_config.py 修改如下:

MODEL_ROOT_PATH =存放你模型的路劲(不需要指定到模型位置)      

EMBEDDING_MODEL=向量数据库名称(不需要包含路劲)

server_config.py 修改如下:

OPEN_CROSS_DOMAIN = True

项目启动

#前台启动

python startup.py -a

#后台启动

nohup python startup.py>startup.log -a &

访问API接口列表:http://127.0.0.1:20000/docs#/

项止3272f1608482d2bb7cb23408cff10587.png

访问页面:127.0.0.1:8501

e3414a887ec5b3d1c7a14e5c2d546a66.png

最后

    试了最新的chatchat发现这个版本在识别agent中的utils有时生效有时无效,官方也承认有这个问题,建议后续还是用官方的chatGLM3的utils,下次文章再输出。   

相关链接:

    https://github.com/THUDM/ChatGLM3

    https://github.com/chatchat-space/Langchain-Chatchat

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/465555.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【解读】NIST网络安全框架CSF 2.0

2014年,NIST(美国国家标准与技术研究所,类似于中国的工信部)首次发布了网络安全框架CSF(Cybersecurity Framework),十年后,在2024年2月26日发布了重大更新(CSF 2.0)&…

C++初阶:string的使用与STL

目录 1. C标准库与STL2. string是什么3. string的使用3.1 构造与拷贝构造3.2 遍历访问方式3.3 STL中算法操作相关内容3.4 容量相关成员函数3.5 内容修改相关成员函数3.6 string类操作成员函数3.7 string的非成员函数 1. C标准库与STL 编程语言标准库中,有着许多基础…

wps技巧二实现每一行文字后面统一添加数据

效果 操作 查找,输入^p 替换,输入 n m p q^p,测试数据,随意替换成你想要的 结果

MySQL-- B+ 树

一、InnoDB 是如何存储数据的? InnoDB 的数据是按「数据页」为单位来读写的 数据库的 I/O 操作的最小单位是页,InnoDB 数据页的默认大小是 16KB 单个数据页的结构及作用 多个数据页之间的逻辑连接(双向链表),不需要物…

STM32/GD32——FreeRTOS任务管理与相关机制

芯片选型 Ciga Device — GD32F470系列 任务管理 任务处理API 操作 API 动态任务创建 xTaskCreate 任务删除 vTaskDelete 静态任务创建 vTaskCreateStatic 挂起任务 vTaskSuspend 恢复任务 vTaskResume 任务创建 BaseType_t xTaskCreate( TaskFunction_t pxTa…

vulhub中GIT-SHELL 沙盒绕过漏洞复现(CVE-2017-8386)

GIT-SHELL 沙盒绕过(CVE-2017-8386)导致任意文件读取、可能的任意命令执行漏洞。 测试环境 为了不和docker母机的ssh端口冲突,将容器的ssh端口设置成3322。本目录下我生成了一个id_rsa,这是ssh的私钥,连接的时候请指…

固态硬盘有缓存和没缓存有什么区别

固态硬盘(SSD)已经成为现代计算机的重要组成部分,它们提供了比传统机械硬盘更快的读写速度,从而显著提升了操作系统的运行速度和应用程序的加载效率。 其中,缓存(Cache)是固态硬盘中一个重要的…

【SpringCloud】使用Seata实现分布式事务

目录 一、Seata 框架的需求背景二、Seata 事务模式与架构2.1 Seata 组成2.2 Seata 事务模式 三、Seata 实战演示3.1 部署 Seata Server3.1.1 下载 Seata Server3.1.2 更改 Seata Server 配置3.1.3 创建 Seata Server 所需的数据库、数据库表3.1.4 启动 Seata Server 3.2 Seata …

ROS2从入门到精通1-1:详解ROS2话题通信机制与自定义消息

目录 0 专栏介绍1 话题通信模型2 话题模型实现(C)3 话题模型实现(Python)4 自定义消息 0 专栏介绍 本专栏旨在通过对ROS2的系统学习,掌握ROS2底层基本分布式原理,并具有机器人建模和应用ROS2进行实际项目的开发和调试的工程能力。 🚀详情&a…

【最新版源码】快递平台独立版小程序源码|带cps推广营销流量主+前端

源码介绍: 快递代发快递代寄寄件小程序可以对接易达云洋一级总代 快递小程序,接入云洋/易达物流接口,支持选择快递公司,三通一达,极兔,德邦等,功能成熟 如何收益: 1.对接第三方平台成本大约4…

CoAP计算机协议,应用于物联网

什么是CoAP协议? CoAP(Constrained Application Protocol,受限应用协议)是一种专为物联网(IoT)设备和资源受限网络设计的应用层协议。它的诞生也是由于物联网设备大多都是资源限制型的,比如 CP…

【GPT-SOVITS-02】GPT模块解析

说明:该系列文章从本人知乎账号迁入,主要原因是知乎图片附件过于模糊。 知乎专栏地址: 语音生成专栏 系列文章地址: 【GPT-SOVITS-01】源码梳理 【GPT-SOVITS-02】GPT模块解析 【GPT-SOVITS-03】SOVITS 模块-生成模型解析 【G…

Java之SpringBoot基础夯实——八股文【2024面试题案例代码】

1、什么是 Spring Boot? Spring Boot 是一个开源的Java开发框架,由Pivotal团队开发,其核心目标是简化新Spring应用的初始搭建和开发流程。它以Spring框架为基础,通过自动配置和约定优于配置的原则,极大程度地减少了手…

HarmonyOS(鸿蒙)ArkUI组件

方舟开发框架(简称ArkUI)为HarmonyOS应用的UI开发提供了完整的基础设施,包括简洁的UI语法、丰富的UI功能(组件、布局、动画以及交互事件),以及实时界面预览工具等,可以支持开发者进行可视化界面…

嵌入式学习之Linux系统编程篇笔记——系统编程初探

配套视频学习链接:https://www.bilibili.com/video/BV1zV411e7Cy?p2&vd_sourced488bc722b90657aaa06a1e8647eddfc 目录 Linux系统编程的基本认识 什么是Linux系统编程? 什么是系统编程 系统编程的作用 怎么学习Linux系统编程? Linux系统编程基本程序框…

马斯克大模型Grok-1已开源,目前为止最大的开源大语言模型

🦉 AI新闻 🚀 马斯克大模型Grok-1已开源,目前为止最大的开源大语言模型 摘要:马斯克上一周就在x上预告将开源自己的大模型,等了一周,就在刚刚,马斯克的大模型 Grok-1 开源了,Grok-…

【Canvas与艺术】砂落字现

【注意】 本作代码需要在服务器端执行,不可用浏览器直接打开运行。 如何安装服务器端请参考:https://www.cnblogs.com/heyang78/p/3339235.html 【原理】 雨粒子落下时,如果当前点不是黑点,则化身为金字的一个像素点。 【效果…

USB - USB Gadget on Linux

February, 2012. Embedded Linux Conference 2012. Agenda Introduction to USB USB Gadget API Existing Gadgets Design your own Gadget Demo Conclusio About the Author Software engineer at Adeneo Embedded Linux, Android Main activities: – BSP adaptation – Driv…

PXVDI企业级PVE免费桌面虚拟化部署教程ProxmoxVE

什么是PXVDI? PXVDI是一款基于Proxmox VE为底层的可商用的免费云桌面套件。对熟悉PVE的人来说,这点非常的点赞。首先是PVE是免费的,其次PVE的免费云桌面方案也极为少数。 根据官方提出的价格清单,免费版和商业版在功能上主要的区…

使用CURL命令确定Access-Control-Allow-Origin问题

一、问题描述 有前端小伙伴反馈ajax请求遇到跨域问题,也让后端小伙伴设置了跨域允许,但诡异的事情是在前端小伙伴的微信开发者工具中Network headers中看到了两行:Access-Control-Allow-Origin,其中居然出现了:“Acce…