AI大模型探索之路-实战篇3：基于私有模型GLM-企业级知识库开发实战

文章目录

  • 前言
  • 概述
  • 一、本地知识库核心架构回顾（RAG）
    • 1. 知识数据向量化
    • 2. 知识数据检索返回
  • 二、大模型选择
    • 1. 模型选择标准
    • 2. ChatGLM3-6B
  • 三、Embedding模型选择
  • 四、改造后的技术选型
  • 五、资源准备
    • 1. 安装git-lfs
    • 2. 下载GLM模型
    • 3. 下载Embeding模型
  • 六、代码落地实践
    • 1. Embedding代码改造
    • 2. LLM代码改造
    • 3. 测试运行
  • 总结

前言

在当今信息时代，数据已经成为企业的核心资产之一。对于许多企业而言，信息安全和私密性是至关重要的，因此对外部服务提供的数据接口存在天然的警惕性。因此常规的基于在线大模型接口落地企业知识库项目，很难满足这些企业的安全需求。面对这样的挑战，只有私有化的部署方案才能满足企业需求；

在实战篇2中《AI大模型探索之路-实战篇2：基于CVP架构-企业级知识库实战落地》，设计实现了基于CVP架构的企业知识库。本篇文章中将对企业知识库进行进一步的改造升级，以满足企业安全性方面的需求；利用开源的GLM大模型，进行私有化部署，重新设计落地整个企业级知识库。

概述

在构建企业知识库的过程中，通常会涉及两种类型的大模型API：嵌入向量化模型和LLM语言分析处理模型。为了确保企业的安全性需求得到满足，我们采用开源的GLM大模型进行私有化部署，并重新设计了整个知识库机器人的架构。接下来，我们将深入探讨这一改造升级过程。
在这里插入图片描述

一、本地知识库核心架构回顾（RAG）

1. 知识数据向量化

首先，通过文档加载器加载本地知识库数据，然后使用文本拆分器将大型文档拆分为较小的块，便于后续处理。接着，对拆分的数据块进行Embedding向量化处理，最后将向量化后的数据存储到向量数据库中以便于检索。
在这里插入图片描述

2. 知识数据检索返回

根据用户输入，使用检索器从向量数据库中检索相关的数据块。然后，利用包含问题和检索到的数据的提示，交给ChatModel / LLM（聊天模型/语言生成模型）生成答案。
在这里插入图片描述

二、大模型选择

1. 模型选择标准

1)开源的：需要选择开源的项目方便自主扩展。
2)高性能的：选择各方面性能指标比较好的，能够提升用户体验。
3)可商用的：在不增加额外成本的前提下，保证模型的商用可行性。
4)低成本部署的：部署时要能够以最低成本代价部署运行知识库，降低公司成本开支。
5)中文支持：需要选择对我母语中文支持性比较好的模型，能够更好的解析理解中文语义。

2. ChatGLM3-6B

ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，也是目前各方面性能比较突出的大模型：
1）更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，* ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能*。
2）更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式 ，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。
3）更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base 、长文本对话模型 ChatGLM3-6B-32K 和进一步强化了对于长文本理解能力的 ChatGLM3-6B-128K。

三、Embedding模型选择

我们要选择一个开源免费的、中文支持性比较好的，场景合适的，各方面排名靠前的嵌入模型。
MTEB排行榜是衡量文本嵌入模型在各种嵌入任务上性能的重要基准；可从排行榜中选相应的Enbedding模型；
在这里插入图片描述

本次从中选择使用比较广泛的 bge-large-zh-v1.5 （同样也是智谱AI的开源模型）
在这里插入图片描述

四、改造后的技术选型

1）LLM模型：ChatGLM3-6B
2）Embedding模型：bge-large-zh-v1.5
3）应用开发框架：LangChain
4）向量数据库：FAISS/pinecone/Milvus
5）WEB框架：streamlit/gradio

五、资源准备

将 Hugging Face Hub 上的预训练模型，下载到本地使用更方便，性能更快。

1. 安装git-lfs

1）需要先安装Git LFS ，Ubuntu系统操作命令：

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs

在这里插入图片描述

Centos命令参考：

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash
sudo yum install git-lfs

2）执行：git lfs install

在这里插入图片描述

2. 下载GLM模型

下载使用huggingface上的大模型

git clone https://huggingface.co/THUDM/chatglm3-6b

在这里插入图片描述

注意：下载后记得和huggingface上的文件列表对比，看看是否有缺失，缺少了单独下载补全。

3. 下载Embeding模型

下载huggingface上的词嵌入模型

git clone https://huggingface.co/BAAI/bge-large-zh-v1.5

在这里插入图片描述

注意：下载后记得和huggingface上的文件列表对比，看看是否有缺失，缺少了单独下载补全。

对比后发现果然少了pytorch_model.bin文件
在这里插入图片描述

手动单独下载pytorch_model.bin文件

wget https://huggingface.co/BAAI/bge-large-zh-v1.5/resolve/main/pytorch_model.bin

结果下载超时了😅😅😅
在这里插入图片描述

后发现国内gitee上有一个hf-models； 专门放的hugginface的模型。😄
在这里插入图片描述

改用gitee地址下载

git clone https://gitee.com/hf-models/bge-large-zh-v1.5.git

果然皇天不负苦心人。。。。😀
在这里插入图片描述

六、代码落地实践

1. Embedding代码改造

将原来的openai嵌入模型

def get_openaiEmbedding_model():
    return OpenAIEmbeddings(openai_api_key=Keys.OPENAI_API_KEY,
                            openai_api_base=Keys.OPENAI_API_BASE)

改造替换为私有嵌入模型：

# 私有嵌入模型部署
embedding_model_dict = {
    #"text2vec3": "shibing624/text2vec-base-chinese",
    #"baaibge": "BAAI/bge-large-zh-v1.5",
    #"text2vec3": "/root/autodl-tmp/text2vec-base-chinese",
    "baaibge": "/root/autodl-tmp/bge-large-zh-v1.5",
}

def get_embedding_model(model_name="baaibge"):
    """
    加载embedding模型
    :param model_name:
    :return:
    """
    encode_kwargs = {"normalize_embeddings": False}
    model_kwargs = {"device": "cuda:0"}
    print(embedding_model_dict[model_name])
    return HuggingFaceEmbeddings(
        model_name=embedding_model_dict[model_name],
        model_kwargs=model_kwargs,
        encode_kwargs=encode_kwargs
    )

2. LLM代码改造

将原来的OpenAI的LLM模型

def get_openai_model():
    llm_model = ChatOpenAI(openai_api_key=Keys.OPENAI_API_KEY,
                           model_name=Keys.MODEL_NAME,
                           openai_api_base=Keys.OPENAI_API_BASE,
                           temperature=0)
    return llm_model

改造为GLM的LLM模型

def get_chatglm3_6b_model(model_path=keys.Keys.CHATGLM3_MODEL_PATH):
    MODEL_PATH = os.environ.get('MODEL_PATH', model_path)
    llm = chatglm3()
    llm.load_model(model_name_or_path=MODEL_PATH)
    return llm

chatglm3说明：由于langchain中暂未集成ChatGLM，因此需要自己封装一个ChatGLM的类

import json
from langchain.llms.base import LLM
from transformers import AutoTokenizer, AutoModel, AutoConfig
from typing import List, Optional
import os,yaml

from models.utils import tool_config_from_file


class chatglm3(LLM):
    max_token: int = 8192
    do_sample: bool = False
    #do_sample: bool = True
    temperature: float = 0.8
    top_p = 0.8
    tokenizer: object = None
    model: object = None
    history: List = []
    tool_names: List = []
    has_search: bool = False

    def __init__(self):
        super().__init__()

    @property
    def _llm_type(self) -> str:
        return "ChatGLM3"

    def load_model(self, model_name_or_path=None):
        model_config = AutoConfig.from_pretrained(
            model_name_or_path,
            trust_remote_code=True
        )
        self.tokenizer = AutoTokenizer.from_pretrained(
            model_name_or_path,
            trust_remote_code=True
        )
        self.model = AutoModel.from_pretrained(
            model_name_or_path, config=model_config, trust_remote_code=True
        ).half().cuda()

    # def tool_config_from_file(tool_name, directory="../Tool/"):
    #     """search tool yaml and return json format"""
    #     for filename in os.listdir(directory):
    #         if filename.endswith('.yaml') and tool_name in filename:
    #             file_path = os.path.join(directory, filename)
    #             with open(file_path, encoding='utf-8') as f:
    #                 return yaml.safe_load(f)
    #     return None

    def _tool_history(self, prompt: str):
        ans = []
        tool_prompts = prompt.split(
            "You have access to the following tools:\n\n")[0].split("\n\nUse a json blob")[0].split("\n")

        tool_names = [tool.split(":")[0] for tool in tool_prompts]
        self.tool_names = tool_names
        tools_json = []
        for i, tool in enumerate(tool_names):
            tool_config = tool_config_from_file(tool)
            if tool_config:
                tools_json.append(tool_config)
            else:
                ValueError(
                    f"Tool {tool} config not found! It's description is {tool_prompts[i]}"
                )

        ans.append({
            "role": "system",
            "content": "Answer the following questions as best as you can. You have access to the following tools:",
            "tools": tools_json
        })
        query = f"""{prompt.split("Human: ")[-1].strip()}"""
        return ans, query

    def _extract_observation(self, prompt: str):
        return_json = prompt.split("Observation: ")[-1].split("\nThought:")[0]
        self.history.append({
            "role": "observation",
            "content": return_json
        })
        return

    def _extract_tool(self):
        if len(self.history[-1]["metadata"]) > 0:
            metadata = self.history[-1]["metadata"]
            content = self.history[-1]["content"]
            if "tool_call" in content:
                for tool in self.tool_names:
                    if tool in metadata:
                        input_para = content.split("='")[-1].split("'")[0]
                        action_json = {
                            "action": tool,
                            "action_input": input_para
                        }
                        self.has_search = True
                        return f"""Action: ```{json.dumps(action_json, ensure_ascii=False)}
```"""
        final_answer_json = {
            "action": "Final Answer",
            "action_input": self.history[-1]["content"]
        }
        self.has_search = False
        return f"""Action: ```{json.dumps(final_answer_json, ensure_ascii=False)}```"""

    def _call(self, prompt: str, history: List = [], stop: Optional[List[str]] = ["<|user|>"]):
        print("======")
        print(prompt)
        print("======")
        if not self.has_search:
            self.history, query = self._tool_history(prompt)
        else:
            self._extract_observation(prompt)
            query = ""
        # print("======")
        # print(history)
        # print("======")
        _, self.history = self.model.chat(
            self.tokenizer,
            query,
            history=self.history,
            do_sample=self.do_sample,
            max_length=self.max_token,
            temperature=self.temperature,
        )
        response = self._extract_tool()
        history.append((prompt, response))
        return response

3. 测试运行

在knowledge_base_v2 下运行：streamlit run knowledge_chatbot.py
在这里插入图片描述

上传知识库，再进行对话测试
在这里插入图片描述

总结

通过私有化部署的企业知识库项目已经成功实践落地。在未来的学习中，我们将进一步探索如何优化整个架构，例如利用微调技术改善知识库性能，优化Prompt的设计，集成更强大的外挂工具以满足特殊业务需求，以及如何加强大模型应用的安全性，包括加入模型审查流程等。

👉系列篇章：AI大模型探索之路-实战篇2：基于CVP架构-企业级知识库实战落地
🔖更多专栏系列文章：AIGC-AI大模型探索之路

文章若有瑕疵，恳请不吝赐教；若有所触动或助益，还望各位老铁多多关注并给予支持。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/563434.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Android Studio超级详细讲解下载、安装配置教程（建议收藏）

Android Studio超级详细讲解下载、安装配置教程（建议收藏）

博主介绍&#xff1a;✌专注于前后端、机器学习、人工智能应用领域开发的优质创作者、秉着互联网精神开源贡献精神&#xff0c;答疑解惑、坚持优质作品共享。本人是掘金/腾讯云/阿里云等平台优质作者、擅长前后端项目开发和毕业项目实战&#xff0c;深受全网粉丝喜爱与支持✌有…
阅读更多...
c语言利用控制台实现贪吃蛇

c语言利用控制台实现贪吃蛇

使用控制台实现贪吃蛇需要的技能加点&#xff1a; 控制台设置&#xff08;包含于stdlib.h&#xff09;&#xff1a; 定义命令行窗口高/宽&#xff1a; system("mode con cols100 lines30"); system() 函数是一个C标准库函数&#xff0c;它允许程序执行操作系统命令…
阅读更多...
深度学习Day-14：RNN实现心脏病预测

深度学习Day-14：RNN实现心脏病预测

&#x1f368; 本文为&#xff1a;[&#x1f517;365天深度学习训练营] 中的学习记录博客 &#x1f356; 原作者&#xff1a;[K同学啊 | 接辅导、项目定制] 要求&#xff1a; 本地读取并加载数据&#xff1b;了解循环神经网络RNN的构建过程&#xff1b;测试集accuracy达到87%…
阅读更多...
Linux--Linux常用命令

Linux--Linux常用命令

Linux常用命令 前言Linux命令格式命令讲解1、ls：查看当前目录下所有的内容语法：ls[-al][dir]2、pwd： 查看当前所在目录3、cd : 切换目录4、touch[文件名] ： 如果文件不存在新建文件5、mkdir: 创建目录6、rm: 删除指定文件7、rmdir： 删除空目录8、cat:用于显示文件内容9、m…
阅读更多...
MySQL8.0.36-社区版：二进制日志（4）

MySQL8.0.36-社区版：二进制日志（4）

什么是二进制日志&#xff08;binlog&#xff09;&#xff1a;记录了所有的ddl和dml语句&#xff0c;但是不包括查询类的 二进制日志的作用&#xff1a;1.灾难恢复&#xff0c;2.mysql主从复制 查看二进制日志状态 show variables like %log_bin%; 在mysql8中默认是开启的 | l…
阅读更多...
Docker - Compose

Docker - Compose

原文地址&#xff0c;使用效果更佳&#xff01; Docker - Compose | CoderMast编程桅杆Docker - Compose 在部署应用时&#xff0c;常常使用到不止一个容器&#xff0c;那么在部署容器的时候就需要一个一个进行部署&#xff0c;这样的部署过程也相对来说比较繁琐复杂&#xff…
阅读更多...
使用 OpenCV 测量物体尺寸

使用 OpenCV 测量物体尺寸

使用 OpenCV 测量物体尺寸 你是否曾经遇到过这样的问题&#xff1a;想要知道计算器的精确尺寸&#xff0c;但手头又没有专业的测量工具&#xff1f;别担心&#xff0c;今天我们就来教大家一个简单又实用的方法&#xff0c;通过一张A4纸就能估算出计算器的宽度和高度&#xff0c…
阅读更多...
Python 全栈安全（三）

Python 全栈安全（三）

原文&#xff1a;annas-archive.org/md5/712ab41a4ed6036d0e8214d788514d6b 译者&#xff1a;飞龙 协议&#xff1a;CC BY-NC-SA 4.0 第十一章&#xff1a;OAuth 2 本章内容 注册 OAuth 客户端 请求对受保护资源的授权 授权而不暴露身份验证凭据 访问受保护的资源 OAuth …
阅读更多...
指针的使用以及运算、二级指针、造成野指针的原因以及解决方法、指针和数组相互使用

指针的使用以及运算、二级指针、造成野指针的原因以及解决方法、指针和数组相互使用

第七章&#xff0c;指针的学习 目录 前言 一、指针的概念 二、指针的类型 三、野指针 四、指针的运算 五、指针和数组的关系以及使用 六、指针数组 七、二级指针 总结 前言 这章主要学习的是指针方面的知识&#xff0c;这节只是简单了解一下指针&#xff0c;并不会深…
阅读更多...
判断水仙花数（C语言）

判断水仙花数（C语言）

一、N-S流程图&#xff1b; 二、运行结果&#xff1b; 三、源代码&#xff1b; # define _CRT_SECURE_NO_WARNINGS # include <stdio.h>int main() {//初始化变量值&#xff1b;int n 0;int b 0;int s 0;int g 0;int m 0;//提示用户&#xff1b;printf("请输入…
阅读更多...
java-Spring-bean的生命周期

java-Spring-bean的生命周期

定义 程序中的每个对象都有生命周期&#xff0c;对象的创建、初始化、应用、销毁的整个过程称之为对象的生命周期&#xff1b; 在对象创建以后需要初始化&#xff0c;应用完成以后需要销毁时执行的一些方法&#xff0c;可以称之为是生命周期方法&#xff1b; 在spring中&…
阅读更多...
Azure AD统一认证及用户数据同步开发指导

Azure AD统一认证及用户数据同步开发指导

本文主要目的为&#xff1a;指导开发者进行自有服务与Azure AD统一认证的集成&#xff0c;以及阐述云端用户数据同步的实现方案。本文除了会介绍必要的概念、原理、流程外&#xff0c;还会包含Azure门户设置说明&#xff0c;以及使用Fiddler进行全流程的实操验证&#xff0c;同…
阅读更多...
学习笔记-数据结构-线性表（2024-04-17）

学习笔记-数据结构-线性表（2024-04-17）

设计一个算法实现在单链表中删除值相同的多余节点的算法。 设计思想&#xff1a;双指针 变量说明&#xff1a; head - 参数变量&#xff0c;代表链表的头节点。在调用DelSameNum函数时&#xff0c;需要传递链表的头节点的地址给这个参数&#xff0c;从而允许函数对链表进行操作…
阅读更多...
21.leetcode---用栈列实现队列(Java版)

21.leetcode---用栈列实现队列(Java版)

题目链接: https://leetcode.cn/problems/implement-queue-using-stacks/ 题解: 代码: 测试:
阅读更多...
C# WPF布局

C# WPF布局

布局&#xff1a; 1、Grid: <Window x:Class"WpfApp2.MainWindow" xmlns"http://schemas.microsoft.com/winfx/2006/xaml/presentation" xmlns:x"http://schemas.microsoft.com/winfx/2006/xaml" xmlns:d"http://schemas.microsoft.com…
阅读更多...
SpringBoot---------Lombook

SpringBoot---------Lombook

Lombok是一个可以通过简单的注解形式来帮助我们简化消除一些必须有但显得很臃肿的Java代码的工具&#xff0c;通过使用对应的注解&#xff0c;可以在编译源码的时候生成对应的方法&#xff0c;也就是简化咱们之前pojo&#xff0c;实体类里面臃肿的get/set有参无参。 首先查看一…
阅读更多...
LiveNVR监控流媒体Onvif/RTSP常见问题-如何对比监控摄像头延时视频流延时支持webrtc视频流播放超低延时播放

LiveNVR监控流媒体Onvif/RTSP常见问题-如何对比监控摄像头延时视频流延时支持webrtc视频流播放超低延时播放

LiveNVR如何对比监控摄像头延时视频流延时支持webrtc视频流播放超低延时播放 1、问题场景2、如何对比延时&#xff1f;3、WEBRTC延时对比4、LiveNVR支持WEBRTC输出5、RTSP/HLS/FLV/RTMP拉流Onvif流媒体服务 1、问题场景 需要低延时的视频流监控播放&#xff0c;之前可以用rtmp…
阅读更多...
react合成事件与原生事件区别备忘

react合成事件与原生事件区别备忘

朋友问起在做一个下拉框组件&#xff0c;下拉的点击事件是用react的onClick触发&#xff0c;外部区域点击关闭则用dom的原生点击事件绑定&#xff0c;问题是下拉的点击事件无法阻止冒泡到dom的原生事件。 我说&#xff0c;react的合成事件 和 原生事件是不一样的&#xff0c;尽…
阅读更多...
前端表单input的简单使用

前端表单input的简单使用

1.代码结构介绍 2.实战效果
阅读更多...
【嵌入式linux】Ubuntu 修改用户名

【嵌入式linux】Ubuntu 修改用户名

第一次打开Ubuntu时不小心把初始用户名“siriusiot”写成“siriousiot”&#xff08;多了一个o&#xff09; 。作为技术人&#xff0c;我们要保持严谨&#xff0c;我们要纠正过来&#xff08;其实就是单词拼错了怕被笑话&#xff09;。 打开终端&#xff0c;输入&#xff1a; …
阅读更多...
最新文章

Copyright @ 2022~2023