【RAG检索增强生成】MaxKB:构建企业级知识库问答系统(Ollama+Qwen2)

目录

  • 引言
  • 1、MaxKB概述
    • 1.1 定义与目标
    • 1.2 特点与优势
  • 2、MaxKB原理
  • 3、MaxKB架构
  • 4、基于MaxKB+Ollama+Qwen2搭建本地知识库
    • 4.1 环境准备
    • 4.2 部署MaxKB
    • 4.3 部署Ollama
    • 4.4 部署运行qwen2
    • 4.5 知识库配置
      • 4.5.1登录 MaxKB 系统
      • 4.5.2上传文档
      • 4.5.3设置分段规则
    • 4.6 模型配置
    • 4.7 创建应用
  • 结语
  • 参考引用


引言

我们生活在一个信息爆炸的时代,数据的增长速度前所未有,企业每天产生的数据量呈指数级增长。这些数据中蕴含着巨大的价值,但同时也带来了前所未有的挑战:如何从海量的数据中快速提取有价值的信息,转化为企业的竞争优势?传统的数据处理方法已经无法满足现代企业的需求,企业迫切需要一种更高效、更智能的解决方案。

在这样的背景下,MaxKB应运而生。MaxKB,即Max Knowledge Base,是一款基于LLM(Large Language Model)大语言模型的知识库问答系统。它利用最新的人工智能技术,特别是自然语言处理(NLP)和机器学习,为企业提供了一种全新的信息处理和利用方式。

1、MaxKB概述

1.1 定义与目标

MaxKB,全称Max Knowledge Base,是一个开源的AI知识库问答系统。它的目标是成为企业的"最强大脑",通过集成大型语言模型,提供快速、准确的问答服务。
在这里插入图片描述

1.2 特点与优势

  • 开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化、RAG(检索增强生成),智能问答交互体验好;
  • 无缝嵌入:支持零编码快速嵌入到第三方业务系统;
  • 多模型支持:支持对接主流的大模型,包括 Ollama 本地私有大模型(如 Meta Llama 3、qwen 等)、通义千问、OpenAI、Azure OpenAI、Kimi、智谱 AI、讯飞星火和百度千帆大模型等。

2、MaxKB原理

知识库构建
MaxKB通过构建知识库,将企业内部的文档、资料等信息进行结构化存储,便于后续的检索和分析。
问答机制
利用LLM大语言模型,MaxKB能够理解用户的查询意图,并从知识库中检索出最相关的答案。
在这里插入图片描述

3、MaxKB架构

技术栈

  • 前端:Vue.js
  • 后端:Python / Django
  • 工作流引擎:LangChain
  • 向量数据库:PostgreSQL / pgvector
  • 大模型支持:Azure OpenAI、OpenAI、百度千帆等

系统组件:MaxKB由多个组件构成,包括文档上传、自动爬虫、文本处理、问答引擎等,共同协作完成知识库的构建和问答服务。
文档处理:支持多种格式的文档上传,自动进行文本拆分和向量化处理。
智能问答:提供智能问答交互,根据用户查询,快速从知识库中检索答案。
业务系统集成:支持与第三方业务系统的集成,无需编码即可实现智能问答功能。
在这里插入图片描述

4、基于MaxKB+Ollama+Qwen2搭建本地知识库

4.1 环境准备

确保系统满足MaxKB的运行条件,包括操作系统、数据库、Python环境等。

  • 操作系统:Ubuntu 22.04 / CentOS 7 64 位系统;
  • CPU/内存: 推荐 2C/4GB 以上;
  • 磁盘空间:100GB;
  • 浏览器要求:请使用 Chrome、FireFox、Safari、Edge等现代浏览器;
    可访问互联网。

4.2 部署MaxKB

通过Docker快速部署MaxKB,执行以下命令即可启动服务:

docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data cr2.fit2cloud.com/1panel/maxkb

安装成功后,可通过浏览器访问 MaxKB:
http://目标服务器 IP 地址:目标端口
默认登录信息

用户名:admin 默认密码:MaxKB@123…

4.3 部署Ollama

Ollama支持多种安装方式,包括通过包管理器、Docker或从源代码编译。
对于Linux用户,可以使用如下命令进行安装:

curl -fsSL https://ollama.com/install.sh | sh

查看模型列表

ollama list

查看版本
查看 Ollama 版本

ollama -v

启动服务

ollama serve

4.4 部署运行qwen2

Ollama支持很多模型,可以在https://ollama.com/library查看
使用以下命令部署运行模型:

ollama run qwen2

4.5 知识库配置

4.5.1登录 MaxKB 系统

使用浏览器打开服务地址:http://目标服务器IP地址:目标端口。
默认的登录信息:

用户名:admin 默认密码:MaxKB@123…

打开【知识库】页面,点击【创建知识库】,进入创建知识库页面。 输入知识库名称、知识库描述、选择通用型知识库类型。
然后将离线文档通过拖拽方式或选择文件上传方式进行上传。

4.5.2上传文档

上传文档要求:
1)支持文本文件格式为:Markdown、TXT、PDF、DOCX、HTML;
2)支持 QA 问答对格式为:Excel、CSV;
3)每次最多上传 50 个文件;
4)每个文件不超过 100 MB;
5)支持选择文件夹,上传文件夹下符合要求的文件。
在这里插入图片描述

4.5.3设置分段规则

智能分段
MarkDown 类型的文件分段规则为:根据标题逐级下钻式分段(最多支持 6 级标题),每段的字符数最大为 4096 个字符;
当最后一级的文本段落字符数超过设置的分段长度时,会查找分段长度以内的回车进行截取。
HTML、DOCX 类型的分段规则为:识别标题格式转换成 markdown 的标题样式,逐级下钻进行分段(最多支持 6 级标题)每段的字符数最大为 4096 个字符;
TXT和 PDF 类型的文件分段规则为:按照标题# 进行分段,若没有#标题的责按照字符数4096个字符进行分段,会查找分段长度以内的回车进行截取。
在这里插入图片描述

高级分段
用户可以根据文档规范自定义设置分段标识符、分段长度及自动清洗。
分段标识支持:#、##、###、####、#####、######、-、空行、回车、空格、分号、逗号、句号,若可选项没有还可以自定义输入分段标识符。
分段长度:支持最小 50个字符,最大 4096 个字符。
自动清洗:开启后系统会自动去掉重复多余的符号如空格、空行、制表符等。
在这里插入图片描述

4.6 模型配置

添加 Ollama 模型
点击【添加模型】,选择供应商【 Ollama 】,直接进入下一步填写 Ollama 供应商的大模型表单。或者左侧供应商先选择【 Ollama 】,然后点击【添加模型】,则直接进入 Ollama 表单。
模型名称: MaxKB 中自定义的模型名称。
模型类型: 大语言模型。
基础模型: 为供应商的 LLM 模型,支持自定义输入,但需要与供应商的模型名称保持一致,系统会自动下载部署模型。
API 域名和 API Key: 为供应商的连接信息(Ollama 服务地址, 如:http://42.92.198.53:11434 )。若没有 API Key 可以输入任意字符。
点击【添加】后 校验通过则添加成功,便可以在应用的 AI 模型列表选择该模型。
在这里插入图片描述

4.7 创建应用

点击【创建应用】,进入创建应用页面,左侧为应用信息,右侧为调试预览界面。
应用名称:用户提问时对话框的标题和名字。
应用描述:对应用场景及用途的描述。
AI模型: 在【系统设置】-【模型管理】中添加的大语言模型。

提示词:系统默认有智能知识库的提示词,用户可以自定义通过调整提示词内容,可以引导大模型聊天方向.
多轮对话: 开启时当用户提问携带用户在当前会话中最后3个问题;不开启则仅向大模型提交当前问题题。
关联知识库:用户提问后会在关联的知识库中检索分段。
开场白:用户打开对话时,系统弹出的问候语。支持 Markdown 格式;[-]后的内容为快捷问题,一行一个。
问题优化:对用户提出的问题先进行一次 LLM 优化处理,将优化后的问题在知识库中进行向量化检索;
开启后能提高检索知识库的准确度,但由于多一次询问大模型会增加回答问题的时长。

应用信息设置完成后,可以在右侧调试预览中进行提问预览,调试预览中提问内容不计入对话日志。
在这里插入图片描述

参数设置详细说明
1)检索模式
向量检索:使用向量模型通过向量距离计算与用户问题最相似的文本分段;
全文检索:通过关键词检索,返回包含关键词最多的文本分段;
混合检索:同时执行全文检索和向量检索,再进行重排序,从两类查询结果中选择匹配用户问题的最佳结果。
2)相似度:相似度越高代表问题和分段的相关性越强。
3)引用分段数:提问时按相似度携带N个分段生成提示词询问 LLM 模型。
4)引用最大字符数:引用分段内容设置最大字符数,超过时则截断。
5)无引用知识库时,有 2 种处理方式可设置:
继续提问:可以自定义设置提示词,需要有{question}用户问题的占位符,才会把用户问题发送给模型。
指定回复内容:当没有命中知识库分段时可以指定回复内容。
在这里插入图片描述

结语

MaxKB,作为企业级知识库问答系统的佼佼者,不仅以其强大的功能和灵活的部署方式,为企业提供了一种高效、智能的信息处理方案,更在AI技术的持续进步中展现出无限的潜力。它通过深度整合自然语言处理和机器学习技术,使得企业能够轻松应对数据洪流,实现信息的快速检索、精准分析和智能决策。

展望未来,随着AI技术的进一步发展,MaxKB有望在知识管理和智能问答领域发挥更大的作用。它将继续推动企业知识资产的有效管理和利用,助力企业在激烈的市场竞争中保持领先。我们期待与更多企业携手,共同探索MaxKB的无限可能,开启智能信息处理的新篇章。

参考引用

  • MaxKB GitHub项目地址

在这里插入图片描述
🎯🔖更多专栏系列文章:AI大模型提示工程完全指南AI大模型探索之路(零基础入门)AI大模型预训练微调进阶AI大模型开源精选实践AI大模型RAG应用探索实践🔥🔥🔥 其他专栏可以查看博客主页📑

😎 作者介绍:我是寻道AI小兵,资深程序老猿,从业10年+、互联网系统架构师,目前专注于AIGC的探索。
📖 技术交流:欢迎关注【小兵的AI视界】公众号或扫描下方👇二维码,加入技术交流群,开启编程探索之旅。
💘精心准备📚500本编程经典书籍、💎AI专业教程,以及高效AI工具。等你加入,与我们一同成长,共铸辉煌未来。
如果文章内容对您有所触动,别忘了点赞、⭐关注,收藏!加入我,让我们携手同行AI的探索之旅,一起开启智能时代的大门!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/773370.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

一入“网贷”深似海:来自多名负债人的真实自述!

在温州,有个名叫小琴的25岁女孩,她的故事,是许多年轻人深陷网贷泥潭的一个缩影。小琴,一个普通的大学毕业生,两年的职场生涯并未能让她摆脱大学时期留下的网贷阴影。那时,她每月靠着1000元的生活费勉强维持…

注意!Vue.js 或 Nuxt.js 中请停止使用.value

大家好,我是CodeQi! 一位热衷于技术分享的码仔。 当您在代码中使用.value时,必须每次都检查变量是否存在并且是引用。 这可能很麻烦,因为在运行时使用.value可能会导致错误。然而,有一个简单的解决方法,即…

力扣61. 旋转链表(java)

思路:用快慢指针找到最后链表k个需要移动的节点,然后中间断开节点,原尾节点连接原头节点,返回新的节点即可; 但因为k可能比节点数大,所以需要先统计节点个数,再取模,看看k到底需要移…

【Linux系统编程】深入剖析:四大IO模型机制与应用(阻塞、非阻塞、多路复用、信号驱动IO 全解读)

目录 概述: 1. 阻塞IO (Blocking IO) 2. 非阻塞IO (Non-blocking IO) 3. IO多路复用 (I/O Multiplexing) 4. 信号驱动IO (Signal-driven IO) 阻塞式IO 非阻塞式IO 信号驱动IO(Signal-driven IO) 信号IO实例: IO多路复用…

2024企业加密软件丨为什么企业需要防泄密

企业为什么需要防泄密? 企业的数据中包含了许多核心机密,如研发成果、商业计划、客户资料等。这些信息的泄露可能使竞争对手获得不正当的优势,给企业带来严重损失。 数据泄露事件往往会对企业的声誉造成负面影响,降低客户信任度…

【ROS2】Ubuntu 24.04 源码编译安装 Jazzy Jalisco

目录 系统要求 系统设置 设置区域启用所需的存储库安装开发工具 构建 ROS 2 获取 ROS 2 代码使用 rosdep 安装依赖项安装额外的 RMW 实现(可选)在工作区构建代码 设置环境 尝试一些例子 下一步 备用编译器 Clang保持最新状态 故障排除 卸载 系统要求 当前…

RRStudio 下载及安装(详尽版)

R语言来自S语言,是S语言的一个变种。S语言、C语言、Unix系统都是贝尔实验室的研究成果。R 语言是一种解释型的面向数学理论研究工作者的语言,主要用于统计分析、绘图、数据挖掘。 R 语言自由软件,免费、开放源代码,支持各个主要计…

python实现windows非白名单exe监控并杀死

目录 一、限定死白名单 二、增加自定义白名单文件 需求:孩子在家用电脑上网课,总是悄悄打开游戏或视频软件 方案:指定白名单exe,打开非白名单的就自动被杀死,并记录日志供查看 一、限定死白名单 import psutil imp…

【C语言】continue 关键字

当在C语言中使用continue关键字时,它用于控制循环语句的执行流程。与break不同,continue不会终止整个循环,而是终止当前迭代,并立即开始下一次迭代。这种行为使得可以在循环内部根据特定条件跳过某些代码块,从而控制程…

中国国家标准介绍

一、介绍 中国国家标准信息公共服务平台,这是由中国国家市场监督管理总局和中国国家标准化管理委员会共同运营的官方网站 https://openstd.samr.gov.cn/ 标准分为三类: GB:强制性国家标准GB/T:推荐行国家标准GB/Z:指导…

LT86101UXE 国产原装 HDMI2.0 / DVI中继器方案 分辨率 4Kx2K 用于多显示器 DVI/HDMI电缆扩展模块

1. 描述 Lontium LT86101UXE HDMI2.0 / DVI中继器特性高速中继器符合HDMI2.0/1.4规范,最大6 gbps高速数据率、自适应均衡RX输入和pre-emphasized TX输出支持长电缆应用程序,没有晶体在船上保存BOM成本,内部灵活的PCB TX巷交换路由。 LT86101UXE HDMI2.0/DVI中继器自动检测线缆损…

傅里叶变换

傅里叶定理指出: 任何信号都可以表示成(或者无限逼近)一系列正弦信号的叠加。在一维领域,信号是一维正弦波的叠加,那么想象一下,在二维领域,实际上是无数二维平面波的叠加,$(x&…

【面向就业的Linux基础】从入门到熟练,探索Linux的秘密(九)-git(1)

Git是一个版本管理控制系统(缩写VCS),它可以在任何时间点,将文档的状态作为更新记录保存起来,也可以在任何时间点,将更新记录恢复回来。 文章目录 前言 一、git是什么 二、git基本概念 三、git基本命令 总结…

Vue3中为Ant Design Vue中Modal.confirm自定义内容

在一次业务开发时代码时,碰到了一种既想要Modal.confirm样式,又想要定制其content内容的情况。 大部分情况下,使用Modal.method()这种方式时,可能content内容固定都是字符串,那如果想要做更高级的交互怎么办&#xff…

将QT移植到IMX6ULL开发板

文章目录 前言一、编译系统1.设置交叉编译工具链2.编译系统3.烧写 二、Linux中下载QT1.安装 Qtcreator2.创建第一个程序3.配置 QtCreator 开发环境(1)打开选项界面(2)选择编译器(3)设置编译器(4…

SoftCLT: 时间序列的软对比学习《Soft Contrastive Learning for Time Series》(时间序列、时序分类任务、软...

2024年6月25日,10:11,好几天没看论文了,一直在摸鱼写代码(虽然也没学会多少),今天看一篇师兄推荐的。 论文: Soft Contrastive Learning for Time Series 或者是: Soft Contrastive Learning for Time Seri…

AutoX.js从某音分享链接解析出视频ID

背景 从某音分享的链接中解析出数字的videoID,用来做评论Intent跳转 思路 基本所有的短链接都是302跳转或者js跳转,熟悉http协议都知道,当状态码为302,从headers中提取Location即刻获得视频的原链接 链接中就带有videoId 要注意…

【串口通信】之TTL电平

1. 什么是串口 串口,全称为串行通信端口,是一种计算机硬件接口,用于实现数据的串行传输。与并行通信不同,串口通信一次只传输一个比特,数据通过串行线按顺序传输。串口通信在嵌入式系统、工业控制、计算机与外围设备通信等领域非常常见 2. 什么是串口通信 串口通信是指通过…

提升速卖通店铺排名:自养号测评的实战策略

卖家们追求的目标之一就是推广爆品。通过有效的推广策略,可以增加爆品的曝光度、吸引更多的买家,并带来更多的销售机会。那么,速卖通上如何推广爆品呢?下面我们来探讨一下这个问题。 首先,为了推广爆品,卖家需要进行…

护眼落地灯哪个牌子好?盘点五款必入不踩雷的护眼大路灯

护眼落地灯哪个牌子好?在这个快节奏的时代,护眼落地灯已经从一种高端选择转变为日常用眼生活中的必须品。不论是提升普通照明,还是针对孩子学习是改善光线质量环境,一款优秀的护眼落地灯都能成为我们生活中的照明神器。怎么选择一…