Linux从零部署本地AI大模型对接本地知识库全记录

使用到的工具

  • docker
  • oneapi + fastgpt
  • ollama

安装docker

已安装有docker的话跳过这一步

执行命令安装docker（一行一行执行）

curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun
systemctl enable --now docker

执行命令安装docker-compose（速度会比较慢）

curl -L https://github.com/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

如果github很慢可以把地址替换成镜像站

curl -L https://hub.nuaa.cf/docker/compose/releases/download/v2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

等待安装结束后，执行命令启动docker sudo systemctl start docker

输入命令docker -v和docker-compose -v，若出现版本号信息则说明docker已经安装成功

image.png

安装fastgpt

fastgpt文档：doc.fastai.site/docs/
fastgpt官网提供了多种部署方式，这里我们选择使用Docker Compose快速部署

创建一个文件夹，然后进入这个文件夹，然后下载两个文件

mkdir /usr/local/fastgpt
cd /usr/local/fastgpt/
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

image.png

执行命令启动容器（第一次启动会先下载所有镜像）

docker-compose up -d

image.png

配置oneapi

我们先不使用本地大模型，先使用第三方提供的线上版本

去【零一万物】注册一个账号，因为零一万物注册就送额度，不需要充钱，我们先拿它来做测试。
到api key管理页面获取一个key，这个key保存好后面要用到。 image.png 浏览器进入http://ip:3001 然后点击右上角登录
用户名：root；密码：123456，点击绿色登录 image.png 第一次登录会提示需要修改密码，可以不管它，直接点击上方导航栏的【渠道】 image.png 点击添加新渠道 image.png 填写相关信息 image.png 再点顶部导航栏【渠道】按钮，回到渠道列表页面
点击【测试】按钮，右上角出现成功提示，则说明配置成功了 image.png

修改config.json

oneapi配置成功后，接下来就是去fastgpt测试使用了，但是在这之前，需要修改之前下载的两个文件中的config.json文件，才能生效。

找到llmModels字段，上面已经存在了几个配置，我们在后面复制粘贴一个，然后把model和name两个字段改成刚在oneapi上配置的，看图：

image.png

改完后保存，然后重启服务：

docker-compose down
docker-compose up -d

image.png

配置fastgpt

浏览器进入http://ip:3000 ，进入fastgpt登录页面
账号root，密码1234，点击登录

创建一个新应用 image.png 模型选择零一万物，这个零一万物就是刚才在config.json中配置出来的 image.png 点击【保存并预览】按钮，然后就可以对话了 image.png

安装ollama

ok，使用线上第三方平台的大模型已经成功了，现在开始部署本地大模型来测试
进入ollama官网ollama.com/ 点击下载，下载自己系统的安装包，可以看到linux已经准备好命令了
直接使用官网给的命令下载curl -fsSL https://ollama.com/install.sh | sh image.png image.png

ollama默认绑定的是127.0.0.1:11434，内网其他机器是无法访问的，需要修改环境变量，打开/etc/systemd/system/ollama.service文件，修改Environment的值为：“OLLAMA_HOST=0.0.0.0” image.png

保存，然后重启ollama服务

systemctl daemon-reload
systemctl restart ollama

重启好后，在浏览器进入地址：http://ip:11434 看到如下界面说明ollama已经安装并且配置成功

image.png

在ollama中安装大模型

在ollama官网右上角可以搜索你想要的大模型，我搜索【qwen】，进入模型详情页后，可以选择版本，这里我选择了最低的版本，你们可以根据你们的服务器情况选择合适的版本，右边已经给出了下载模型的命令，复制执行。 image.png

模型下载好后会自动进入，这时候就可以进行对话了，按ctrl+D退出 image.png

将本地模型接入oneapi中

浏览器进入http://ip:3001 刚才有操作过的，新建一个渠道，填写相关内容

  • 模型一栏选择【ollama】

  • 名称随便写

  • 模型这里要注意，首先先点击【清除所有模型按钮】，把自动填充的模型清除掉，然后在右侧输入框手动输入ollama里下载的模型名称，这个模型名称可以通过ollama list命令得到，名称一定要写完全一致，然后点击右侧【填入按钮】

image.png image.png

继续填写：

  • 密钥：sk-key（固定写死就填这个）
  • 代理：http://ip:11434 （就是本地安装的ollama的地址） image.png

点击提交，然后再回到渠道列表页，点击测试刚新添加的模型，右上角出现成功提示 image.png

接下来的步骤和之前测试零一万物时的步骤就一样了：

  1. 在config.json中新添加一个配置
  2. 重启服务
  3. 在fastgpt中新建应用
  4. 在这个应用中选择新添加的模型
  5. 点击【保存并预览】按钮
  6. 然后就可以在fastgpt中与本地的大模型对话了 image.png image.png

安装m3e向量模型，接入本地知识库

与本地模型进行对话已经实现了，现在需要将大模型对接到本地的知识库，那么就要安装向量模型
使用docker安装，下载时间会比较长：

docker run registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest

image.png

在oneapi中新建渠道，类型选择OpenAi，名称随便写，模型手动填入“m3e”，密钥写【sk-aaabbbcccdddeeefffggghhhiiijjjkkk】，代理写【http://ip:6008 】 image.png

完成后去config.json中增加一个向量模型配置，这次和之前的不一样了，之前都是在llmModels里加的，向量模型需要加在vectorModels里；并且需要把之前新增的本地qwen模型中的datasetProcess改为true，这样在后续fastgpt中知识库中才能选到这个模型。 image.png

重启服务后，进入fastgpt，知识库中新建一个知识库，索引模型选择刚新建的向量模型m3e，文件处理模型选择之前在ollama里安装的模型，然后点击【确认创建】按钮 image.png

会默认有一个【手动录入】的文件夹，我们进这个文件夹手动录入一个数据测试 image.png

回到应用里，关联上这个知识库，然后点击【保存并预览】 image.png

就可以进行对话了，问一些刚才在知识库里相关的问题 image.png

也可以往知识库里上传一份文档让它分析 image.png 上传后等待索引完成，就可以回应用里问问题了 image.png image.png

可以看到目前回答的还不太理想，后续可以使用高级编排功能，或者更换其他语言模型尝试

👉AI大模型学习路线汇总👈
大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈
光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

👉大模型视频和PDF合集👈
观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/633008.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

2024定制版抢单支付系统源码(开代理自动抢单接单)

2024定制版抢单支付系统源码(开代理自动抢单接单)

随着网络和移动支付技术的不断进步，抢单支付系统已经成为商家和用户进行交易的便利工具。2024定制版抢单支付系统源码为开发者提供了一个可定制化的解决方案，具备开放代理和自动抢单接单功能，帮助用户快速搭建抢单支付平台。本文将为您介绍这…
阅读更多...
redis集群不允许操作多个key解决方案、redis key负载均衡方案

redis集群不允许操作多个key解决方案、redis key负载均衡方案

前提 在cluster redis 中进行同一个命令处理不同的key会报错：CROSSSLOT Keys in request dont hash to the same slot，例如： 此示例使用sdiff 命令对pool_1与pool_2进行diff操作。 那么我们在业务场景中就需要将集群redis中的不同key进行操作，我们该如何处理呢？ 本次的…
阅读更多...
用C语言把一棵普通二叉树安排得明明白白

用C语言把一棵普通二叉树安排得明明白白

1. 树的相关术语 结点的度：一个结点含有的子树的个数称为该结点的度； 如上图：A的为6 叶结点或终端结点：度为0的结点称为叶结点； 如上图：B、C、H、I...等结点为叶结点 非终端结点或分支结点：度不…
阅读更多...
《微服务王国的守护者：Spring Cloud Dubbo的奇幻冒险》

《微服务王国的守护者：Spring Cloud Dubbo的奇幻冒险》

5. 经典问题与解决方案 5.3 服务追踪与链路监控 在微服务架构的广袤宇宙中，服务间的调用关系错综复杂，如同一张庞大的星系网络。当一个请求穿越这个星系，经过多个服务节点时，如何追踪它的路径，如何监控整个链路的健康…
阅读更多...
k8s遇到的错误记录

k8s遇到的错误记录

时隔四年有开始重新鼓捣k8s了，重新安装后遇到的错误记录如下： Error: Package: kubelet-1.14.0-0.x86_64 (kubernetes) Requires: kubernetes-cni 0.7.5 Available: kubernetes-cni-0.3.0.1-0.07a8a2.x86_64 (kubernetes) …
阅读更多...
MySQL——存储过程，触发器

MySQL——存储过程，触发器

BaiduComate: # 问题1： # 问题1： 帮我创建两个表student与score表，要求student表有id，createDate，userName，phone，age，sex，introduce， 要求score表有id&…
阅读更多...
全面掌握深度学习：从基础到前沿

全面掌握深度学习：从基础到前沿

引言：深入探索深度学习的世界 在人工智能（AI）的广阔领域中，深度学习已经成为最令人瞩目的技术之一。它不仅推动了科技的许多突破性进展，也正在改变我们的工作和生活方式。本博客旨在全面总结深度学习的关键知识点&…
阅读更多...
Kubeblocks系列2-redis尝试之出师未捷身先死

Kubeblocks系列2-redis尝试之出师未捷身先死

背景： 上一节，完成了Kubeblocks系列1-安装。现在就想拿一个简单的应用测试一下kubeblocks这个所谓的神器是否好用，是否可以应用与生产！ Kubeblocks系列2-redis尝试 参照官方文档：创建并连接到 Redis 集群 确保 Red…
阅读更多...
使用docker+jenkins构建前端项目发布到nginx

使用docker+jenkins构建前端项目发布到nginx

1.准备环境 为了方便公司开发优化代码，不需要反复地将项目包发送给运维部署，我们对开发环境的前端项目利用jenkinsCI/CD进行自动化部署 需要两台服务器 一台jenkins 一台发布服务器,这里发布服务器 我直接使用开发环境的服务器 将admin界面与云计算展示…
阅读更多...
python调用百度文心一言对话模型

python调用百度文心一言对话模型

近日，百度宣布其两款主力模型 ENIRE Speed、ENIRE Lite 可以免费使用。试了一下怎么程序调用。 1.准备工作 需要注册百度智能云账号，也可以使用原来的百度账号登录，登录之后要完成实名认证，才能使用API调用。在千帆大模型操作台…
阅读更多...
5.23-

5.23-

回顾 I0多路复用的原理? 程序首先向操作系统发起一个IO多路复用请求，告诉操作系统需要监视哪些IO通道。这些IO通道可以包括网络套接字、文件描述符等操作系统随后会将这些IO通道放入一个队列中，并在某个IO通道就绪时（如数据到达、文件可读…
阅读更多...
滴滴三面 | Go后端研发

滴滴三面 | Go后端研发

狠狠的被鞭打了快两个小时… 注意我写的题解不一定是对的，如果你认为有其他答案欢迎评论区留言 bg：23届 211本 社招 1. 自我介绍 2. 讲一个项目的点，因为用到了中间件平台的数据同步，于是开始鞭打数据同步。。 3. 如果同步的时候…
阅读更多...
Linux-centos下安装ffmpeg的详细教程

Linux-centos下安装ffmpeg的详细教程

源安装 第一种方式： . 首先需要安装yum源： 这个源安装的ffmpeg版本是3.4 yum install epel-release yum install -y https://mirrors.ustc.edu.cn/rpmfusion/free/el/rpmfusion-free-release-7.noarch.rpm然后可以安装ffmpeg yum install -y ffmpeg ff…
阅读更多...
data studio连接到虚拟机上的openGauss

data studio连接到虚拟机上的openGauss

参考：使用DataStudio连接本地虚拟机中的opengauss数据库_big data_白日梦想家_胖七七-华为云开发者联盟 本实验虚拟机安装的是CentOS7 数据库版本是：openGauss-5.0.2-CentOS-64bit-all.tar.gz 1.配置pg_hba.conf 首先使用su - omm登录到omm用户&…
阅读更多...
家电维修上门维修小程序怎么搭建制作？

家电维修上门维修小程序怎么搭建制作？

​在家庭生活中，家电的维修问题一直是人们关注的焦点。随着微信小程序的普及，家电维修服务行业也迎来了线上转型的机遇。一款便捷、高效的家电维修上门维修小程序，不仅能为维修服务商带来新的客户，也能为用户带来更便捷的服务体验…
阅读更多...
JavaWeb基础（HTML,CSS,JS）

JavaWeb基础（HTML,CSS,JS）

这些知识用了三四天左右学完，因为是JavaWeb，并不是前端，所以只是够用，不是深入，但是这确实是学校一个学期交的东西（JavaWeb课程）。 总结一下网页分为三部分：HTML(内容结构),CSS&…
阅读更多...
详解ArcGIS 水文分析模型构建

详解ArcGIS 水文分析模型构建

目录 前言 项目环境、条件 Dem 数据预览 ArcGIS模型构建器 模型搭建 填洼 流向 流量 河流长度 栅格计算器 河流链接 河网分级 栅格河网矢量化 绘制倾泻点 栅格流域提取 集水区 盆域分析 栅格转面 模型应用 导出 py 文件 完善脚本 最终效果 结束语 前言 …
阅读更多...
网络安全技术心得体会

网络安全技术心得体会

网络与信息安全技术心得体会 通过对网络安全这门课程的学习，我进一步了解了网络安全技术的相关知识。大致来说，所谓网络安全指的是对网络系统中各类软硬件和数据信息等提供保护屏障，确保数据信息不受到恶意侵入、窃取等破坏，保证…
阅读更多...
modelbox验证expand和condition共用后，是否顺序保持

modelbox验证expand和condition共用后，是否顺序保持

如图，在expand之后接了个condition，上下两个流中每一对数据buffer的顺序性是否还会保持？ 笔者修改让condition在遇到奇数和偶数时的走向不同。 然后在response单元输出每一对数据，发现顺序都不变。且在处理时，输出会卡…
阅读更多...
【C语言深度解剖】(16)：C语言的文件读写操作

【C语言深度解剖】(16)：C语言的文件读写操作

🤡博客主页：醉竺 🥰本文专栏：《C语言深度解剖》 😻欢迎关注：感谢大家的点赞评论关注，祝您学有所成！ ✨✨💜💛想要学习更多C语言深度解剖点击专栏链接查看&…
阅读更多...
最新文章

Copyright @ 2022~2023