Maxkb玩转大语言模型
随着国外大语言模型llama3的发布,搭建本地个人免费“人工智能”变得越来越简单,今天博主分享使用Max搭建本地的个人聊天式对话及个人本地知识域的搭建。
docker快速安装
docker run -d --name=maxkb -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data 1panel/maxkb
默认的用户名:admin密码:MaxKB@123.. 想要数据持久化就需要将docker的文件挂在到本地的电脑上
-v /maxdb/data:/var/lib/postgresql/data 1panel/maxkb
![alt](https://img-blog.csdnimg.cn/img_convert/97ea621c06b9b03563e9dbb9718cf3aa.png)
创建模型步骤如下
![alt](https://img-blog.csdnimg.cn/img_convert/4466f9701c187291b0dd413c8de8b340.png)
选择自己的模型并安装,我这边使用ollama安装
API域名不能是localhost和127.0.0.1
安装成功后如下图:
安装过程会出现API域名无效的弹窗提示 有以下原因: 1.没有正确填写域名 2.按装的ollama模型没有开启远程链接
解决方法
填写的API域名只能是服务器: ip:11434 windows下在cmd中执行
set OLLAMA_HOST=0.0.0.0
ollama serve
再次安装大模型就成功了
2.创建自己的本地应用
![alt](https://img-blog.csdnimg.cn/img_convert/3e04088d7fc8edf6d42e4d8438e71eda.png)
3.编辑应用的信息
![alt](https://img-blog.csdnimg.cn/img_convert/5867bd7c8f987380c3869da24c40f8e7.png)
4.测试我们的模型
完成之后,也可以将对话的窗口植入到我们自己的网站
![alt](https://img-blog.csdnimg.cn/img_convert/2841d3524bdf388a5e4be32fbd4b46b1.png)
本文由 mdnice 多平台发布