目录

1 部署Ollama

1.1 下载镜像ollama

1.2 运行ollama

1.3 验证

2 模型选型

3 安装模型

3.1 选择模型安装

 3.2 删除模型（选看）

4 安装webUI

4.1 拉镜像

 4.2 启动服务

5 访问

5.1 注册

5.2 登录 

5.3 设置

6 使用 

7 使用api来调用

8 安装AnythingLLM搭建本地知识库

8.1 拉取镜像

8.2 创建目录等

8.3 为目录赋权限

8.4 启动服务

8.5 验证访问

8.6 配置 AnythingLLM，搭建本地知识库

8.7 知识库管理

---

前言：部署属于自己的大模型，优点：离线运行、隐私保护、开发和测试，配合AnythingLLM搭建本地知识库，同时支持API接口调用

1 部署Ollama

Download Ollama on macOS

上面可下载不同版本的，这里是docker版本的

1.1 下载镜像ollama

docker pull ollama/ollama:latest

1.2 运行ollama

docker run -d \
  -v /opt/ai/ollama:/root/.ollama \
  -p 11434:11434 \
  --restart always \
  --name ollama \
  ollama/ollama:latest

1.3 验证

http://IP:11434/

 

2 模型选型

根据电脑选型

3 安装模型

3.1 选择模型安装

不是都需要按 根据需求安装,这里去找https://ollama.com/library

docker exec -it  ollama ollama run gemma:2b  
docker exec -it  ollama ollama run llama3.1  
docker exec -it  ollama ollama run phi3  
docker exec -it  ollama ollama run qwen2.5

 这里就注意了模型版本了哦,我就没有使用上面的 现在了下面的这个

docker exec -it  ollama ollama run qwen2.5:1.5b

 3.2 删除模型（选看）

ollama list
ollama rm  模型名称

4 安装webUI

4.1 拉镜像

docker pull ghcr.io/open-webui/open-webui:main

 4.2 启动服务

docker run -d -p 3001:8080 --add-host=host.docker.internal:host-gateway -e OLLAMA_BASE_URL="http://IP:11434" -v open-webui:/app/backend/data  --name open-webui --restart always ghcr.io/open-webui/open-webui:main   # IP 要记得改

5 访问

http://IP:3001

5.1 注册