笔记04--零基础创建个人本地大模型知识库ollama+Dify

ollma安装

官网下载直接下一步下一步即可，没有魔法的朋友可以留言，文章中所用到的文件也给打包了，大家可以直接下载使用通过云盘下载使用。

链接: https://pan.baidu.com/s/12zF9MpQtg1bnMDAQayaSyg 提取码: n9rm

官网地址：https://ollama.com/
安装完成后打开控制面板输入Download列表中的命令进行模型下载和运行，完成这步后ollma已经可以使用了在cmd中。
在这里插入图片描述

Model	Parameters	Size	Download
Llama 3.3	70B	43GB	`ollama run llama3.3`
Llama 3.2	3B	2.0GB	`ollama run llama3.2`
Llama 3.2	1B	1.3GB	`ollama run llama3.2:1b`
Llama 3.2 Vision	11B	7.9GB	`ollama run llama3.2-vision`
Llama 3.2 Vision	90B	55GB	`ollama run llama3.2-vision:90b`
Llama 3.1	8B	4.7GB	`ollama run llama3.1`
Llama 3.1	405B	231GB	`ollama run llama3.1:405b`
Phi 3 Mini	3.8B	2.3GB	`ollama run phi3`
Phi 3 Medium	14B	7.9GB	`ollama run phi3:medium`
Gemma 2	2B	1.6GB	`ollama run gemma2:2b`
Gemma 2	9B	5.5GB	`ollama run gemma2`
Gemma 2	27B	16GB	`ollama run gemma2:27b`
Mistral	7B	4.1GB	`ollama run mistral`
Moondream 2	1.4B	829MB	`ollama run moondream`
Neural Chat	7B	4.1GB	`ollama run neural-chat`
Starling	7B	4.1GB	`ollama run starling-lm`
Code Llama	7B	3.8GB	`ollama run codellama`
Llama 2 Uncensored	7B	3.8GB	`ollama run llama2-uncensored`
LLaVA	7B	4.5GB	`ollama run llava`
Solar	10.7B	6.1GB	`ollama run solar`

Dify安装

1.docker安装

官网地址：https://www.docker.com/
下载完成后，下一步，下一步即可。
在这里插入图片描述
如果安装了git我们可以直接使用git命令讲Dify项目拉取到本地，如果未安装直接下载ZIP即可。

2.Dify安装

#通过docker的命令行面板进入项目的docker目录
cd dify
cd docker
#输入以下命令等待镜像下载完成即可！
cp .env.example .env
docker compose up -d

在这里插入图片描述

ollma与Dify集成

1.Dify设置

完成上述操作后通过 http://localhost/install 进入Dify界面，设置登录的账号和密码。
在这里插入图片描述
关闭操作1中咱们启动的ollama，使用ollama serve直接启动

接下来来到Dify系统的用户设置中，设置我们本地运行的ollma模型，这里要注意的是模型名称和基础 URL
因为是docker启动的Dify，基础 URL：http://host.docker.internal:11434