一、Ollama
Ollama 是一个开源的本地化大语言模型(LLM)运行工具,专注于简化大模型在本地环境中的部署、管理和交互。它支持多种主流开源模型(如 Llama 2、Mistral、Phi-2 等),并提供了命令行和 API 接口,适合开发者和研究者快速测试、调试模型。
1.官网下载
点击下载Ollama
二、使用github加速下载(可选)
首先在github找到ollama最新版本exe可执行文件,然后右键复制exe的下载地址,进入GitHub proxy进行下载,据说下载速度会很快,如果第一种下载慢的话可以试下这种。
GitHub - ollama
右键点击exe复制下载地址
将地址复制到GitHub Proxy进行下载
GitHub Proxy 代理加速
三、安装Ollama
找到刚刚下载好的exe文件运行,然后按照提示安装即可。
四、部署deepseeek 7b
根据自己电脑配置来选择下载,配置好的也可以选回复效果更好的模型版本
deepseek-r1
Window打开cmd窗口,检查一下ollama是否安装成功,输入ollama命令,打印出ollama信息安装成功。
ollama
查看ollama模型列表
ollama list
运行deepseek-r1:7b模型版本,可能会有点慢,视机器性能来
ollama run deepseek-r1:7b
进行交流
五、AnythingLLM桌面图形化界面
AnythingLLM 是一个 本地运行的 LLM(大语言模型)管理平台,它可以帮助用户轻松管理和查询本地知识库,同时支持多个开源或私有 LLM(如 LLaMA、Mistral、GPT-4 本地代理等)。它的目标是让 企业或个人能够轻松地在本地或私有服务器上运行自己的 AI 助手,而无需依赖外部 API(如 OpenAI)。
点击下载AnythingLLM
下载完毕后,按照提示进行安装,首次启动可能会比较慢,耐心等待。。。
进行界面后,点击设置按钮
依次选择LLM首选项,在LLM提供商选择Ollama,然后就出现之前运行的deepseek-r1:7b模型版本,点击Save changes保存返回主页,现在就可以正常聊天了
大功告成,开始愉快的聊天
六、Page Assist Web界面
Page Assist 是一款开源的浏览器扩展程序,旨在为本地运行的 AI 模型提供直观的交互界面。通过它,您可以在浏览器中与本地 AI 模型进行交互,实现如网页内容分析、PDF 对话等功能。
Page Assist安装到Chrome
安装完毕后,使用快捷键Ctrl+Shift+L在谷歌浏览器上打开Page Assist界面,又阔以愉快的聊天了。