Deepseek 【大模型】之 Ollama 与 Ollama Web UI Lite 本地部署 Deepseek 可视化UI 访问模型的简单整理
目录
Deepseek 【大模型】之 Ollama 与 Ollama Web UI Lite 本地部署 Deepseek 可视化UI 访问模型部署简单整理
一、简单介绍
二、 Ollama 下载安装
三、Ollama 下载 LLM 模型,并运行
四、Ollama Web UI Lite 访问 Deepseek
附录:
一、运行 npm run dev 报错 “vite” 不是内部或者外部命令
一、简单介绍
DeepSeek作为一家年轻而富有活力的AI公司,通过开源策略、创新能力与充足的资源支持,在短短时间内成长为全球瞩目的新锐力量。其核心成员兼具深厚的学术功底与实践经验,所攻关的大模型在数学、代码、生物计算以及语言理解等多方面已展示出强大的竞争力。
自成立以来,DeepSeek不断地突破研究瓶颈,先后推出了DeepSeek LLM、DeepSeek V-2和DeepSeek V-3等版本,以极高的性能与成本效益比为业界带来了颠覆性的惊喜。与此同时,DeepSeek在多头延迟注意力(MLA)、混合专家模型(MoE)以及FP8混合精度训练等关键技术上取得的进展,也为后续技术迭代铺平了道路。
在未来的规划中,DeepSeek将在技术创新、行业应用、人才培养和市场合作等方面持续发力,立志以开源共享的方式,为AI技术的普及与应用赋予更加深远的影响。随着团队即将投入更多算力与人才,DeepSeek有望继续书写AI界的新篇章,成为全球新一轮技术创新的引领者。
Ollama 是一个开源的本地大型语言模型(LLM)运行框架,它旨在简化在本地运行大型语言模型的过程。Ollama 提供了一个简洁易用的命令行界面和服务器,让你能够轻松下载、运行和管理各种开源大型语言模型,如 Llama 3、Mistral、Qwen2 等。
Ollama 的一些主要特点包括:
- 开源免费:Ollama 及其支持的模型完全开源免费,任何人都可以自由使用、修改和分发。
- 简单易用:无需复杂的配置和安装过程,只需几条命令即可启动和运行 Ollama。
- 模型丰富:Ollama 支持多种热门开源大型语言模型,并提供一键下载和切换功能。
- 资源占用低:相比于商业大型语言模型,Ollama 对硬件要求更低,即使在普通笔记本电脑上也能流畅运行。
- 社区活跃:Ollama 拥有庞大且活跃的社区,用户可以轻松获取帮助、分享经验和参与模型开发。
其中还涉及到:Node.js 、Git 等工具的下载与使用
二、 Ollama 下载安装
Ollama 官网:https://ollama.com/
1、到官网下载 Ollama ,根据自己的平台选择需要下载的安装包
Ollama 下载地址:https://ollama.com/download
2、下载完之后,双击运行安装即可
3、安装完后,打开 cmd ,输入 ollama 下面表示 Ollama 已经安装号
4、启动了 Ollama ,在 浏览器中输入 指定网址显示 Ollama 正在运行中
网址:http://localhost:11434
三、Ollama 下载 LLM 模型,并运行
1、在 Ollama Models 搜索需要 LLM 模型
这里是搜索 Deepseek
2、这里选择 deepseek-r1 的 7b 的模型,同时旁边也有 运行的命令
(你可以根据自已的需要和设备可支持运行的版本进行选择下载)
3、在 cmd 中输入上面的命令下载模型并运行,下载成功后,就会可以输入问题进行提问了
命令:ollama run deepseek-r1:7b
四、Ollama Web UI Lite 访问 Deepseek
1、可能需要 安装 Node.js
编程语言工具包(已有可忽略)
安装Node.js
编程语言工具包和安装其他软件包一样,下载安装即可:https://nodejs.org
2、安装好后
3、git 下载安装(已有可忽略)
4、git 下载代码 ollama-webui-lite 代码
命令:git clone https://github.com/ollama-webui/ollama-webui-lite
5、下载完后进行代码文件夹中
6、设置 Node.js 工具包镜像源(已有可忽略)
下载 Node.js 的依赖包更加快速:npm config set registry http://mirrors.cloud.tencent.com/npm/
安装 Node.js
依赖的工具包:npm install
7、
启动 Web 可视化界面
命令 :npm run dev
8、在浏览器上 输入上面的网址,进入访问
这里使用:localhost:3000
9、选择之前下载的 deepseek 相关模型,进行访问
附录:
一、运行 npm run dev 报错 “vite” 不是内部或者外部命令
这里安装 npm install vite 即可