这里写目录标题
- 安装 Ollama
- 下载和部署DeepSeek模型
- 可视化工具
安装 Ollama
Ollama 是一个轻量级的可扩展框架，用于在本地计算机上构建和运行语言模型。它提供了一个用于创建、运行和管理模型的简单 API，以及一个可在各种应用程序中轻松使用的预构建模型库。用于在本地轻松运行和部署大型语言模型。
Ollama 官网下载地址：https://ollama.com/download
- 下载完成后点击 OllamaSetup.exe 安装 Ollama
- 配置环境变量（选配，不修改则使用默认配置）
Ollama 环境变量配置表
| 环境变量名称 | 默认值 | 描述 | 适用场景 |
|---|---|---|---|
| OLLAMA_HOST | 127.0.0.1 | 指定Ollama服务监听的IP地址 | 需要远程访问Ollama服务时设置 |
| OLLAMA_PORT | 11434 | 指定Ollama服务监听的端口号 | 端口冲突时修改 |
| OLLAMA_MODELS | - | 指定模型存储目录的路径 | 自定义模型存储位置 |
| OLLAMA_KEEP_ALIVE | 5m | 设置模型在内存中的保留时间（如10m表示10分钟） | 优化内存使用 |
| OLLAMA_DEBUG | false | 启用调试模式（设置为true时输出详细日志） | 排查问题时使用 |
| OLLAMA_MAX_LOADED_MODELS | 1 | 设置同时加载的最大模型数量 | 多模型并行推理时调整 |
| OLLAMA_GPU_LAYERS | 0 | 设置使用GPU加速的层数（仅支持CUDA） | 启用GPU加速时配置 |
| OLLAMA_THREADS | 自动检测 | 设置CPU推理时的线程数 | 优化CPU利用率 |
| OLLAMA_MAX_VRAM | - | 设置GPU显存的最大使用量（如4096表示4GB） | 限制GPU显存占用 |
| OLLAMA_LOG_LEVEL | info | 设置日志级别（可选：debug、info、warn、error） | 调整日志输出详细程度 |
| OLLAMA_NO_HISTORY | false | 禁用历史记录（设置为true时不保存对话历史） | 隐私保护场景 |
| OLLAMA_TEMP_DIR | 系统临时目录 | 指定临时文件存储目录 | 自定义临时文件位置 |
| OLLAMA_HTTP_PROXY | - | 设置HTTP代理服务器地址 | 需要通过代理访问网络时配置 |
| OLLAMA_HTTPS_PROXY | - | 设置HTTPS代理服务器地址 | 需要通过代理访问网络时配置 |
| OLLAMA_NO_PROXY | - | 设置不需要代理的地址列表（逗号分隔） | 排除特定地址的代理 |
| OLLAMA_LLM_LIBRARY | auto | 指定底层LLM库（如llama.cpp、transformers） | 切换底层推理引擎 |
| OLLAMA_CACHE_DIR | 系统缓存目录 | 指定模型缓存目录 | 自定义缓存位置 |
| OLLAMA_DISABLE_TELEMETRY | false | 禁用遥测数据收集（设置为true时禁用） | 隐私保护场景 |
| OLLAMA_API_KEY | - | 设置API访问密钥（用于远程调用） | 启用API认证时配置 |
| OLLAMA_AUTH_TOKEN | - | 设置认证令牌（用于身份验证） | 启用身份验证时配置 |
例如：配置ollama的模型存储路径
- 右键点击“此电脑” → 选择“属性” → 点击“高级系统设置”
- 在“系统属性”窗口中，点击“环境变量”
- 在“系统变量”部分，点击“新建”
- 输入变量名和变量值，点击“确定”保存
- 安装完成后可在控制台运行命令，查看安装情况
ollama --version
- 运行启动命令（windows下载后、电脑开机时默认自动启动Ollama）
ollama serve
- 访问 http://localhost:11434 进行查看是否启动成功
下载和部署DeepSeek模型
- 下载DeepSeek模型
ollama pull deepseek-r1:8b # 8B版本
ollama pull deepseek-r1:14b # 14B版本
ollama pull deepseek-r1:32b # 32B版本
| DeepSeek模型版本介绍 | |||||||||
| 轻量级部署 | 1.5B版本 | 适用于边缘计算设备，如工业控制终端、智能家居中枢 | |||||||
| 7B-8B版本 | 适合个人开发者工作站，支持代码生成、文档处理等任务 | ||||||||
| 企业级部署 | 14B-32B版本 | 满足企业知识管理、合同分析、报告生成等需求 | |||||||
| 70B版本 | 适用于金融分析、医疗诊断等专业领域 | ||||||||
| 科研级部署 | 671B版本 | 支持多模态大模型训练、复杂科学计算任务 | |||||||
- 下载完成后，可以使用以下命令查看已下载的模型列表：
ollama list
- 使用命令运行模型
ollama run deepseek-r1:8b
这里我们的deepseek模型已经在本地启动成功了，可以在命令行输入提问信息。如果想要像官网对话页面一样，可以下载可视化工具来达到同样的效果。
可视化工具
可视化工具可使用 Chatbox AI 、Page-Assist、LobeChat、Open WebUI 等。这里介绍 Chatbox AI (快速上手版) 。
Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，官网地址。
下载安装完成后
- 设置模型
- 设置完毕后开始提问
