前言
在《本地大模型工具哪家强？对比Ollama、LocalLLM、LM Studio》一文中对比了三个常用的大模型聚合工具优缺点，本文将详细介绍在window操作系统下ollama的安装和使用。要在 Windows 上安装并使用 Ollama，需要依赖 NVIDIA 显卡，并安装相关的驱动和 CUDA 工具链。以下是详细的分步骤指南：
一、安装ollama对硬件和软件的要求
1. 硬件要求：
- NVIDIA 显卡，建议至少为 RTX 系列，显存 8GB 及以上。
- 足够的磁盘空间（建议 40GB 以上）。
- 推荐安装 SSD，提高性能。
2. 操作系统要求：
- Windows 10 或更新版本（64 位）。
3. 软件依赖：
- NVIDIA 驱动。
- CUDA Toolkit（包含 cuDNN）。
- Ollama 安装文件。
二、安装 NVIDIA 驱动
提示：一般情况下在安装操作系统的时候就会安装英伟达显卡的驱动了，如果已经安装了显卡驱动，可以跳过这一步。
1.检查显卡型号：
- 快捷键方式：按下“Windows”键+“X”键，从弹出的菜单中选择“设备管理器”。
- 在设备管理器窗口中，展开“显示适配器”选项。
- 在展开的列表中，就可以看到显卡的型号。例如，如果是NVIDIA的显卡，可能会显示为“NVIDIA GeForce GTX 1660 Ti”等类似的型号名称。
- 在“帮助”菜单中，查看“系统信息”中的显卡型号。
2.下载驱动：
- 访问 NVIDIA 官方网站：https://www.nvidia.com/Download/index.aspx。
- 输入你的显卡型号，选择系统版本，点击“搜索”并下载最新版本驱动程序。
3.安装驱动：
- 双击下载的驱动程序文件。
- 选择“自定义安装”，确保选中“清洁安装”以删除旧驱动残留。
- 完成安装后，重新启动计算机。
三、安装 CUDA Toolkit
1. 下载 CUDA：
- 访问 NVIDIA CUDA Toolkit 官方页面：https://developer.nvidia.com/cuda-downloads。
- 选择你的操作系统、架构和版本，下载对应的安装包。
2. 安装 CUDA：
- 双击安装包，按照安装向导进行安装。
- 确保勾选“附加工具”（包括 nvcc 和相关库）。
- 记下安装路径（默认是 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X）。
3. 配置环境变量：
- 右键“此电脑”，选择“属性” > “高级系统设置” > “环境变量”。
- 在“系统变量”中找到 Path，点击“编辑”。
- 添加以下路径：
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X\libnvvp
- 点击“确定”保存。
4. 验证 CUDA 是否安装成功：
- 打开命令提示符，运行：
nvcc --version
- 如果返回 CUDA 版本号，说明安装成功。
四、安装 cuDNN
提示：cuDNN 的核心作用是加速 Ollama 运行的底层深度学习框架，从而提升推理效率
1. 下载 cuDNN：
- 访问 NVIDIA cuDNN 下载页面：https://developer.nvidia.com/cudnn。
- 登录或注册 NVIDIA 开发者账号。
- 下载与你的 CUDA 版本兼容的 cuDNN 压缩包。
2. 安装 cuDNN：
- 解压下载的压缩包。
- 将 bin、include 和 lib 文件夹的内容复制到对应的 CUDA Toolkit 安装目录下（例如 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\vXX.X）。
五、安装并运行 Ollama
1. 下载 Ollama：
- 访问 Ollama 官方网站，下载适用于 Windows 的二进制文件。
2. 安装 Ollama：
- 将二进制文件放到系统的某个目录（如 C:\Program Files\Ollama）。
- 配置环境变量，将 Ollama 所在目录添加到 Path。
3. 运行 Ollama：
- 打开命令提示符，运行：
ollama --help
- 如果显示帮助信息，说明安装成功。
4.查看可以下载的大模型
-
访问 https://ollama.com/library
-
搜索想要下载的大模型，
-
打开大模型详情页面，选择大模型版本，可以查看运行大模型的命令。
5. 下载模型：
ollama pull glm4:9b
其中glm4:9b是你下载的大模型名称。
6. 运行模型：
ollama run glm4:9b
其中glm4:9b是你运行的大模型名称，如果没有下载大模型，会先下载大模型，下载完再运行这个大模型。
7. 查看已下载的模型：
ollama list
8. 退出模型对话：
通过在对话命令行中输入/bye或使用快捷键Ctrl + d来退出。
六、常见问题
1、如何修改ollama存放大模型的文件夹？
-
ollama默认存放model文件的位置：C:\Users{用户名}.ollama
-
修改ollama存放模型的默认位置只需在环境变量添加OLLAMA_MODELS=“E:\ollama”
-
其中"E:\ollama"是你设置存放大模型的新位置。
2、ollama下载大模型太慢，怎么办？
如果使用ollama pull或ollama run下载大模型太慢，您可以手动从Hugging Face等网站下载模型文件（通常是.gguf格式），然后使用Ollama的create命令来创建模型。具体步骤如下：
- 创建一个文件夹来存放权重文件（例如gguf文件）。
- 从Hugging Face下载所需的.gguf文件，并将其放在创建的文件夹中。
- 创建一个构造文件（例如gemma-9b.modelfile），内容如下：
FROM ./gemma-2-9b-it-Q4_K_L.gguf
- 使用以下命令创建模型：
ollama create gemma-9b -f gemma-9b.modelfile
- 测试模型：
ollama run gemma-9b "hi who are u?"
