玩转大语言模型——ollama导入huggingface下载的模型

ollama导入huggingface模型

前言
gguf模型
- 查找相关模型
- 下载模型
导入Ollama
- 配置参数文件
- 导入模型
- 查看导入情况
safetensfors模型
- 下载模型
- 下载llama.cpp
- 配置环境并转换

前言

ollama在大语言模型的应用中十分的方便，但是也存在一定的问题，比如不能使用自己微调的模型或者当前的模型并没有做ollama官网兼容的时候，从外部导入模型就十分必要。本章将会介绍两种常见格式模型导入ollama的方式。

gguf模型

gguf格式的模型是可以直接导入ollama的，有很多已上传的模型都包含gguf格式的模型，遇到这种情况我们只需要在huggingface中找到这些gguf格式的模型，直接导入即可。

查找相关模型

在hunggingface或者镜像源中直接搜索gguf格式模型，这里以phi-4为例（phi-4模型有上传gguf格式的模型）。
在这里插入图片描述
笔者也可以直接访问镜像链接：https://hf-mirror.com/matteogeniaccio/phi-4/tree/main
在这个例子中，phi-4文件夹下是safetensros格式的模型，一般是配合transformers包使用的，我们本篇的主题是ollama，所以不关心，下面的gguf格式才是可以导入到ollama的模型
在这里插入图片描述
这里四个模型分贝是不同的量化方式的模型，一般来说越大精度越高，根据自己需求选择就好，在本篇中，使用最小的phi-4-Q4_K_M.gguf为例。

下载模型

可以使用git和网页下载方式下载。
git下载
git方式需要预先安装好git，如果不了解git，可以选择网页下载，本身gguf格式的模型需要下载的文件就不多。

git下载时，可以选择右上角的三个点，点击Clone repository
在这里插入图片描述
随后打开命令行依次执行以下命令即可。

网页下载
由于我们只需要下载一个文件，所以使用网页下载也很方便。

如果网页下载过慢可以复制链接到迅雷
下载后放到一个单独的文件夹中，笔者的文件夹是D:\alpha_ordered\MyCodeBase\Large Model\LLM\gguf_model\phi4，后续的操作均是在这个文件夹下实现。

导入Ollama

配置参数文件

新建一个config.txt文件，打开后输入以下内容后保存

FROM "D:\alpha_ordered\MyCodeBase\Large Model\LLM\gguf_model\phi4\phi-4-Q4_K_M.gguf"
# 指定语言模型文件路径。

PARAMETER temperature 1
# 设置温度，控制生成内容的随机性。

PARAMETER num_ctx 4096
# 设置上下文窗口大小。

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|> {{ .Prompt }} <|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|> {{ .Response }}<|eot_id|>"""
# 定义输入输出结构。

SYSTEM """尽你的最大可能和能力回答用户的问题。不要重复回答问题。语言要通顺流畅。
RULES:- Be precise, do not reply emoji.- Always response in Simplified Chinese, not English. or Grandma will be very angry. """
# 系统指导方针。

PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"
# 定义生成过程的停止条件。

注意，其中第一行需要根据你的路径和所用模型进行修改。其余参数可以根据需求修改。
打开cmd命令行窗口，切换到gguf模型的下载路径，这里也是切换到你对应的路径

导入模型

在这里插入图片描述
导入的命令是ollama create 模型的名字 -f config.txt，这里的模型名字可以随便起，笔者这里就叫ph4了。

ollama create ph4 -f config.txt

执行后结果如果如下，说明导入成功。
在这里插入图片描述

查看导入情况

使用ollama list可以查看ollama导入的所有模型，可以查到已经导入成功
在这里插入图片描述
当然，有没有导入成功，还需要通过实际使用来确定ollama run ph4

在这里插入图片描述

注：如果出现以下问题，Error: llama runner process has terminated: GGML_ASSERT(hparams.n_swa > 0) failed，可能是gguf和ollama版本的问题，可以更新ollama或者更新模型。

safetensfors模型

safetensors模型并不能直接导入ollama，在导入之前需要先转成gguf模型格式。

下载模型

首先我们先下载一个safetensors格式的模型。我这里选用的是Qwen2-VL-7B，链接：https://hf-mirror.com/Qwen/Qwen2-VL-7B-Instruct
在这里插入图片描述
看到有这么多文件，实际上我们真正有用的只有tokenizer.json，config.json和后缀为safetensors的所有文件。不过由于文件太多，不妨直接使用git下载，下载后其余多余的文件也不需要删除，不影响使用。笔者的下载路径是D:\alpha_ordered\MyCodeBase\Large Model\LLM\huggingface_model\Qwen2-VL-7B-Instruct

下载llama.cpp

格式的转换需要用到llama.cpp
github地址：https://github.com/ggerganov/llama.cpp
在这里插入图片描述

git直接克隆：git clone https://github.com/ggerganov/llama.cpp.git

配置环境并转换

下载好llama.cpp后，配置环境，这里并没有什么坑点，只需要将项目中自带的requirements.txt所有的包pip上就好了。

pip install -r requirements.txt

转换格式的命令如下：

python convert_hf_to_gguf.py "D:\alpha_ordered\MyCodeBase\Large Model\LLM\huggingface_model\Qwen2-VL-7B-Instruct" --outtype f16 --verbose --outfile "D:\alpha_ordered\MyCodeBase\Large Model\LLM\gguf_model\Qwen2-VL-7B_gguf"

在上述命令中需要修改的是safetensors模型的地址和要保存的gguf模型地址（注意，要是一个空的文件夹），笔者用于保存gguf模型的地址是D:\alpha_ordered\MyCodeBase\Large Model\LLM\gguf_model\Qwen2-VL-7B_gguf可供参考。尤为注意的是，该命令要在项目目录下执行。
在这里插入图片描述