Ollama导入大模型
- 一、导入Ollama大模型
- 1、使用run命令
- 2、使用Modelfile方式
- 二、导入自定义大模型(Ollama官网以外的大模型)
- 三、使用OpenWebUI导入大模型
Ollama可以导入官方提供的大模型,也可以导入huggingface上的自定义大模型(国内镜像https://hf-mirror.com/)。
一、导入Ollama大模型
可以上Ollama官网搜索想要导入的大模型(https://ollama.com/library)
1、使用run命令
然后使用命令导入
ollama run llama3
或者
ollama run phi3
等待下载完成,即可。
2、使用Modelfile方式
使用ollama的pull命令,拉取大模型到本地
ollama pull phi3
然后创建一个后缀为phi3.Modelfile的文件,文件内容如下:
FROM phi3
# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1
# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""
创建好文件后,使用ollama的create命令导入。
ollama create phi3 -f ./phi3.Modelfile
ollama run phi3
二、导入自定义大模型(Ollama官网以外的大模型)
导入自定义gguf(Safetensors大模型为测试成功,待后续测试)大模型,需要使用Modelfile方式导入。
例如需要导入llava大模型:
1、在huggingface国内镜像上搜索到大模型
然后在模型文件后面的下载图标上,点击右键,点击“复制链接地址”。
然后将大模型文件下载到ollama服务器上。
下载命令:
curl https://hf-mirror.com/xtuner/llava-llama-3-8b-v1_1-gguf/resolve/main/llava-llama-3-8b-v1_1-f16.gguf?download=true
下载完成后,创建llava.Modelfile文件,文件内容:
FROM /home/llava-llama-3-8b-v1_1-f16.gguf
TEMPLATE """[INST] <>{{ .System }}<>
{{ .Prompt }} [/INST]
"""
# 设定温度参数为1 [更高的更具有创新性,更低的更富有连贯性]
PARAMETER temperature 1.0
PARAMETER top_k 100
PARAMETER top_p 1.0
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
PARAMETER stop "<>"
PARAMETER stop "<>"
SYSTEM """
你是可以与梵高相比的绘画大师
"""
创建好文件后,使用ollama的create命令导入。
ollama create llava -f ./llava.Modelfile
ollama run llava
三、使用OpenWebUI导入大模型
前提已经在OpenWebUI中配置好了Ollama。
在OpenWebUI中点击 工作空间 》创建模型文件 然后填入相应的内容。
“内容” 和上一个方法中Modelfile文件中的内容一样。然后点击“保存并创建”,等待下载完成,即可使用。