Ollama
- 下载源码
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz
- 启动
export OLLAMA_HOST=0.0.0.0:11434
ollama serve
- 访问ip:11434看到即成功
Ollama is running
手动安装deepseek1.5b
https://modelscope.cn/
- 下载GGUF文件
- 将GGUF上传到服务器，同目录下创建模型文件dsr1-1.5b.txt,注意第一句FROM后是GGUF的文件名
FROM DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER min_p 0.05
PARAMETER num_ctx 1024
PARAMETER num_thread 4
PARAMETER num_gpu 8
# 设置对话终止符
PARAMETER stop "<｜begin▁of▁sentence｜>"
PARAMETER stop "<｜end▁of▁sentence｜>"
PARAMETER stop "<｜User｜>"
PARAMETER stop "<｜Assistant｜>"
SYSTEM """
"""
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }}
{{- end }}"""
3.** ollama执行命令导入模型，可以查看模型导入成功**
ollama create deepseek-r1:1.5b -f dsr1-1.5b.txt
ollama list
- 直接运行1.5b,可以进行简单的问题，模型部署成功
ollama run deepseek-r1:1.5b
docker 安装dify
详情查看官方文档，https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose
难点一：需要注意的是，docker compose up -d容器启动不成功的话需要根据具体情况修改部分配置。
举例：本机安装了nginx，非docker部署的，dify 的docker compose拉取的nginx出现了端口冲突，需要修改difynginx的端口号。
- 将docker目录下的.env.example 中的80 443 修改为 8088和8443，再次执行cp .env.example .env，将实际修改同步到.env文件。
- docker-compose文件修改
把此文件的所有443修改为8443 以及所有443前后行的80 修改为8088,之后再次执行docker compose up -d。全部启动成功后，即可访问dify，此时dify不是教程上的ip/install了，需要ip:8088/install访问，nginx变了你懂的。
难点二：镜像拉不下来
为何linux无法使用curl一键拉取ollama呢是不是，ollama又为何不可以直接pull模型呢是不是，所有dify拉不下来镜像也是应该的。
window的dify必须使用wsl的linux环境去部署，不然可能会出现莫名的问题，wsl下是很顺利地，安装dify后，将镜像打包成tar。
如图所示，全部手动上传服务器，然后load -i导入进去即可。然后执行docker compose up -d。
docker compose up -d执行不成功的话，docker-compose down可以进行删除。
dify知识库的话还需要一个嵌入模型，也同deepseek一起导入ollama即可。
