参考:本地快速部署谷歌开源大模型Gemma(基于Ollama) - 知乎
确保系统更新:
Bash
sudo apt update && sudo apt upgrade
需要先下载Ollama,版本要求0.1.26及以上
运行curl -fsSL https://ollama.com/install.sh | sh
监听 Ollama API 接口 11434端口
ollama run gemma:2b
提问:
树上有3只鸟,开了一枪,还有几只鸟
没有GPU的情况下,14B的模型,每秒大概推理两个汉字了,时间效率上没法用
其他模型:
qwen:7b 4GB 大概
qwen:14b 8.2GB
qwen:72b 41TB
gemma:2b 1.7GB
https://ollama.ai/library/qwen/tags