目录
Ollama 是一个能在本地机器上轻松构建和运行大型语言模型的轻量级、可扩展框架,适用于多种场景,具有易于使用、资源占用少、可扩展性强等特点。
1.安装下载ollama
2.为 Ollama 创建一个用户
3.为ollama创建服务文件
4.启动ollama服务
5.拉取语言模型镜像
(1) pull一个语言模型
(2) 查看本地模型
(3) 本地运行测试模型
Ollama 是一个能在本地机器上轻松构建和运行大型语言模型的轻量级、可扩展框架,适用于多种场景,具有易于使用、资源占用少、可扩展性强等特点。
官网地址:https://ollama.com/
中文地址:https://ollama.fan/getting-started/
1.安装下载ollama
curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
##如果拉取失败可以使用浏览器访问下载上传至服务器的/usr/bin/目录并名称改为ollama
chmod +x /usr/bin/ollama
2.为 Ollama 创建一个用户
useradd -r -s /bin/false -m -d /usr/share/ollama ollama
3.为ollama创建服务文件
cat <<EOF>> /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434" ###默认只能本地回环地址可访问,添加此行所有地址均可访问
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
[Install]
WantedBy=default.target
EOF
4.启动ollama服务
#重新加载服务文件,启动并设置开机自启
systemctl daemon-reload
systemctl enable ollama --now
#到这里ollama就安装完成了!
5.拉取语言模型镜像
(1) pull一个语言模型
ollama pull qwen:0.5b
#由于模型镜像比较大拉取速度可能会有一些慢大概需要半个小时,当然速度取决于网速
(2) 查看本地模型
ollama list
(3) 本地运行测试模型
ollama run qwen:0.5b
#进入交互界面随便问一些问题
>>> 马上就要中考了,给所有考生写一份鼓励信
##CPU/GPU的性能越高模型响应速度越快