分别使用本地windows和云端linux进行部署,测试不同硬件资源的模型推理性能:
windos部署:直接打开Download Ollama on Linux 下载,然后本地启动服务,
linux部署:curl -fsSL https://ollama.ai/install.sh | sh
接着启动ollama pull deepseek-r1:7b,然后就可以使用了,
window本地占用:
速度还是比较快,基本上7-8token每秒,但是我测试了一下kimi的官网,每秒50个token随随便便。。。感觉也还行吧