1. 必备软件
- LM-Studio 大模型客户端
- DeepSeek-R1 模型文件
LM-Studio 是一个支持众多流行模型的AI客户端,DeepSeek是最新流行的堪比GPT-o1的开源AI大模型。
2. 下载软件和模型文件
2.1 下载LM-Studio
官方网址:https://lmstudio.ai
打开官网,直接下载自己系统对应的版本,然后安装。
2.2 下载模型文件
官方网址:https://modelscope.cn/models
打开网址,探索deepseek-r1
然后选择文件名带有gguf
的大模型,进入模型文件后,根据自己的显卡配置,选择合适的量化版本下载。
如果不知道怎么选择,推荐Q4量化版本,测试效果,如果系统压力过大,再选择小一点的量化版本。
3. 配置模型文件
创建模型文件存放目录,并把模型文件复制到其中如:
D:\models\models\deepseek-r1-7b-q4\xxx.gguf
这里的xxx.gguf
表示下载的模型文件,接下来打开lm-studio,选择【我的模型】也就是左边像文件夹一样的按钮,然后修改模型目录,以上面的模型目录为例,设置的目录应该是:D:\models
这样才能被lm-studio正确识别模型路径。
4. 开始白嫖
切换回聊天界面,就可以开始自由自在地使用离线AI,体验国产之光 DeepSeek 的魅力了。
5. 结语
由于LM-Studio自带下载模型功能,但是需要使用魔法才能用自带的功能去下载模型,所以这个对大多数用户行不通,所以选择了手动去指定的网站下载模型文件。
modelscope.cn 是阿里旗下的一个模型社区,国内可以正常访问并下载模型文件,速度也是非常快,值得收藏。
最后选择离线版AI是因为在线版本虽然价格公道,但是还是有不少限制,尤其是话题上的限制,选择离线搭建,就不会有话题上的限制了,而且是完全免费的。