摘要:
本文主要记录这一段时间对本地大模型搭建的心得。
作为一个资深程序员,在AI席卷全球的时候,深深感觉到了一丝危机感,不禁有一个想法不断在脑海闪现:我会不会真的哪一天被AI给取代了?
从哪入手
程序员出生的我,掌握了很多语言,从前端到数据库,再到运维,基本都能一个人搞定,所以,我对搭建一个AI程序还是很自信的。
于是,我开始研究各个比较火的大模型:Chatgpt3.5、chatgpt4.0、chatgpt4o、llama、通义千问、豆包、等等。
发现他们的api从以前的不收费到现在的慢慢开始收费,我相信,后面肯定会收费的。于是,我就有了搭建本地大模型的方法,用别人的再爽,那也是别人的,万一哪天,别人宕机了,或者涨价了,你是用还是不用呢?
调研本地安装方法
当有了搭建的想法之后,就是落地了。怎么安装本地大模型呢?于是各种搜索,,,,挺费时间的,还需要实践。不得不说,你们运气真好,碰到我了。
经过实践之后,我发掘了两套部署方式:
1、LmStudio ,这个简单,把这个工具下载下来,然后,再工具里面下载大模型就行了。
1.1工具下载地址:https://lmstudio.ai/
下载完之后,直接安装就行了。
打开之后的界面是这个样子:
1.2 这里需要点左边最后一个文件夹,修改一下你模型下载的地址,不然你下载的模型都会默认在C盘。
1.3 然后就是下载大模型了
在主页,你可以选择你要下载的大模型,然后下载。
下载半天你会发现,下载不了,爆红了:
此时不要着急,找到它下载的配置文件,一般在:C:\Users\你的电脑名称.cache\lm-studio。
打开下面的文件:
把所有的:huggingface.co换成:hf-mirror.com
保存后,重新打开LmStudio,点try_resume,发现可以下载了。
下载完之后,你就可以用啦。
2、ollama,这个稍微有点复杂
2.1 首先下载这个软件
地址是:https://ollama.com/download
下载完之后,安装。