【背景】
上一篇介绍了如何用Ubuntu命令行部署ollama LLM+RAG服务。部署后等于拥有了基于内网的AI Saas服务,其它内网用户可以通过默认的网址访问Playground对AI进行问答。
【概念】
RAG:通过词向量技术,将文件内容向量化后,通过语言模型以自然交流的形式得到文本相关的内容。可以形容为与文件库或知识库对话的系统。
RAG的后台向量库并不需要对LLM产生影响,LLM是人与向量库(知识库)之间的交流媒介。因此知识库的内容可以随时增减,而不用经历高成本的finetube过程。
【为什么要再写一篇Win10下的部署方法】
实践下来发现,win10虽然可以搞Ubuntu虚拟子系统来以Linux的方式部署ollama框架的ai服务,但是还是存在curl命令下载慢,经常timeout和其它环境问题。
直接在Win10用CMD进行部署则可以成功规避大量此类问题。
【部署方法】
- 首先,直接ollama官网下载win版本的安装包,发现比起痛苦的curl来简直神速了。ollama官网
- 下载后无脑下一步安装。
- 安装完成后,管理员权限打开CMD,输入ollama,可以发现命令可以使用了。
- 有了ollama,就可以下载llm模型了,这个模型就是你与文件进行沟通的媒