本地快速部署谷歌开放模型Gemma教程（基于LMStudio）
- 一、介绍 Gemma
- 二、部署 Gemma
- 2.1 部署工具
- 2.1 部署步骤
- 三、总结
一、介绍 Gemma
Gemma是一系列轻量级、最先进的开放式模型，采用与创建Gemini模型相同的研究和技术而构建。可以直接运行在本地的电脑上，无GPU也可以运行，只用CPU即可，只不过速度慢点。
二、部署 Gemma
2.1 部署工具
使用 Windows 环境 + LM Studio + Mix Copilot 二个工具部署Gemma，LM Studio 用来运行模型，Mix Copilot 用于可视化操作使用。
LM Studio：https://lmstudio.ai/
LM Studio 是一个发现、下载和运行本地LLMs的软件
通过 LM Studio，您可以…
🤖 - 在您的笔记本电脑上运行LLMs，完全离线
👾 - 通过应用内聊天 UI 或 OpenAI 兼容的本地服务器使用模型
📂 - 从 HuggingFace 🤗 存储库下载任何兼容的模型文件
🔭 - 在应用程序主页中发现新的、值得注意的LLMs
Mix Copilot：https://www.mix-copilot.com/
MiX Copilot支持任何符合OpenAI接口规范的LLM接入，您开启本地LLM应用后，只要将端口在设置页填写就可以使用。
重点功能介绍
- 从网上爬取数据并保存本地
- 允许通过Workflow Combo生成知识
- 允许通过关键词搜索自己的知识库
- 可以通过编辑器低成本构建自己的工作流
- 允许通过多Tab方式发起多个LLM对话
- 阅读文章时召唤“专家”解答问题
2.1 部署步骤
- 下载模型：地址为
https://huggingface.co/lmstudio-ai/gemma-2b-it-GGUF/tree/main，得到名为gemma-2b-it-q8_0.gguf的模型文件
- 下载并安装工具 LM Studio 和 MiX Copilot
- LM Studio 配置
设置模型路径：在models目录下新建目录Publisher\Repository，将模型文件移动到Repository中，重启LM Studio即可。（不新建目录会出现提示You have 1 uncategorized model files）
启动模型服务
设置端口
开启成功
你也可以直接使用加载的模型在 LMStudio 中的 AI Chat
- MiX Copilot 配置
大语言模型设置，API URL地址
5.开始使用
三、总结
此教程用于基于Windows系统的部署，可根据自身需求定制部署环境，灵活调整配置参数，满足个性化需求。对模型和数据拥有完全控制权，可自由进行二次开发和扩展。
