在笔记本电脑上使用 LLMs 的 5 种方法

在网上使用 ChatGPT 很简单，只需有网络连接和好的浏览器即可。但这样做可能会泄露您的隐私和数据。OpenAI 存储了您的提示和其他元数据以重新训练模型。对于一些人来说可能不成问题，但注重隐私的人可能更愿意在本地使用这些模型，不受外部跟踪的影响。

本文将介绍五种在本地使用大型语言模型（LLMs）的方法。这些软件大多兼容所有主要操作系统，并且可以轻松下载安装。通过在笔记本电脑上使用LLMs，您可以自由选择模型，只需从 HuggingFace hub 下载模型即可开始使用。此外，您还可以授权这些应用程序访问您的项目文件夹，并生成上下文感知的响应。

1. GPT4All

GPT4All 是一款先进的开源软件，允许用户轻松下载和安装最先进的开源模型。

只需从网站下载并在系统上安装 GPT4ALL。接下来，从面板中选择适合您需求的模型即可开始使用。如果您安装了 CUDA（Nvidia GPU），GPT4ALL 将自动开始使用您的 GPU 生成每秒最多 30 个标记的快速响应。

您可以授予对包含重要文件和代码的多个文件夹的访问权限，GPT4ALL 将使用检索增强生成生成响应。GPT4ALL 用户友好，速度快，受到 AI 社区的欢迎。

2. LM Studio

LM Studio 是一款新软件，与 GPT4ALL 相比，它提供了几个优点。用户界面出色，您可以通过几次点击安装 Hugging Face Hub 上的任何模型。此外，它提供了 GPU 卸载和其他 GPT4ALL 中不可用的选项。但是，LM Studio 是闭源的，并且没有通过阅读项目文件生成上下文感知的响应选项。

LM Studio 提供了对数千种开源LLMs的访问，允许您启动本地推理服务器，行为类似于 OpenAI API。您可以通过交互式用户界面上的多个选项修改LLM的响应。

3. Ollama

Ollama 是一个命令行界面（CLI）工具，可快速操作大型语言模型，如 Llama 2、Mistral 和 Gemma。如果您是黑客或开发人员，这个CLI工具是一个绝佳的选择。您可以下载并安装该软件，并使用 llama run llama2 命令开始使用 LLaMA 2 模型。您可以在 GitHub 存储库中找到其他模型命令。

它还允许您启动本地 HTTP 服务器，可以与其他应用程序集成。例如，您可以通过提供本地服务器地址使用 Code GPT VSCode 扩展，并开始使用它作为AI编码助手。

4. LLaMA.cpp

LLaMA.cpp 是一个同时提供 CLI 和图形用户界面（GUI）的工具。它允许您在本地无需任何麻烦即可使用任何开源LLMs。这个工具高度可定制，并提供对任何查询的快速响应，因为它完全使用纯 C/C++ 编写。

LLaMA.cpp 支持所有类型的操作系统、CPU 和 GPU。您还可以使用多模态模型，如 LLaVA、BakLLaVA、Obsidian 和 ShareGPT4V。

5. NVIDIA Chat with RTX

要使用 NVIDIA Chat with RTX，您需要在笔记本电脑上下载并安装 Windows 11 应用程序。该应用程序与至少具有 8GB RAM 和 50GB 可用存储空间的 30 系列或 40 系列 RTX NVIDIA 显卡的笔记本电脑兼容。此外，您的笔记本电脑至少应具有 16GB RAM 才能顺利运行 Chat with RTX。

通过 Chat with RTX，您可以在笔记本电脑上本地运行 LLaMA 和 Mistral 模型。这是一个快速高效的应用程序，甚至可以从您提供的文档或 YouTube 视频中学习。但是，需要注意的是，Chat with RTX 依赖于 TensorRTX-LLM，后者仅支持 30 系列 GPU 或更新版本。