6K star! 部署本地运行LLM的AI助手，零基础入门到精通超详细

AI套壳千千万万，你最喜欢哪一款？现在各种ChatGPT替代品层出不穷，但是大部分都是使用OpenAI的API，也就说离不开网络。

今天我们推荐的开源项目它就是要帮你100%在本地运行大模型，进而构建一个属于自己的ChatGPT，本项目目前在GitHub已超过6K Star，它就是：Jan。

Jan是什么?

Jan 是一个开源 ChatGPT 替代品，可以在您的计算机上 100% 离线运行。

Jan支持从 PC 到多 GPU 集群的各种类型环境，以下是Jan支持运行环境类型：

Nvidia GPU（快速）
Apple M 系列（快速）
苹果英特尔
Linux Debian
Windows x64

下面是它的GitHub star历史，进入2024年，Jan就像坐上了火箭，一下子就起飞了。

为什么用 Jan

对比与同类产品，我们整理了一下Jan具备的特点：

支持广泛：支持各种开源的LLM（GGUF ，TensorRT）
跨平台支持：Windows、Mac、Linux，并通过Llama.cpp使用GPU加速。从本质上讲，Jan 是一个跨平台、本地优先的 AI 原生框架，可用于构建任何东西。在开发中Jan努力遵循 Clean Architecture，努力去构建一个跨平台的应用。

本地数据存储：数据存在本地，没有安全风险，并可以导出和迁移。
提供本地API server，可以快速提供本地服务。
支持扩展，可以自己开发扩展。

安装 Jan

安装包安装：

我的电脑是Mac，可以通过主页[jan.ai/下载对应的安装包，当然…]

下载完成，只需要点击安装，就可以安装好了。

源码安装：

源码安装首先要确定2个前提：

Node.js 版本： 20.0.0 +
Yarn 版本 1.22.0 +

接下来下载源码：

git clone <https://github.com/janhq/jan>
git checkout DESIRED_BRANCH
cd jan

使用yarn来安装依赖：

yarn install

# Build core module
yarn build:core

# Packing base plugins
yarn build:plugins

# Packing uikit
yarn build:uikit

最后启动项目：

yarn dev

使用Jan

打开Jan之后，我们首先要安装模型。Jan里面自带了hub，可以直接找到各种模型。

我直接安装了推荐的Mistral 7B，最近也很火的。

Jan里面thread就相当于是会话。在右侧区域可以快速新建thread开始使用，还可以配置预设参数，以及切换模型等。

Jan当中支持灵活的编辑，比如想针对thread进行编辑，点三个点，就可以直接到JSON里编辑修改。

对于扩展来说，目前除了安装自带的，我还没看到能安什么，看来要等等。

Jan 附带了一个内置 API 服务器，可以用作 OpenAI API 的直接本地替代品。可以在设置中启用API server，默认会在1337端口。这是文档中说的，我装的stable版本里面没找到。

使用上其他就没有，大家自己试试，可以多交流。

项目信息

项目名称：Jan
GitHub 链接：[github.com/janhq/jan]

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述