LLMs之Grok-1：Grok-1的简介、安装、使用方法之详细攻略
导读：马斯克旗下的xAI公司宣布开源名为Grok-1的混合专家模型，参数量达3140亿，为目前最大的开源大语言模型。xAI此举或将引领人工智能开源趋势，同时也将对不太Open的OpenAI等公司形成市场和技术竞争压力。
Grok-1的特点：
>> 从头训练，未针对任何特定任务微调
>> 使用MoE模型，每个token上的平均激活权重为25%
>> 采用JAX库和Rust语言从零开始训练
>> 采用Apache许可证完全开源了模型权重和架构
评估结果：Grok-1在人工评估任务和标准机器学习基准上表现出色，超越其他同类模型。
下载方法：可以使用磁力链接或Torrent客户端下载权重文件，但需要6TB以上GPU内存运行示例代码。
目录
Grok-1的简介
1、模型详情
2、模型规格细节
Grok-1的安装
1、下载
(1)、下载仓库
(2)、下载模型权重
T1、可以使用种子客户端和以下磁铁链接下载权重：推荐
T2、直接使用HuggingFace：非常慢
2、运行测试代码
Grok-1的使用方法
Grok-1的简介
2024年3月17日(当地时间)，马斯克的AI创企xAI重磅发布了Grok-1的基础模型权重和网络架构，这是一款大型语言模型。Grok-1是一个3140亿参数的专家混合模型，远超OpenAI GPT-3.5的1750亿。由xAI从头开始训练。这是Grok-1预训练阶段的原始基础模型检查点，该阶段于2023年10月结束。这意味着该模型没有针对任何特定应用进行微调，比如对话。
要开始使用该模型，请按照github.com/xai-org/grok上的说明操作。
官网：Open Release of Grok-1
GitHub地址：GitHub - xai-org/grok-1: Grok open release
1、模型详情
基于大量文本数据训练的基础模型，没有针对任何特定任务进行微调。
3140亿参数的专家混合模型，对于给定的标记，有25%的权重处于活动状态。
在2023年10月由xAI从头开始使用JAX和Rust的自定义训练堆栈进行训练。
封面图像是使用Midjourney生成的，基于Grok提出的以下提示：
A 3D illustration of a neural network, with transparent nodes and glowing connections, showcasing the varying weights as different thicknesses and colors of the connecting lines.
一个神经网络的3D插图，具有透明的节点和发光的连接，展示了连接线的不同粗细和颜色作为不同权重的变化。
2、模型规格细节
Grok-1当前设计具有以下规格：
参数：314B
架构：8个专家的混合（MoE）
专家利用率：每个标记使用2个专家
层：64
注意头：48个用于查询，8个用于键/值
嵌入大小：6,144
标记化：带有131,072个标记的SentencePiece分词器
附加功能：
旋转嵌入（RoPE）
支持激活分片和8位量化
最大序列长度（上下文）：8,192个标记
Grok-1的安装
1、下载
(1)、下载仓库
这个存储库包含了加载和运行Grok-1开放权重模型的JAX示例代码。
确保下载检查点并将ckpt-0目录放置在checkpoints中 - 请参阅下载权重
地址：GitHub - xai-org/grok-1: Grok open release
(2)、下载模型权重
T1、可以使用种子客户端和以下磁铁链接下载权重：推荐
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2FannounceT2、直接使用HuggingFace：非常慢
git clone https://github.com/xai-org/grok-1.git && cd grok-1
pip install huggingface_hub[hf_transfer]
huggingface-cli download xai-org/grok-1 --repo-type model --include ckpt-0/* --local-dir checkpoints --local-dir-use-symlinks False2、运行测试代码
安装依赖，并测试代码
pip install -r requirements.txt
python run.py来测试代码。该脚本会加载检查点并从模型中对测试输入进行采样。
由于模型的体积很大（314B参数），测试模型需要具有足够GPU内存的计算机以运行示例代码。此存储库中MoE层的实现不高效。选择了这种实现以避免需要自定义内核来验证模型的正确性。
Grok-1的使用方法
更新中……
