马斯克的 Grok-1 开源，3140亿参数目前最大开源模型，最佳实践教程来啦

近几天开源社区最大的热点，莫过于埃隆马斯克信守承诺的最大开源模型Grok-1。

Grok-1 是一款 314B 大型专家混合 (Mixture of Expert，MoE) Transformer，作为基础模型，基于大量文本数据进行训练，没有针对任何具体任务进行微调，使用 JAX 库和 Rust 语言组成的自定义训练堆栈从头开始训练。

官方提供的详细模型参数如下：

参数量： 3140亿
架构： 8个混合专家模型（MoE），每个Token使用2个专家
层数： 64层
多头注意力： Q使用48个注意力头，K/V 使用8个注意力头
嵌入尺寸： 6,144
词表大小： 131,072个Tokens，采用SentencePiece 分词器
使用RoPE位置编码
支持激活分片和8位量化
最大序列长度（上下文）： 8,192个Tokens

模型性能方面，Grok-1官方发布的Benchmark超过GPT-3.5 和 LLaMa2 70B（MMLU 为73%，GMSK 为62.9%，HumanEval 为63.2%）

话题中的模型效果如何，老规矩，我们向大家提供推理实践教程~

模型链接和下载

Grok-1模型在ModelScope社区可下载：

模型链接：https://www.modelscope.cn/models/AI-ModelScope/grok-1/summary

社区支持直接下载模型的repo：

from modelscope import snapshot_download
model_dir = snapshot_download("AI-ModelScope/grok-1")

Grok推理和评测

环境准备

Grok-1需要8卡A100运行。原始模型是Jax框架编写，因此使用魔搭默认镜像无法工作，为此需要使用Jax的镜像：

docker pull ghcr.io/nvidia/jax:jax
# 如果国内用户无法拉取上面的镜像可以使用我们转储的镜像
# docker pull registry.cn-wulanchabu.aliyuncs.com/ed/jax:1.0

进入docker实例之后对grok代码库进行克隆：

git clone https://github.com/xai-org/grok-1.git
cd grok-1
pip install -r requirements.txt
# 修正Jax版本
pip install --upgrade "jax[cuda12_local]==0.4.23" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html

运行推理可以直接使用官方提供的样例：

# cd grok-1
# 修改样例中的CKPT_PATH = "ModelScope下载的模型路径"
python run.py

显存占用

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型算法岗技术与面试交流群，想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：技术交流

实践合集：《大模型实战宝典》（2024版）正式发布！

用通俗易懂方式讲解系列

用通俗易懂的方式讲解：自然语言处理初学者指南（附1000页的PPT讲解）
用通俗易懂的方式讲解：1.6万字全面掌握 BERT
用通俗易懂的方式讲解：NLP 这样学习才是正确路线
用通俗易懂的方式讲解：28张图全解深度学习知识！
用通俗易懂的方式讲解：不用再找了，这就是 NLP 方向最全面试题库
用通俗易懂的方式讲解：实体关系抽取入门教程
用通俗易懂的方式讲解：灵魂 20 问帮你彻底搞定Transformer
用通俗易懂的方式讲解：图解 Transformer 架构
用通俗易懂的方式讲解：大模型算法面经指南（附答案）
用通俗易懂的方式讲解：十分钟部署清华 ChatGLM-6B，实测效果超预期
用通俗易懂的方式讲解：内容讲解+代码案例，轻松掌握大模型应用框架 LangChain
用通俗易懂的方式讲解：如何用大语言模型构建一个知识问答系统
用通俗易懂的方式讲解：最全的大模型 RAG 技术概览
用通俗易懂的方式讲解：利用 LangChain 和 Neo4j 向量索引，构建一个RAG应用程序
用通俗易懂的方式讲解：使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA
用通俗易懂的方式讲解：面了 5 家知名企业的NLP算法岗(大模型方向)，被考倒了。。。。。
用通俗易懂的方式讲解：NLP 算法实习岗，对我后续找工作太重要了！。
用通俗易懂的方式讲解：理想汽车大模型算法工程师面试，被问的瑟瑟发抖。。。。
用通俗易懂的方式讲解：基于 Langchain-Chatchat，我搭建了一个本地知识库问答系统
用通俗易懂的方式讲解：面试字节大模型算法岗(实习)
用通俗易懂的方式讲解：大模型算法岗(含实习)最走心的总结
用通俗易懂的方式讲解：大模型微调方法汇总

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/479899.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！