大模型排行榜
| 测试集 |
|---|
| CEval中文多个学科测试集排名 |
| MMLU大规模多任务语言理解英文排名，介绍 |
| 斯坦福排行榜 |
| Math-V |
| Math-Vista |
| Open LLMs Leaderboard |
| CMMLU |
大模型数据集
| 标题 | 简介 |
|---|---|
| 19个大模型常用的评估数据集和训练数据集汇总 | 19个大模型常用的评估数据集和训练数据集汇总 |
| 最全 高质量 大模型（LLM）中文预训练数据集，持续更新中 | 高质量的中文预训练数据集 is all Chinese LLM need |
| 最全 高质量 大模型 -预训练数据集（不定期更新） | 最全 高质量 大模型 -预训练数据集（不定期更新） |
大模型相关资料
| 标题 | 简介 |
|---|---|
| Huggingface的介绍，使用（CSDN最强Huggingface入门手册） | 实现AGI的车轮地方 |
| Transformers Tasks | 一个github上开源项目，里面有许多典型的NLP项目，且有相应的讲解和源码 |
| 《Planing for AGI and beyond》 | OpenAI对实现强人工智能AGI的规划 |
| 老北鼻AI工具箱 | 各类AI产品 |
| GPT相关开源项目合集 | GPT相关开源项目合集 |
| AutoGPT | AutoGPT项目地址 |
| Agent | AI Agent，英文原文 |
| 从大型语言模型LLM走向人工通用智能AGI的改进方向（ public） | 我对未来LLM发展以及实现AGI的思考 |
| 从大型语言模型LLM走向人工通用智能AGI的改进方向（ private） | 我对未来LLM发展以及实现AGI的思考和解决思路 |
| 大脑相关知识的简单介绍（小白入门） | 比较浅显的介绍 |
| 人的记忆组成图 | 人的记忆图示化 |
大模型基础技术
| 标题 | 简介 |
|---|---|
| 稳定扩散模型The Illustrated Stable Diffusion图示化讲解 | Jay讲解Stable Diffusion |
| Transformer图示化讲解 | Jay讲解 Attention is all you need(Transformer) |
| ChatGPT深度体验记录，期待GPT-4（测试各领域知识，正常聊天，写代码，写诗歌，模拟人格，机器翻译，语法改错等） | 2022.12.1号发布的ChatGPT体验记录 |
| 模型量化技术 | LLM大模型中常见的模型量化技术介绍 |
| 看注解逐行学习ChatGLM2-6B大模型 | 学习大模型源码 |
| 逐行代码学习ChatGLM2-6B大模型SFT微调（通过prompt ptune实现） | 学习大模型微调源码 |
| KBQA知识总结 | 基于知识图谱的问答（KBQA）介绍 |
| 从零开始的知识图谱生活 | GitHub上一个知识图谱项目，适合入门学习知识图谱。是一个入门知识图谱过程中的学习笔记，算是半教程类的，指引初学者对知识图谱的各个任务有一个初步的认识。 |
| 大模型训练为什么用A100不用4090 | 关于大模型训练的事情 |
| 大模型优化之KV Cache | 推理阶段时KVcache的作用 |
| 大模型实战教程 | 大模型实战教程，配套教程和代码 |
| 大模型训练时常见GPU的对比 | 大模型训练时常见GPU的对比 |
| 不得不会的32个Linux命令 | 常见linux命令 |
| 手把手带你实战HuggingFace Transformers | b站传送门，动手学习NLP和LLM非常好的地方 |
| 1B（10亿）的token大概需要多少磁盘空间存储 | 算token数 |
| Slurm集群上单节点8卡全量微调大模型笔记 | Slurm集群上单节点8卡全量微调大模型笔记 |
| 大模型加载的参数介绍及推荐表 | 大模型加载的参数介绍及推荐表，temperature、top_k、top_p、num_beams、num_beam_groups、do_sample等 |
| 大模型：常见的文字表情包(可以直接加到微调数据里) | 大模型：常见的文字表情包(可以直接加到微调数据里) |
| LLM模型评测代码实践 | LLM模型评测代码实践 |
| DeepSpeed使用指南(简略版) | 简单介绍DeepSpeed使用指南(简略版) |
| DeepSpeed使用指南(资深版) | LLM-分布式训练工具（一）：DeepSpeed【微软】【大模型分布式训练工具，实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中，突破单张显卡容量不足以加载模型参数的限制】 |
| Huggingface 镜像站 | Huggingface 镜像站 |
| DPO原理 | DPO原理 |
