DeepSeek开源周Day6：DeepSeek V3、R1 推理系统深度解析，技术突破与行业启示

DeepSeek 在开源周第六天再次发文，中文原文、官方号在知乎

DeepSeek - 知乎
DeepSeek-V3 / R1 推理系统概览 - 知乎
deepseek-ai/open-infra-index: Production-tested AI infrastructure tools for efficient AGI development and community-driven innovation

引言

2025年2月，深度求索（DeepSeek）发布了V3/R1推理系统，凭借545%的成本利润率（按行业标准折算为85%）和单节点8,575 tokens/s的吞吐量，刷新了大模型推理性能的认知。本文将深度解析其技术实现，并探讨对行业的影响。

一、核心技术突破

1.1 专家并行（Expert Parallelism, EP）革命

什么是专家并行？

在MoE（Mixture-of-Experts）模型中，每个输入仅激活部分专家（如DeepSeek V3每层激活8/256个专家）。EP技术通过将专家分布到多GPU，实现：

吞吐量提升：单批次处理量扩大32-144倍
内存优化：单卡仅需存储部分专家参数
延迟降低：减少单卡计算负载

实现细节

阶段	并行策略	节点数	单卡负载
预填充阶段	EP32 + DP32	4节点	9路由专家+1共享专家
解码阶段	EP144 + DP144	18节点	2路由专家+1共享专家

关键技术价值：相比传统单卡推理，EP实现数量级成本下降，H800集群效率超越英伟达H200 1.5倍

1.2 通信-计算重叠优化

双批次流水线

将请求拆分为Micro-Batch，通过交替执行隐藏通信延迟：

预填充阶段：
[计算MB1] -> [通信MB1][计算MB2] -> [通信MB2]
解码阶段：
五级流水线：Attention拆分+多阶段重叠

预填充阶段通信重叠

性能收益

通信延迟降低40%
GPU空闲时间减少至<5%

1.3 三级负载均衡体系

负载类型	优化目标	实现方法
预填充负载	注意力计算均衡	动态分配输入token数
解码负载	KVCache内存均衡	请求数平均分配
专家负载	热点专家分散	专家使用频率监控+动态迁移

技术亮点：通过实时监控实现<2%的负载偏差，避免木桶效应

二、系统架构全景

DeepSeek推理系统架构

核心组件：

路由层：智能请求分发
缓存系统：56.3%的磁盘KV缓存命中率
弹性调度：白天全节点推理，夜间部分节点转训练
精度控制：FP8通信 + BF16计算

三、性能数据解读

3.1 核心指标

指标	数值	行业对比
日均吞吐量	776B tokens	10倍于传统方案
单H800节点解码吞吐	14.8k tokens/s	H200的1.5倍
平均响应延迟	45-50ms	竞品平均120ms+
单位token成本	$0.00002	行业平均$0.0001

3.2 成本结构

pie title 日成本构成（$87,072） "GPU租赁" : 72000 "机房运维" : 12000 "网络带宽" : 3072

3.3 动态扩缩容

日间峰值：278节点
夜间低谷：180节点
智能预测：基于LSTM的负载预测模型

四、行业影响分析

4.1 技术启示

MaaS规模效应：用户量达千万级时，边际成本骤降
超节点趋势：320卡紧耦合系统成为新标杆
精度创新：FP8+BF16混合精度实践

4.2 市场冲击

价格战加速：行业成本认知从2/M
硬件需求变化：NVLink带宽重要性凸显
商业模式创新：免费服务引流+API变现的组合策略

4.3 未来挑战

万卡级EP系统的稳定性
多模态场景的扩展
动态稀疏性的极致优化

五、开源生态建设

DeepSeek同步开源五大核心模块：

FlashMLA：高效注意力计算库
DeepGEMM：矩阵运算优化
DualPipe：双流水线调度器
EPLB：专家负载均衡器
profile-data：性能分析数据集

第 1 天 - FlashMLA

适用于 Hopper GPU 的高效 MLA 解码内核
针对可变长度序列进行了优化，在生产中经过实战测试

🔗 FlashMLA GitHub 存储库
✅ BF16 支持
✅ 分页 KV 缓存（块大小 64）
⚡ 性能：3000 GB/s 内存受限 |H800 上的 BF16 580 TFLOPS 计算绑定

第 2 天 - DeepEP

很高兴推出 DeepEP - 第一个用于 MoE 模型训练和推理的开源 EP 通信库。

🔗 DeepEP GitHub 存储库
✅ 高效和优化的 all-to-all 通信
✅ NVLink 和 RDMA 的节点内和节点间支持
✅ 用于训练和推理预填充的高吞吐量内核
✅ 用于推理解码的低延迟内核
✅ 原生 FP8 调度支持
✅ 灵活的 GPU 资源控制，用于计算通信重叠

第 3 天 - DeepGEMM

DeepGEMM 简介 - 一个 FP8 GEMM 库，支持密集 GEMM 和 MoE GEMM，为 V3/R1 训练和推理提供支持。

🔗 DeepGEMM GitHub 存储库
⚡ 在 Hopper GPU 上高达 1350+ FP8 TFLOPS
✅ 没有繁重的依赖，像教程一样干净
✅ 完全 Just-In-Time 编译
✅ ~300 行的核心逻辑 - 但在大多数矩阵大小中都优于专家调优的内核
✅ 支持密集布局和两种 MoE 布局

第 4 天 - 优化的并行策略

✅ DualPipe - 一种双向管道并行算法，用于 V3/R1 训练中的计算通信重叠。
🔗 GitHub 存储库

✅ EPLB - 适用于 V3/R1 的专家并行负载均衡器。
🔗 GitHub 存储库

📊 分析 V3/R1 中的计算通信重叠。
🔗 GitHub 存储库

第 5 天 - 3FS，所有 DeepSeek 数据访问的推进器

Fire-Flyer 文件系统（3FS） - 一种并行文件系统，可利用现代 SSD 和 RDMA 网络的全部带宽。

⚡ 180 节点集群中的 6.6 TiB/s 聚合读取吞吐量
⚡ 在 25 节点集群中，GraySort 基准测试的吞吐量为 3.66 TiB/min
⚡ 每个客户端节点 40+ GiB/s 峰值吞吐量，用于 KVCache 查找
🧬 具有强一致性语义的分解架构
✅ 训练数据预处理，数据集加载，检查点保存/重新加载，嵌入向量搜索和KVCache查找以进行V3/R1中的推理

📥 3FS → GitHub - deepseek-ai/3FS: A high-performance distributed file system designed to address the challenges of AI training and inference workloads.
⛲ Smallpond - 3FS → https://github.com/deepseek-ai/smallpond 上的数据处理框架

第 6 天 - 还有一件事：DeepSeek-V3/R1 推理系统概述

通过以下方式优化吞吐量和延迟：
-🔧 跨节点 EP 支持的批量扩展
🔄 计算-通信重叠
⚖️ 负载均衡

V3/R1 在线服务生产数据：
⚡ 每个 H800 节点每秒 73.7k/14.8k 输入/输出令牌
🚀 成本利润率 545%

参考引用

DeepSeek-V3 / R1 推理系统概览 - 知乎
deepseek-ai/open-infra-index: Production-tested AI infrastructure tools for efficient AGI development and community-driven innovation

专业术语：

成本利润率
反映系统经济效益的指标，按行业标准折算后，DeepSeek的V3/R1推理系统达到85%，原数值为545% ，体现了该系统在成本控制与收益获取方面的出色表现。类似于做生意时，利润与成本的比例关系，比例越高说明盈利情况越好。
吞吐量
衡量系统数据处理能力的指标，如DeepSeek V3/R1推理系统单节点可达8,575 tokens/s，意味着该系统每秒能处理8,575个token的数据量。好比工厂每秒钟能生产的产品数量。
专家并行（Expert Parallelism, EP）
在MoE模型中，将专家分布到多个GPU的技术。通过这种方式，能提升吞吐量、优化内存使用并降低延迟，实现数量级成本下降。类似于把不同的专业工作分配给多个小组同时进行，提高整体工作效率。
混合专家模型（Mixture-of-Experts, MoE）
一种模型架构，每个输入仅激活部分专家，如DeepSeek V3每层激活8/256个专家。就像一个大型项目，不同部分由最合适的专业团队负责，而不是每个团队都处理所有任务。
Micro - Batch
将请求拆分后的小批次数据单元，通过双批次流水线交替执行来隐藏通信延迟。类似于把一大份工作分成小份，轮流进行处理，提高效率。
通信 - 计算重叠优化
通过双批次流水线等方式，将通信延迟隐藏在计算过程中，降低通信延迟40%，减少GPU空闲时间至<5%。好比在做饭的同时准备餐具，充分利用时间。
三级负载均衡体系
包括预填充负载、解码负载和专家负载的均衡优化，通过动态分配输入token数、平均分配请求数、监控专家使用频率并动态迁移等方法，实现<2%的负载偏差，避免木桶效应。类似于合理分配工作任务给不同员工，让大家的工作量相对均衡，提高整体工作效率。
路由层
DeepSeek推理系统中负责智能请求分发的组件。好比一个快递分拣中心，将不同的请求准确地送到对应的处理单元。
缓存系统
用于存储数据的系统，DeepSeek推理系统的磁盘KV缓存命中率达56.3%，意味着有56.3%的请求可以直接从缓存中获取数据，提高了数据获取速度。类似于一个常用物品存放处，大部分时候能快速找到需要的东西。
弹性调度
根据不同时间段的需求，动态调整节点用途，如白天全节点推理，夜间部分节点转训练。就像一家工厂，白天全力生产产品，晚上部分设备用于设备维护或其他生产准备工作。
精度控制
采用FP8通信 + BF16计算的方式，在保证计算精度的同时，优化计算资源的使用。类似于根据不同需求选择不同精度的工具进行工作，既保证质量又提高效率。
动态扩缩容
根据系统负载动态调整所需节点数量，如DeepSeek V3/R1推理系统日间峰值278节点，夜间低谷180节点，并通过基于LSTM的负载预测模型进行智能预测。好比根据不同季节的客流量，调整商场的营业时间和工作人员数量。
MaaS（模型即服务，Model - as - a - Service）
一种商业模式，当用户量达千万级时，边际成本骤降。类似于共享经济模式，使用的人越多，平均成本越低。
超节点趋势
指320卡紧耦合系统成为新标杆，体现了在大模型推理领域对硬件规模和耦合程度的新要求。好比建造大型建筑时，对建筑材料和结构紧密程度有了更高标准。
动态稀疏性
在模型计算过程中，动态调整计算资源分配，仅对重要数据进行计算，以优化计算效率。类似于在学习过程中，只重点学习最重要的知识点，提高学习效率。