【大模型】DeepSeek大模型技术路径
- 一、总体架构
-
- （一）Transformer架构：奠定坚实基础
- （二）Mixture-of-Experts（MoE）架构：提升灵活性与效率
- 二、技术突破
-
- （一）训练方法创新
- （二）架构优化
- （三）训练效率与成本优化
- （四）推理能力提升
- 三、总结
一、总体架构
DeepSeek大模型以Transformer架构为核心，并深度融合了混合专家（Mixture-of-Experts，MoE）架构以及多项前沿创新技术，致力于在高效计算与强大性能之间实现最佳平衡，为复杂语言任务提供卓越的解决方案。
（一）Transformer架构：奠定坚实基础
Transformer 架构作为 DeepSeek 大模型的核心技术基石，是神经网络架构发展历程中的关键革新。在 Transformer 架构诞生之前，循环神经网络（RNN）和卷积神经网络（CNN）分别主导着序列数据和图像数据的处理领域。然而，RNN 由于其链式结构，在处理长序列时极易遭遇梯度消失和梯度爆炸问题，导致模型性能严重受限；CNN 虽凭借局部卷积特性在图像识别等领域取得显著成果，但在面对长文本处理时，难以跨越局部范围，捕捉长距离的语义依赖关系。
Transformer 架构凭借自
