阿里云引领智算集群网络架构的新一轮变革

云布道师

11 月 8 日~ 10 日在江苏张家港召开的 CCF ChinaNet（即中国网络大会）上，众多院士、教授和业界技术领袖齐聚一堂，畅谈网络未来的发展方向，聚焦智算集群网络的创新变革。其中，阿里云研发副总裁，基础设施网络负责人蔡德忠先生发表题为《规模 x10 驱动 AI 智算集群网络架构新一轮变革》的主题演讲，展望智算技术发展趋势，尤其是 Scale up 网络的发展方向，提出智算网络未来的技术架构变革的新思路，发布了高通量以太网协议和智算超节点系统ENode+ 的路标规划，引起广泛关注。

过去一年，阿里云 HPN7.0 引领智算以太网生态蓬勃发展

模型的持续 scaling ，以及数据集的扩充，对于模型训练的总计算量要求一直在增长，业界总结发现，算力需求量每年增长 4-6 倍，而单颗芯片的算力增长、显存增长、网络带宽增长仍然遵循摩尔定律，每 2 年才一倍，无法满足算力增长的需求，所以算力来自于将更多的 GPU 进行集群化互联，网络在算力scaling 中扮演关键的角色。

在 2023 年初的时候，智算集群的网络方案选择还是百花齐放的状态，Google 有基于私有协议的 TPU 集群，微软使用了 NV 提供的一整套 IB 方案，而阿里云、 AWS 等公司坚持使用开放的以太网来构建集群。**一时间，以太网还是 IB ，成为智算集群架构选择的关键话题。**阿里云坚定以太网的路线，并且针对智算集群的特点创新设计了 HPN7.0 架构，采用业界首发的全自研 51.2T 交换机，利用多轨、双上联、双平面，结合自研通信库、协议、流控组成高性能系统。阿里云在大规模部署 HPN7.0 智算集群的同时，其论文被顶会 SIGCOMM 录取，成为网络顶会历史上首篇 AI 智算网络架构论文。

一年多时间过去了，阿里云 HPN7.0 已经成为业界标杆，引领了以太网智算集群的技术方向，目前国内外各大公司都在朝着这个方向演进，北美几大公司都已经或者即将基于以太网来部署十万卡级别的算力集群，关于智算集群以太网和 IB 的争议已经落幕，以太网正在成为超大规模智算集群的行业主流。

未来几年， X10 规模将给网络带来新的重要问题

虽然以太网和 IB 的选择已经画上句号，但是新的挑战还在继续。在智算集群的规模化方向上，各大公司你追我赶，国内公司的智算集群也将很快向 X10 规模迈进，尤其是在算力受到限制的情况下，通过网络互联扩展规模更有必要。GPU 规模的扩展并不是想象中这么简单：不可避免的硬件故障将导致任务中断会更加频繁；受限于电力、空间， GPU 资源可能会分布在不同园区，距离带来的时延和带宽限制会对整个训练集群的性能产生影响；尤其是 GPU Scale up 范围也将更大，智算集群的网络架构也会因此产生深远的变革。

通过更大带宽的网络互联是算力扩展的必经之路，这是从整体系统架构层面突破摩尔定律限制的主要路径。在这个方向上，无论 Scale up 、 Scale out 都需要更加激进的规划。

GPU Scale up 协议路线之争， Ethernet 优势明显

到底什么是 Scale up ？简单来讲， Scale up 就是在一定范围内、在成本和互联技术约束下实现的超高带宽互联。这个超高带宽互联的范围固定并且带宽是 Scale out 的数倍以上，可以在协议层面优化来支持内存语义。
**不少人以为 Scale up 是机内互联，这是一种误解。**在 8 卡系统的时代，因为 8 卡在一个 OS 内部所以确实是机内互联，然而，当 NVL36 、 72 这种AI rack 的形态出现后， GPU Scale up 就不是“机内互联”，而是一种新型的节点间网络互联。以 NVL72 为例，实际上是 18 台服务器通过9台Scale up交换机连在一起的网络域，只不过是在这个域内的带宽 10 倍于 Scale out 的大的带宽（ 7.2Tbps vs 800Gbps ），此外还支持了内存操作语义，为了区分，我们继续称其为 GPU Scale up 。
在这里插入图片描述

GPU Scale up 是 AI 系统发展的一个热门话题，备受关注。Scale up 网络大体上可以分成 2 个技术方向。

以 NV 、 Google 为代表的私有协议、封闭系统方案（ NVLink 和 TPU 互联）
以各大互联网和云计算公司自研 GPU （微软、 Meta 、 Tesla 等），以及 AMD 、 Intel 为代表的基于Ethernet 的网络传输方案

Ethernet 有超大带宽技术和强大的生态支撑，尤其是 UEC 、高通量以太网等开放组织针对 Scale up 进行协议的升级后， Ethernet 支持超大带宽的同时实现了超低时延、在网计算等核心功能，所以我们可以看到新晋 Scale up 系统都选择了 Ethernet ，可以说 Ethernet 这些特质已经成为 GPU Scale up 网络快速落地的首选技术方案。

计算和网络的新变革，Scale up 融合架构优势明显

Scale up 与 Scale out 如何协同工作是决定集群网络性能的关键。在今天的单机 8 卡系统中，通过多轨互联、并行排布、通信库协同，阿里云的 HPN7.0 架构已经将万卡级别的通信性能发挥到极致。那将来 Scale up 扩展到多机系统，尤其是成百上千卡之后， Scale up 与 Scale out 应该如何协同做到全局效率最高呢？机尾 backend 会继续沿着 Scale up + Scale out 两张网络各自发展，还是会融合兼顾？
当 Ethernet 成为 Scale up 的主流方案之后，这个选择方向呼之欲出，融合架构将是效率更高、成本更低的架构。融合架构将使带宽得到充分共享， Scale up 范围内进行大带宽的 TP 、 EP 、 CP 等通信，多个 Scale up 域通过 Scale out 互联，进行 DP 、 PP 等通信，跨 Scale up 实现合理的带宽收敛即可。同时，独立Scale out网卡+网络的成本也不容小觑，如果将 Scale up 和 Scale out 的以太网融合为一张网，通过将不同的 Scale up 域进行Scale out 互联组网，不但少了一张网络和网卡的投入，在运维、扩展上也将更加统一高效。
在这里插入图片描述