态路小课堂丨InfiniBand与以太网：AI时代的网络差异

近年来，随着人工智能技术的迅猛发展，以ChatGPT为代表的大型AI模型引起了广泛关注。然而，在这个AI时代，我们不得不重新审视传统的以太网和基于InfiniBand构建的网络之间的区别。尤其是今年以来，InfiniBand因其在AI领域中的应用而备受瞩目。

InfiniBand介绍

InfiniBand （也称为“无限带宽”，缩写为IB）是一种高速网络技术，具有高性能、低延迟、可靠和灵活的数据传输功能，适用于要求高速存储访问和大规模数据处理的应用场景，如高性能计算、大数据分析和虚拟化存储等。InfiniBand网络带宽从SDR、DDR、QDR、FDR、EDR、HDR到NDR发展。

来源网络

以太网介绍

以太网（Ethernet）是目前应用最普遍的网络技术，基于IEEE（电气和电子工程师协会）802.3以太网网络标准，主要目标是实现简单性、灵活性和可扩展性。以太网支持许多应用，包括家庭和办公室网络、5G承载、云计算、智慧城市和数据中心等场景。以太网也支持多种传输速率，从最初的10M,100M到1.25G、10G、25G、40G、100G、200G，再到目前的400G、800G和1.6T等。

来源网络

InfiniBand VS 以太网

速率与带宽：目前市场主流的InfiniBand产品为HDR,可以为网络提供端到端高达200G的带宽，NDR将达到400G。以太网传输速率从10M起步，目前已经发布了100G、200G、400G、800G甚至1.6T以太网接口，传输速率的跨度非常大。

InfiniBand网络带宽演进

以太网网络带宽演进

关于延迟：与标准以太网相比，InfiniBand最突出的一个优势，就是引入RDMA（远程直接内存访问）协议进行数据传输。RDMA是一种允许数据在两台计算机的内存之间直接传输而无需经过CPU的处理。因此，InfiniBand可以提供更快、更可靠的数据传输，从而实现更低的延迟和更高的性能。

关于扩展性：InfiniBand的固有设计可实现无缝可扩展性，通过使用多个子网支持灵活的拓扑布局，有助于在系统扩展或重构时轻松添加、重新配置或删除子网。从而能够创建具有数千个节点的高性能集群和超级计算机。

关于可靠性：InfiniBand是一个完整的网络协议，端到端流量控制是 InfiniBand 网络数据包发送和接收的基础，从而实现最高级别的数据完整性。与InfiniBand相比，以太网构造的网络没有基于调度的流量控制机制，导致报文在发出的时候是不能保证对端是否会出现拥塞，通常需要增加缓冲来提高性能，存在丢包风险。

关于兼容性： InfiniBand通常用于高性能计算或大规模数据中心环境，并且需要与InfiniBand硬件和技术集成，针对不同的连接场景，需使用专用的InfiniBand线缆。以太网在各行各业的广泛应用催生了一个强大的兼容设备和解决方案生态系统。多年来，以太网的可扩展性已经得到验证，它支持各种网络拓扑结构。这种成熟的以太网生态系统和互操作性使得InfiniBand在所有场景中完全取代以太网具有挑战性。

关于传输距离：在应用场景方面，以太网可以实现全球通信的互联。InfiniBand的最大距离很大程度上取决于缆线类型(铜缆或光纤)、连接的质量、数据速率和光模块等。如果在使用光缆、单模的收发器以及基本数据速率的情况下，InfiniBand 的最大距离在10km左右。下图为部分IB线缆产品：