随着数据洪流的持续涌动与计算密集型应用的爆发式增长,传统的电子互连技术在应对高带宽、低延迟、节能等多维度需求时日益显现其局限性。在这个背景下,光学互连技术以其独特的性能优势,逐渐成为业界瞩目的焦点,被视为未来数据中心互联技术的破局关键。
作为业界广泛采用的高速串行点对点互联标准,PCIe自诞生以来历经多次迭代升级,现已成为CPU、GPU、FPGA、SSD等计算设备间不可或缺的互连桥梁。PCIe 7.0标准更是将数据传输速率提升至令人惊叹的32 GB/s(每通道)。
PCI-SIG在2022年6月的美国开发者大会(US DevCon)上宣布了PCI Express 7.0规范的持续进展。2023年6月发布版本0.3。最新进展,PCIe 7.0 ver0.5版本已经开放,同时宣布马不停蹄准备在2025年完成正式SPEC规范发布。
随着加速计算成为主流,PCIe连接在系统中的角色变得更加重要。直接的GPU-to-GPU通信对于跨多个图形处理器(GPU)或服务器、计算舱内的加速器扩展复杂计算任务至关重要。行业内部越来越认识到,在高性能计算领域中,对可扩展、开放式架构的需求日益增长。随着人工智能和数据密集型应用的不断发展,对这类技术的需求预计将会增加,使得PCIe 7.0成为下一代接口IP的关键组成部分。
在AI训练、大规模数据分析、实时渲染等应用中,数据传输速度和效率是决定系统性能的关键因素。PCIe 7.0提供的128 GT/s带宽相比前一代翻倍,这不仅意味着数据可以更快地在GPU之间流动,还支持更高效的资源分配和工作负载平衡。例如,在大规模机器学习模型训练场景中,多个GPU通过PCIe 7.0直接相连,能够大幅缩短训练时间和提高模型迭代速度,进而加快新算法和服务的开发与部署。
此外,随着数据中心架构向更加分布式和灵活的方向发展,PCIe 7.0的高带宽和低延迟特性对于支持远程直接内存访问(RDMA)和高速数据传输尤为关键。这使得数据可以近乎实时地在不同的计算节点间移动,为构建高效、响应迅速的数据中心基础设施提供了可能。
PCIe 7.0不仅是数据传输速度的简单提升,它还是推动高性能计算架构向更加灵活、可扩展方向发展的关键技术。随着技术的不断成熟和应用的深化,PCIe 7.0有望成为加速计算新时代的基石,支撑起AI、大数据、云计算等多个领域的发展和创新。
尽管PCIe协议优化了延迟表现,但在大规模数据中心内部,距离延长与互连层级增加会导致延迟累积。随着数据速率提升,互连功耗问题日益突出,对整体能效与散热设计构成挑战。
在这样的环境下,数据中心内部以及不同数据中心之间的高速数据传输需求急剧增长。AI应用如深度学习、机器学习等需要处理海量数据,且对实时性和带宽有着极高的要求。传统的铜线介质的PCIe总线,在传输距离、带宽扩展以及信号完整性方面存在物理限制,难以满足大规模数据中心之间长距离、高带宽的数据传输需求。
因此,业界开始探索将PCIe协议应用于光学链路之上,即所谓的PCIe over Optics技术。这一技术通过将PCIe信号转换为光信号进行传输,利用光纤的大容量、低损耗和长距离传输特性,突破了传统铜线接口的距离与速度瓶颈。
PCI-SIG也已成立PCIe Optical Workgroup,致力于制定PCIe over Optical的标准,实现与现有PCIe生态的无缝对接。比如,Synopsys与OpenLight等光子技术厂商合作,开发支持光学解决方案。
PCIe over Optics解决方案通常包括以下几个关键环节:
-
光电转换:首先,使用先进的光电转换器(Electro-optical transceivers),将服务器主板上的电信号转换为光信号,以确保数据能够在光纤上传输。
-
高性能控制器和PHY:设计专用的高性能PCIe控制器和物理层芯片(PHY),能够支持最新的PCIe标准,并优化其与光学接口的对接,保证数据在经过光传输后的完整性和准确性。
-
光学引擎:采用高效的光学引擎,如Nubis XT1600线性光学引擎,它能够提供多通道、全双工的数据传输能力,并保持较低的延迟和功耗。
-
长距离无损传输:由于光纤不受电磁干扰影响,可以实现千米级别的无损传输,大大拓展了服务器集群间的连接范围,使得数据中心内的设备可以更加灵活地分布在更大空间内,同时不影响数据通信性能。
-
模块化和标准化:尽管某些解决方案可能为定制化产品,但总体趋势是向模块化和标准化方向发展,确保不同厂商的产品可以相互兼容,便于数据中心运营商灵活选择并整合到现有或未来的数据中心架构中。
在上周举办的PCI-SIG DevCon 2024上,Cadence展示了一款专为下一代PCIe 7.0标准设计的光学连接解决方案,是行业内首个基于光学技术的PCIe 7.0演示,这一成就标志着数据传输速度和互连技术的重大飞跃。
Cadence 为测试芯片构建了一个完整的子系统,这个系统包含八通道的PHY(物理层接口)以及一个完整的8通道控制器。在测试芯片中集成控制器的做法,对特性表征和压力测试的效率与精细度带来了显著提升。Cadence PCIe 7.0 PHY IP示意图:
Cadence 能够模拟并测试整个协议栈作为一个单元,这涵盖了客户在实际应用中广泛使用的多种配置。这样做的一大优势在于,它能够更全面地模拟真实环境下的工作条件,发现并解决设计初期可能存在的问题,从而大幅度降低客户在其系统级芯片(SoC)设计中可能面临的各种风险。
Cadence公司成功演示了其128GT/s PCIe 7.0 IP在实际应用条件下的强大传输(TX)和接收(RX)能力,这些条件包括低延迟、无需重定时的线性光学连接。
Cadence团队不仅展示了这一先进接口的速度潜力,而且在连续两天的不间断演示期间,维持了一个非常稳定的预前向纠错(pre-FEC)误码率(BER)约为3E-8的高水平表现。这一数值远低于PCIe规范要求的1E-6,意味着即使在极端条件下,该系统也能提供足够的冗余来确保数据的准确无误传输,为后续的RS纠错编码留下了充足的空间。这意味着即便在数据传输过程中出现极小的错误,系统也有能力自我修正,保证数据的完整性。
从Cadence展示的接收端PAM4眼图直方图中可以看出,信号的线性度和裕量表现优秀,这反映了其在处理高速数据传输时的高稳定性和可靠性。眼图的开阔和清晰表明了信号在经过长距离传输后仍能保持高质量,这对于确保在复杂系统环境中的高效数据交换至关重要。
这项演示不仅是对PCIe 7.0技术潜力的有力证明,也预示着光学互连技术在高速数据传输领域的新突破。通过克服传统铜缆在高速率下的信号衰减和干扰问题,光学连接为PCIe 7.0的广泛应用打开了新的大门,尤其是在对数据传输速度和延迟有极高要求的高性能计算(HPC)、人工智能(AI)、数据中心等领域。
随着PCIe 7.0标准的推进和商用化,此类光学连接解决方案有望成为下一代计算平台和数据中心架构的关键组成部分,推动整个行业向更高效、更快速的数据处理时代迈进。
扩展阅读:
-
PCIe 6.0生态业内进展分析总结
-
浅析PCIe 6.0功能更新与实现的挑战
-
PCIe P2P DMA全景解读
参考文档:
-
https://pcisig.com/events/pci-sig-developers-conference-2024
-
https://community.cadence.com/cadence_blogs_8/b/ip/posts/cadence-demonstrates-complete-pcie-7-0-solution-at-pci-sig-devcon-24
-
https://www.servethehome.com/amd-infinity-fabric-afl-scale-up-competitor-to-nvidia-nvlink-coming-to-broadcom-switches-in-pcie-gen7/
如果您看完有所受益,欢迎点击文章底部左下角“关注”并点击“分享”、“在看”,非常感谢!
精彩推荐:
-
深度剖析:AI存储架构的挑战与解决方案
-
浅析英伟达GPU NCCL P2P与共享内存
-
3D NAND原厂:哪家芯片存储效率更高?
-
大厂阿里、字节、腾讯都在关注这个事情!
-
磁带存储:“不老的传说”依然在继续
-
浅析3D NAND多层架构的可靠性问题
-
SSD模拟器MQSim简介与资料分享
-
孙凝晖院士万字长文|人工智能与智能计算的发展
-
探究NVMe SSD HMB应用场景与影响
-
深度剖析:大容量QLC SSD为何遭疯抢?
-
SSD突然掉电,是谁保护了用户数据?
-
漫谈HAMR硬盘的可靠性
-
万物皆可计算|下一个风口:近内存计算
-
SSD数据错误如何修复?
-
CXL与PCIe世界的尽头|你相信光吗?
-
全景剖析SSD SLC Cache缓存设计原理
-
存储革新:下一代低功耗PCM相变存储器
-
3D DRAM虽困难重重,最快明年到来
-
字节跳动入局存储内存SCM
-
PCIe 7.0|不要太卷,劝你先躺平
-
SSD LDPC软错误探测方案解读
-
关于SSD LDPC纠错能力的基础探究
-
存储系统如何规避数据静默错误?
-
PCIe P2P DMA全景解读
-
深度解读NVMe计算存储协议
-
对于超低延迟SSD,IO调度器已经过时了吗?
-
浅析CXL P2P DMA加速数据传输的原理
-
浅析LDPC软解码对SSD延迟的影响
-
为什么QLC NAND才是ZNS SSD最大的赢家?
-
SSD在AI发展中的关键作用:从高速缓存到数据湖
-
浅析不同NAND架构的差异与影响
-
SSD基础架构与NAND IO并发问题探讨
-
字节跳动ZNS SSD应用案例解析
-
CXL崛起:2024启航,2025年开启新时代
-
NVMe SSD:ZNS与FDP对决,你选谁?
-
浅析PCI配置空间
-
浅析PCIe系统性能
-
存储随笔《NVMe专题》大合集及PDF版正式发布!
如果您也想针对存储行业分享自己的想法和经验,诚挚欢迎您的大作。
投稿邮箱:Memory_logger@163.com (投稿就有惊喜哦~)
《存储随笔》自媒体矩阵
如您有任何的建议与指正,敬请在文章底部留言,感谢您不吝指教!如有相关合作意向,请后台私信,小编会尽快给您取得联系,谢谢!