随着云计算、企业级应用以及物联网领域的飞速发展,当前的数据处理需求正以前所未有的规模增长,以满足存储行业不断变化的需求。这种增长导致网络带宽压力增大,并对主机计算资源(如内存和CPU)造成极大负担,进而引发了网络带宽使用率上升、主机内存和CPU利用率过高以及系统性能瓶颈等问题。传统的数据中心架构主要以CPU为中心,这使得数据中心的计算和存储任务主要依赖于CPU的处理能力。但是,随着数据量的不断增长,这种架构逐渐显现出一些问题和瓶颈,如处理速度慢、效率低下等。
目前已经从传统CPU为中心的架构,开始向以数据为中心的新型架构转变。新的架构处理需求,就涌现了多种卸载传统CPU计算能力的产品,比如DPU、CSD等。
计算存储的基本理念是利用SSD控制器的一部分计算能力来执行超越内部存储管理的更多任务。当数据通过SSD的I/O通道传输时,SSD会丧失其巨大的内部带宽。若将部分计算功能移至SSD内部,则可利用这一巨大带宽实现闪电般快速的操作,同时减轻服务器负载并减少网络流量。
计算存储SSD(CSSD)的发展并未如早期倡导者所预期那样推进。尽管一些公司曾积极推广将该架构用作可编程设备,但实际增长点似乎更多地来自不同应用场景。部分早期进入该领域的厂商已退出市场,而另一些则在竞争中存活下来。
市场上涌现出越来越多的固定功能计算存储SSD产品:
-
如IBM的FlashCore Module,它集成了内部压缩和解压缩功能,有助于对抗勒索软件;
-
Flexxon开发的具有监控磁盘访问模式以检测恶意软件功能的SSD;
-
三星与Xilinx合作推出的SmartSSD平台,支持多种计算存储设计;
-
例如Nimbix在其云服务中使用该技术大幅提升Apache Spark查询速度;
-
Netint Codensity D400系列SSD则能进行内部视频压缩。
早期市场领导者如ScaleFlux、NGD(原Next Generation Devices)、Eideticom和NVXL等公司在推动通用型计算存储SSD的采纳上投入大量精力。然而,随着时间推移,部分企业退出市场,而有些则坚持下来并取得了成果。例如,ScaleFlux生产了两款可编程的CSSD,其中CSD 2000采用FPGA设计,从而加快上市时间,尽管成本稍高,而CSD 3000则采用专有ASIC芯片。
在通用型设备领域,一些CSSD被设计成类似标准服务器的形式,允许用户根据需求编程执行任意数据操作。SNIA已将此类设备标准化为三种基本类型:计算存储驱动器、计算存储处理器和基于计算存储处理器与普通SSD构建的计算存储阵列。
在SNIA和NVME两大组织的带领下,计算存储已逐步形成行业生态。在2022年8月已经发布了《Computational Storage Architecture and Programming Model Version 1.0》。
目前加入到SNIA工作组的成员已经有258家,行业生态的建设如火如荼。
-
SNIA对Computational Storage定义为一种将计算和存储资源整合在一起的技术,以支持更高效、更智能的数据中心。在这种定义下,Computational Storage强调将计算和存储功能集成到一个统一的系统中,以提高数据管理和处理效率。
-
NVME将Computational Storage定义为一种将存储设备转化为计算资源的技术,以支持更高效、更灵活的数据中心。在这种定义下,NVMe强调将存储设备转化为可编程的计算资源,以实现更高效的数据处理和管理。NVMe规范侧重于存储设备的性能优化和灵活性。
虽然SNIA和NVMe在Computational Storage的定义上有所不同,但它们的重点都在于将存储和计算资源更有效地整合在一起,以提高数据中心的效率和灵活性。SNIA更注重存储和计算的集成,而NVMe更注重存储设备的性能优化和灵活性。这两种定义在实际应用中都有其价值,并且可以相互补充。