你真的懂NVMe吗？

在说NVMe之前，我们觉得有必要先聊一聊NVM（Non-Volatile Memory），即非易失性内存。从名字上看就知道，NVM是一种类内存式（访问及寻址方式类似）的设备，它必须具备高速读写数据的能力，但它和普通内存的区别在于Non-Volatile，即在关机后再打开电源也可以检索里边所存储的数据。这种非易失性内存NVM设备有很多种实现，我们常用于服务器的大容量NVM是一种闪存，即Flash Memory。闪存是一种固态芯片，主流的闪存设备使用NAND技术来映射数据，这种芯片无需任何外部电源即可维护存储的数据，它的读写速度比内存稍低，但无需借助机械方式进行寻址，因此读写性能远高于机械磁盘，容量也比内存要大，单GB成本近年来快速下降，大有成为服务器上高速存储介质主流设备的趋势。

NVMe协议组成架构

有了设备和协议就可以了吗？

有了NVM设备和访问这个设备的协议NVMe，就一定能享受到这些设备带来的高性能了吗？答案是否定的。

首先要说到的，就是数据传输的问题，数据传输指的就是NVM设备到服务器内存之间的传输。外围组件互连Express（PCIe）是目前使用最多的传输介质。NVM设备及NVMe协议设计之初，也是先面向PCIe或PCI Hub的。通过PCI访问NVM设备会有什么问题呢？很容易就能想到，一台服务器上PCI接口是有限的，因此也不能接入很多的NVM设备，那么容量就会受到限制了。此外，数据中心内其它服务器也很难通过PCI访问另一台服务器上的NVM设备。这就很大限制了NVM设备的使用。

除了PCI之外，还有什么方式能进行NVM设备上数据的传输吗？当然有，这就是NVMe over Fabric，所谓的Fabric有几种方式，可以是Fibre Chanel，即目前磁盘阵列中使用的传输网络，或者InfiniBand。NVMe-oF使得一台服务器可以通过网络的方式，通过NVMe协议直接访问远端另一台服务器上的NVM设备，带宽和延时近似于设备插在本地服务器上，这就极大拓宽了NVM设备的使用范围。但细心的读者应该很快能反应过来，在现代数据中心，TCP网络使用更广，因此，NVMe组织在2019年推出了NVMe over TCP技术，从而使服务器通过TCP网络就可以访问远端的NVM设备了。

NVMe over TCP技术作为创新型技术，从推出就瞄准了通过TCP互联的，更广阔的云和数据中心大规模使用NVM设备的场景。

其次是访问效率的问题，与SCSI等协议不同，NVMe协议实现了多队列的架构和指令集，更能发挥多核CPU服务器的处理能力，使该协议指令集在多核CPU服务器上发挥更好的性能，存储系统如果不能针对这些特点进行深入的优化，也不能充分享受到新型介质和协议带来的红利。而针对NVMe协议和设备进行的系统级优化，是包括焱融科技在内的软件定义存储厂商需要攻克的难关。

此外，还需要考虑应用访问接口的问题。目前，人工智能、高性能计算系统主要通过文件系统访问非结构化数据，构建以NVMe协议为基础的，以高带宽、低延时为核心要求的高性能文件系统是应用系统的核心要求，这也是应用场景驱动创新的出发点。

YRCloudFile+LightOS 联合解决方案

LightOS是以色列技术型存储创新企业，焱融科技与Lightbits联合方案，可以为用户提供NVMe多队列并发访问的极致性能，最重要的是，能将NVMe设备通过TCP方式，组成高性能分布式文件系统，向上层应用提供文件访问服务。对上层应用而言，完全无需关心底层存储细节、数据如何放置，即可使用高IOPS、高带宽、极低延时的文件共享访问服务。

联合方案参考架构

焱融科技与Lightbits OS对参考架构进行了性能、可靠性、可用性的测试，测试架构如下所示：

各个服务器之间使用25Gb以太网进行连接，使用三台服务器搭建YRCloudFile集群，在常用的TCP网络条件下，单个客户端节点的4K随机读IOPS可达38万，写IOPS达30万，读写延时均低于400us。多客户端访问，各客户端性能互不干扰，集群可为每个客户端稳定提供相同的功能。

在大IO顺序读写测试中，单客户端读写带宽均达到2.8GB/s，接近25Gb网络带宽上限。

使用vdbench模拟200,000个不同文件大小进行读写带宽测试，对4K小文件的读写性能为1280MB/s和1040MB/s，对128KB大文件读写性能可达2800MB/s。

联合方案优势

YRCloudFile+LightOS联合方案，具备以下优势：

• 只需借助现有的以太网络，即可快速搭建基于全NVMe的分布式文件系统，无需购买额外的专用交换设备和网卡
• 多个上层应用服务器可通过文件接口共享访问底层海量非结构化数据
• 业界一流的文件系统随机读写、顺序读写性能
• 数据去重压缩，TCO减少20%-50%
• 单集群可达百PB空间，承载百亿文件。满足海量的文件数量与空间需求
• 可同时提供文件存储和块存储接口，满足不同业务接口的需求

High performance file system is critical infrastructure facility to applications like AI. YanRong Tech and Lightbits Lab cooperate closely, announce the NVMe/TCP file system with high performance and massive small files support, providing an innovative solution to all customers and partners. ------ Alfred Chase Hui， Lightbits亚太区销售总监

该联合方案非常适用于人工智能、高性能计算、基因科学、影视渲染、气象分析、资源勘探等依赖高性能文件系统，以及拥有海量非结构化数据的应用场景，能有效帮助客户提升业务系统对非结构化数据的访问性能，从而改进业务运行效率，解决数据分析的系统瓶颈。

如需获取解决方案完整版本，查看推荐架构以及参考性能指标，请发送邮件联系我们：sales@yanrongyun.com。

Lightbits Labs

成立于2016年的Lightbits Labs正在全球范围内重塑现代云基础设施。公司的使命是重构存储和网络在云数据中心的部署方式。Lightbits的软件定义分离式存储解决方案为企业私有云、软件即服务(SaaS)和基础架构即服务(IaaS)提供商节省大量时间和成本，同时实现更高的应用程序性能和公共云级别的可扩展性。Lightbits Labs最先认识到全NVMe高性能存储介质及协议与标准TCP网络相结合所带来的机会。其LightOS®软件和LightField™存储加速卡是第一个提供在标准TCP网络上运行的全局闪存转换层(GFTL)的NVMe/TCP解决方案。

焱融科技

焱融科技是一家以软件定义存储技术为核心竞争力的高新技术企业，在分布式存储等关键技术上拥有自主知识产权，是高性能文件存储和容器存储的领导者。焱融科技核心产品YRCloudFile在全球IO500性能测试中，进入世界前六。同时，YRCloudFile是国内首个进入CNCF Landscape的容器存储产品。焱融科技针对各行业业务特性，打造个性化行业解决方案，提供一站式的产品与服务。焱融科技系列产品已服务于人工智能、金融、政府、制造业、互联网等行业的众多客户。