挺进云存储,天翼云全新一代XSSD勇立潮头

引言:自研高性能分布式存储引擎LAVA,实现云硬盘持续创新获得新突。

【全球云观察 | 科技热点关注】

作为算力基础设施的基石,云存储的发展一直备受公有云厂商所重视,对拉动云厂商营收规模带来重要价值,就此也成为了云厂商技术创新与业务发展的重点领域。

天翼云已经是全球最大的运营商云,在云存储的创新上一直非常重视。自研高性能分布式存储引擎LAVA,将云硬盘的创新推向新的高潮,进一步赋能科技应用创新,加快行业数字化进程,助力数字经济的发展。

01

没有最快只有更快,为什么需要越来越快的云存储?

当前,全球进入数字化高度发展的新时代,数字经济已为我国经济发展带来了前所未有的动力。助力数字经济发展离不开算力、存力与运力的三大驱动,更离不开来自云计算、AI、大数据等新兴技术的广泛应用。正因为技术进步与创新应用的普及,从而带来了海量数据呈现出新的增长趋势。

在AI训练领域,ChatGPT将对话机器人的智能化能力推向了历史最高点,不仅如此,ChatGPT持续迭代,不断攀登高阶智能的举措引发了全球对大模型的狂热。随着GPT-4的诞生,模型参数进入百亿千亿级别已经逐渐成为常态。与此同时,中国参与大模型创新厂商也与世界同步,持续迭代大模型的智力。

然而,无论是GPT-4还是其他大模型,所有参与百模大战的厂商聚焦AI算力的同时,也对存储进行再创新,以此应对AI大模型参数规模呈现指数级爆发增长的挑战。细心分析AI模型训练的特点,我们不难发现小文件海量数据的存储需求最为突出,同时大家对训练结果要求越来越快,因为越快越有价值。打造高效存储的支撑系统,是其中必要条件。传统磁盘阵列系统因其缺乏云的弹性与灵活性,难以胜任AI训练时高时低的新需求变化。唯有结合闪存技术同时发挥出云存储的优势才是必然之选。由此,既有云的灵活弹性,又有高性能表现的SSD云硬盘,也就顺理成章地成为AI模型训练的好搭档。

此外,随着大模型行业化发展大潮的到来,各个细分行业大模型诞生将此起彼伏。模型变小是大模型行业化的必然趋势,为此,对于算力、存力在规模与性能上更灵活的需求也将随着模型行业化发展而逐渐呈现出来。在这种情况下,高性能SSD云硬盘实现更多技术创新可谓正逢其时。

在数据库领域,随着用户关键应用能力的加强,对数据库性能的要求也变得更为苛刻,SSD云硬盘对加速数据库性能有着立竿见影的作用,特别是再结合RDMA网络的加持,应用SSD缓存与加速技术对数据库应用场景带来了非常有效的支撑。这也是源自SSD本身比HDD传统磁盘具有更好的IO特性,不需要磁盘那样寻道读写数据,SSD云硬盘带来更加优异的IOPS性能表现,也被更多地应用在数据库场景。高性能SSD云硬盘可以灵活满足用户的高IOPS需求,也可以按需分配存储资源,在数据库应用较少情况下节约资源,按需付费,弹性支撑数据库场景的灵活应用。

在游戏渲染领域,当前不少游戏厂商与视频创意组织乐意选择云端算力平台,在渲染工作繁忙时花费云端GPU等资源,在闲暇时可以节省资源。与此对应渲染数据存储支持上,选择高性能SSD云硬盘最为匹配。关键在于渲染应用会随着数据的增长,对存储性能要求会更高,在很大程度上,也驱使相关云存储厂商不断提升云硬盘性能,实现更优越的百万级IOPS。

很显然,要求存储越来越快,这是所有用户一直以来的普遍追求,对性能越来越苛刻的要求,主要源自新兴应用的蓬勃发展。新应用驱动新数据快速增长,包括AI训练、数据库、游戏渲染等应用对数据读写IOPS和时延要求极高。

除了AI训练、数据库、游戏渲染之外,视频创意、AR/VR、动画制作、仿真建模等领域,同样对存储性能、弹性、按需使用等方面有着刚需。

以用户需求为创新的源动力,天翼云在云硬盘上加速创新,迎来了新的发展拐点。没有最快只有更快,特别是在高性能的云硬盘技术发展上,依托自研高性能分布式存储引擎LAVA,将百万级IOPS云硬盘XSSD推向市场。

02

全面进发云存储,XSSD勇立数字化发展的潮头

事实上,在云硬盘领域,天翼云布局十分广泛,旗下拥有包括普通IO、高IO、通用型SSD、超高IO、极速型SSD以及最新推出的XSSD,总计六类产品。为了覆盖用户各种各样的需求,天翼云全面进发,以不同容量、不同性能的云硬盘来支持用户多样化需求,彰显云存储的创新优势。

针对越来越苛刻的高性能需求,天翼云一直保持着业界少有的创新节奏,特别是在闪存技术的应用上,有着多年的积累,这有助于天翼云在云硬盘上推陈出新,并不断实现新突破。

天翼云基于高性能分布式存储引擎LAVA,在主机侧采用VFIO-User架构,提供企业级NVMe SSD云硬盘,IO经过虚拟机内核后直达LAVA客户端,降低了原QEMU开源虚拟机IO处理的消耗。借助零拷贝数据传输机制,通过全自研L-RDMA协议,不仅降低通信开销,提升数据传输效率,而且缩短了全栈IO处理路径,直接带来时延上的明显优化。

不过,SSD因其自身erase-before-write特性的限制,写放大一直是件麻烦事。为此,天翼云结合日志即数据技术,通过多版本数据管理技术,解决了整个写IO流程无写放大的难题,即使遭遇上千快照也不会产生额外IO,从而很好地规避了SSD云硬盘因写操作带来的IO性能影响。

此外,还在分布式存储纠删码EC技术基础上,天翼云叠加动态路由功能,实现与多副本同级别性能,存储利用率提升50%以上。

独特的分布式引擎架构的技术虽好,但是,XSSD到底可以达到怎样的性能水平呢?总体来看,与天翼云的上一代极速型SSD、超高IO云硬盘相比,XSSD表现还是相当突出。

之前推出的超高IO云硬盘可以提供最大带宽350MBps,最低时延1ms,实现最大IOPS为3.3万。极速型SSD可以提供最大带宽750MBps,时延低于1ms,实现最大IOPS为10万。

而X系列云硬盘亮相之后,其带宽、时延、IOPS等指标均提升了2~10倍。在数据库等时延敏感场景,XSSD可以实现稳定低时延,并为用户提供媲美本地盘的高性能。目前,XSSD分为两种规格,其中面向IO密集型数据库的XSSD-1在带宽和IOPS上虽然与之前的极速型SSD旗鼓相当,但是在时延上却获得更优越的百微秒级表现,性能高且时延低才是诸多用户尤为重视的关键。

面向关键/核心数据库、内存数据库、AI和大数据应用场景的XSSD-2,在带宽、时延、IOPS三个核心表现上都获得前所未有的突破,最大带宽达到4000MBps,实现最大IOPS高达100万,而最低时延却被控制在了0.1ms,相当于比极速型SSD最低时延表现降低了10倍左右。

高性能云硬盘几乎所有公有云厂商都在提供,天翼云XSSD到底能否“闯关”成为行业翘楚,除了天翼云对外公布的具体性能情况之外,更需要业界权威机构的评测认可。

2023年,中国信通院为天翼云分布式块存储XSSD测试颁发测试证明,天翼云XSSD成为业内首家通过信通院权威认证百万IOPS,并且实现存储全国产化的云硬盘,进一步夯实了数据要素的存储基石,勇立数字化发展的潮头。

03

全新科技突破,应对苛刻应用场景的存储挑战

话又说回来了,XSSD性能虽好,可靠性到底如何呢?毕竟检验云硬盘品质的核心指标,离不开高可靠性。

从可靠性需求的早期发展来看,之前企业上云方案中不少采用物理机加本地盘的方式,虽然可以满足用户的高性能需求,但受限单台服务器存储资源的使用,因而在可靠性上难以得到有效保障,不仅无法容忍“Double Fault”双点失效,即使单点故障也同样无法容忍,与此同时存储容量无法实现弹性扩展,在满足用户应用需求增减变化上显得格格不入。

实现全新科技突破,应对苛刻应用场景对高可靠性的挑战,XSSD的表现异常突出。在高可靠性上,不仅实现高达99.9999999%的数据持久性,而且实现了99.975%的业务可用性。

实际上,拥有如此突出的高可靠性,这与天翼云在XSSD上实现技术突破,应对四大可靠性挑战有着很大关系。

针对故障快速修复的挑战,XSSD基于分布式存储引擎LAVA,采用独有的EC动态路由叠加多层数据保护技术,实现跨AZ数据高可用,减少跨AZ数据修复流量,达成快速修复故障目的。

针对存储引擎写入方式的挑战,所有数据写入XSSD都采用Append Only模式,优化写链路,规避底层数据覆盖写的难题,可追溯数据,遭遇故障读写不降级,从SSD云硬盘底层技术革新,硬碰硬增强可用性。

针对快照影响性能的挑战,XSSD采用多版本管理的快照技术,降低快照对IO性能的干扰,实现快照性能无损,目前每块云硬盘的快照数量可达千级,支持用户在数据备份与持续保护上的苛刻需求。

针对数据读写全流程的可靠性挑战,XSSD凭借全路径数据校验技术,实现端到端数据保护的DIF校验,同时支持多种DIF配置,确保读写全流程的数据一致性。

应对苛刻应用场景的存储挑战,实现高可靠性虽然必不可少,但少了弹性扩展,必然就难以满足用户实际应用需求的增减变化。

在高弹性方面,XSSD表现依然不俗。有着对天翼云在云服务弹性优势上的天然承袭,XSSD采用分布式元数据存储管理,元数据规模与性能随节点增加而线性增长,最大支撑万亿级元数据规模,满足关键业务、核心数据库、内存数据库、AI训练等典型应用对容量和性能的要求,同时通过两级集群设计,万级节点扩展能力不在话下。

此外,XSSD为用户提供按需采购付费的方式,通过预配置IOPS的订购模式,实现容量和性能的解耦,任何用户都可以按照业务发展的不同阶段情况,针对波峰或波谷按需动态配置性能。很显然,在动态性能需求场景上,XSSD支持预配置IOPS订购模式,可谓深得人心。

由此可见,从高性能、高可靠、高弹性、按需配置等多个方面硬指标出发,满足苛刻应用场景的用户需求。天翼云通过创新性设计的端到端IO路径,采用软硬件多层面技术优化,加上自研高性能分布式存储引擎LAVA的技术加持,打造出新一代高性能云硬盘XSSD,令业界眼前一亮。

更值得一提的是,助力数字中国的蓬勃发展,在全栈式国产化设计思路上,天翼云XSSD创新坚持安全可信。为了确保整个云硬盘产业链不被“卡脖子”,保障云硬盘的生态安全性,天翼云积极携手CPU、存储介质、SSD控制器、网络、操作系统、存储软件等国产厂商,联合存储全产业链的上下游合作伙伴,充分发挥国产技术的创新优势,互为开放,广泛兼容,借助存储软件在系统层面扬长避短,实现XSSD整体能力达到业界领先水平。

不过,全球存储观察认为,基于分布式存储引擎LAVA的XSSD系列云硬盘推出,只是天翼云挺进云存储的一个新开始,下一步将会有更多基于完全自研的云硬盘新品出现,实现云硬盘在技术上的更多新突破,满足更多苛刻应用场景的新需求,让我们拭目以待。(by Aming)

- END-

欢迎文末评论补充!

【全球存储观察|全球云观察 |阿明观察 |科技明说】专注科技公司分析,用数据说话,带你看懂科技。本文和作者回复仅代表个人观点,不构成任何投资建议。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/245023.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

山海鲸开发者:展现数据可视化在各领域的无限可能

作为一名山海鲸可视化软件的内部开发者,我对这款软件投入了大量的经历以及含有深深的情感。下面,我从这款软件应用场景下手,带大家探秘这款软件的多种可能性以及我们的用心。 首先,从行业角度来看,山海鲸可视化软件可以…

06.迪米特法则(Demeter Principle)

明 嘉靖四十年 江南织造总局 小黄门唯唯诺诺的听完了镇守太监杨金水的训斥,赶忙回答:“知道了,干爹!” “知道什么?!!” 杨金水打断了他的话,眼神突然变得凌厉起来: “有…

椋鸟C语言笔记#26:数据在内存中的存储(大小端字节序)、浮点数的存储(IEEE754)

萌新的学习笔记,写错了恳请斧正。 目录 大小端字节序 什么是大小端 写一个判断大小端的程序 浮点数在内存中的存储(IEEE 754规则) 引入 存储规则解释 读取规则解释 1.阶码不全为0或全为1(规格化数) 2.阶码全为…

鸿蒙系统走向独立,高校设立“鸿蒙班”,鸿蒙人才紧缺!

近日,华为以及鸿蒙系软件厂商都在积极培养鸿蒙开发人才,产学联动、产教融合是重要的一条路径。目前已有23家985高校、46家211高校已开设或即将开设HarmonyOS相关课程。 一位鸿蒙生态内部人士表示,目前鸿蒙开发人才比较紧缺,而安卓…

图生视频AI技术,1张图零提示词,让静态照片动起来

AI时代的发展速度比我们想象中的快多了,当大部分人刚学会AI生成图片时,现在又开始流行AI生成视频了,正式从图片、文字升级到短视频时代。 最近一段时间,AI生成视频的技术正在突飞猛进。Pika、Runway等大家熟知的海外工具都在不断…

【STM32CubeMX】F103 BxCAN

F103&BxCAN bxCAN总体描述 有一个增强的过滤机制来处理各种类型的报文此外,应用层任务需要更多CPU时间,因此报文接收所需的实时响应程度需要减轻。 接收FIFO的方案允许,CPU花很长时间处理应用层任务而不会丢失报文。 构筑在底层CAN驱动程…

软件设计中如何画各类图之七了解组件图:系统架构的关键视角

目录 1 前言2 组件图基本介绍3 画组件图的步骤4 组件图的用途5 场景及实际场景举例6 结语 1 前言 组件图是一种UML的图形化表示工具,为系统架构提供了重要视角。它描述了系统中各个组件以及它们之间的依赖关系和连接。用于展示系统中的组件、软件模块、以及它们之间…

简单实现Spring容器(五) 实现bean后置处理器BeanPostProcessor机制

阶段5: // 1.编写自己的Spring容器,实现扫描包,得到bean的class对象. // 2.扫描将 bean 信息封装到 BeanDefinition对象,并放入到Map. // 3.初始化单例池并完成getBean() createBean()方法 // 4.完成依赖注入(如果创建某个Bean对象,存在依赖注入,需要进行bean组装操作) 5.bean…

比较好的python书籍,python有什么书推荐

大家好,小编来为大家解答以下问题,比较好的python书籍,python有什么书推荐,现在让我们一起来看看吧! 我是在半年前接触到Python的,我之前没有一点编程基础,但在我自学的这半年里,我发…

绿盟 SAS堡垒机 local_user.php 权限绕过漏洞复现

绿盟 SAS堡垒机 local_user.php 权限绕过漏洞复现 一、 产品简介二、漏洞概述三、 复现环境四、漏洞复现五、小龙检测 免责声明:请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失&…

jdom利用纯java技术对xml文档进行解析、生成、序列化等各种操作

Jdom对xml文档进行解析、生成、序列化等各种操作。 使用jdom之前,首先要导入jar包:jdom.jar 获得根元素: 首先确定xml文件位置 String xmlPath "./src/ceshi/Test.xml"; //使用的解析器,这里表示默认的解析…

资本热捧下的预制菜,如何挤出泡沫、回归务实?

在这个被快餐和即食文化主宰的时代,预制菜概念持续被资本热炒。 据悉,近30个交易日里,预制菜概念板块已累计上涨超15%,其中,惠发食品、得利斯、春雪食品等个股更是快速拉涨。但究竟谁才能笑到最后,还充满未…

数据结构和算法 - 数组

1、数组 1.1 简介 什么是数组? 他优缺点是什么?具体应用有哪些? 「数组 array」是一种基于顺序存储的线性数据结构,其将相同类型的元素存储在连续的内存空间中。我们将元素在数组中的位置称为该元素的「索引 index」。 如图&…

IDEA卡顿,进行性能优化设置(亲测有效)——情况一

需求场景 IDEA重新激活后,运行IDEA卡的非常卡顿,没有运行项目,CPU占比也非常高: 原因分析 可能的原因是,在IDEA的配置中,给他分配的空间比较小 解决方式 步骤一 选择顶部导航栏中的Help,然后点击Edi…

Java数据类型相关

数据类型 Java有哪些数据类型 定义:Java语言是强类型语言,对于每一种数据都定义了明确的具体的数据类 型,在内存中分配了不同大小的内存空间。 分类: 基本数据类型 数值型 整数类型(byte,short,int,long) 浮点类型(float,dou…

文本处理工具doctran(集成LLM和NLP库)

今天给大家推荐一款文本处理工具,可以Extract、Redact、Summarize、Refine、Translate、Interrogate,这个工具就是文档转换框架doctran。 欢迎关注公众号 doctran基于OpenAI的GPT模型和开源的NLP库来剖析文本数据。该工具也可以在LangChain框架document…

汇编指令命令

ARM汇编指令学习 工程搭建 汇编编程环境搭建 HN0AE-522LW-NNRAF-63PUS-7IGFH-YF58D 配置编译工具链 为工程配置链接脚本(map.lds) 将map.lds 复制到工程文件夹(在桌面创建的ARM-ASM文件) 创建汇编文件 接下来我们需要建立一个start.s汇编文件添加到我们的…

基于Microchip 光伏逆变器方案

小编杂谈新能源已经完成了至少5期的博文了,Boss告诉小编,如果还不介绍我们的产品和方案,黄花菜都凉了,所以小编这期博文就重点介绍一下Microchip在储能上的产品介绍,重点聊聊Microchip储能中使用的光伏逆变器的解决方案…

沉浸文旅体验!实时云渲染助力2023广东旅博会智慧文旅元宇宙体验馆上线

2023广东国际旅游产业博览会(以下简称旅博会)于9月15-17日在广州中国进出口商品交易会展馆A区举办,共设有国际展区、国内展区、智慧文旅展区、文化创意展区、旅游商品展区等五大展区,汇聚了来自全球近40个国家和地区的近千家参展商…

综述 2022-Genome Biology:“AI+癌症multi-omics”融合方法benchmark

Leng, Dongjin, et al. "A benchmark study of deep learning-based multi-omics data fusion methods for cancer." Genome biology 23.1 (2022): 1-32. 被引次数:34作者单位 红色高亮表示写论文中可以借鉴的地方 一、方法和数据集 1. 3个数据集&…