火热的大模型AIGC对数据中心存储趋势有什么影响?

随着人工智能和大数据技术的不断发展,业内AIGC(人工智能、图形处理和云计算)和大模型的发展趋势正在对数据中心存储发展方向产生深远的影响,主要集中对数据量和高性能计算的诉求。

大模型的普及要求数据中心存储具备更大的容量。大模型需要大量的计算资源和存储空间,因此,数据中心需要使用更大的存储系统来满足这些需求。同时,存储系统的可扩展性也非常重要,以便在需要时增加存储容量。随着AIGC应用的不断扩大,数据中心需要处理的数据量也在不断增长。因此,数据中心需要采用更高效、更可靠的存储方案来满足不断增长的数据需求。

根据IDC的预测,2025年的数据将达到175ZB。这将是一个非常庞大的数据量。这个数据量到底有多大呢?举个可以感知到的栗子,如果把这些数据全部存在DVD光盘上,那么这些DVD堆起来的高度将可以绕地球222圈。如果当前的网速水平,全部下载下来也许要18亿年。

产生的这些巨量数据,存储的归宿在哪里呢?随着发展趋势,个人本地存储的需求越来越小,公有云的数据存储量将会有迅速的攀升。

存储数据的介质,也更加多元化。包括磁带、光盘、非易失性存储、固态硬盘SSD,机械硬盘等。其中,在2025年,数据存储市场,HDD机械硬盘依然占据50%左右的份额。同时,磁带和固态硬盘的存储需求也在逐步的攀升。

SSD领域,QLC SSD是提升容量的先锋。根据有关数据统计,目前SSD出货的DWPD小于1的占比达到85%,这几年一直维持在85%-86%,后续可能会继续扩大占比。也就是说,这个市场上的对SSD的寿命的诉求并不是很强烈,不需要DWPD很高的SSD。这也侧面说明了,行业内对已不再完全SSD硬件本身的特性来达到整个系统的可靠性。分布式存储,全闪存阵列,各种针对SSD优化的存储软件系统也是遍地开花。这个也给了QLC SSD大规模普及提供了有力的条件。

SLC的Program/Erase(P/E) Cycle可以达到10万,MLC P/E cycle可以到1万,到TLC 3000次P/E cycle,再到QLC NAND只有1000 P/E cycle。P/E cycle是表征SSD寿命的最重要的参数。

我们可以看到,随着单个cell含有的bit数越多,NAND的可靠性也会有所降低,自然成本也会继续下降,QLC的成本只有SLC成本的1/4。除了寿命可靠性,QLC处于劣势,还有在性能方面也有所降低,如下图,QLC NAND单个page页的写延迟是SLC的8倍,是TLC的2倍,读延迟是SLC的4倍,是TLC的约1.3倍。

HDD领域:为了提升容量,出现叠瓦式机械硬盘SMR。SMR的技术核心就是把传统PMR整齐排练的磁道,转换成类似房顶瓦片层叠的方式,目的是增加存储密度,降低硬件成本TCO。

同时,针对HDD容量提升,业内也在大力推广HAMR和MAMR技术。HAMR:全称,Heat Assisted Magnetic Recording,是一种热辅助磁记录技术。HAMR 采用了一种新型的介质磁技术,数据颗粒位的占用空间会更小,密度也会相应增加,从而达到提升容量的目的,同时保持磁稳定和热稳定。

MAMR:全称Microwave Assisted Magnetic Recording,是一种微波辅助磁记录技术。MAMR技术的原理是通过自旋力矩震荡器(STO)产生的微波场,进而提供能量辅助完成磁记录。

磁带目前也是提升存储容量的优选方案。LTO磁带已经远远超过机械硬盘的容量了,目前拥有HAMR/MAMR新技术加持的HDD最大容量也只有30TB。在LTO Gen5以及之前的LTO代次,实现的压缩比主要是2:1, 在Gen6以后的压缩比已经达到2.5:1. LTO Ultrium目前已经设计了Gen14,单个磁带盒最大压缩数据可以存储1.44PB,数据存储量实在恐怖。

其次是高性能计算的需求:AIGC应用通常需要高性能计算,这意味着数据中心需要使用更快、更稳定的存储硬件来支持这些应用。SSD(固态硬盘)是当前最流行的高性能存储硬件之一,因为它具有更快的读写速度和更低的延迟。

为了追求高性能,PCIE SSD是数据中心的高性能标配,PCIE SSD在数据中心的占比还在继续攀升。

pcie协议5.0还没完全普及,pcie 6.0 spec已经发布,pcie 7.0 spec也在路上了,这个世界都在狂奔。

NAND ONFI接口速率也提升至了3600MT/s.

此外,还有一个为高性能而生的一种新型的存储器架构-计算存储。计算存储的核心思想是将一些计算任务迁移到存储器中,从而减少数据在存储器和处理器之间的传输。这样一来,不仅可以减少数据传输的能耗,还可以提高处理器的利用率,从而提高整个系统的性能和能效。

计算存储的优点有很多,其中最显著的是提高数据处理效率。在传统的存储系统中,处理器需要从存储器中读取数据,然后在处理器中进行计算。这个过程不仅慢,而且会增加系统的能耗。而计算存储可以将一些计算任务直接在存储器中完成,从而减少数据传输的时间和能耗。

另一个优点是减少数据访问延迟。在传统的存储系统中,数据访问需要经过多个环节,比如寻道、旋转延迟等。这些环节都会增加数据访问的延迟。而计算存储可以将计算和存储集成在一起,从而减少数据访问的环节,进而降低访问延迟。

比如,ScaleFlux CSD 2000是一种计算存储驱动器,它采用透明压缩技术,可以在不牺牲性能的情况下提高OP并延长NAND的使用寿命。据该公司称,这可以有效地将容量翻两番,性能翻番 。CSD 2000的数据路径压缩/解压缩引擎可以更有效地储存更多的数据,同时保持一定的性能表现,即使是在不同的读写混合状况下也能保持稳定的低延迟。

三星SmartSSD是在SSD中整合数据管理功能,集成了一颗ARM内核的处理器,可以直接处理数据的硬件。它可以在数据的存放处就近进行高速计算,从而提高数据处理速度和效率。SmartSSD内置FPGA,支持在数据的存放处就近进行高速计算,从而提高数据处理速度和效率,可为视频处理、数据库管理和人工智能等多种应用场景提供加速。

除了上面的大容量和高性能诉求,对存储的诉求还有数据的可靠性和安全性。在AIGC应用中,数据的可靠性和安全性非常重要。因此,数据中心需要采用高可靠性和安全性的存储解决方案。AIGC应用通常需要灵活和可扩展的存储解决方案,以便快速适应不同的工作负载和需求。

总之,AIGC和大模型的发展趋势对数据中心存储发展方向产生了重大影响。数据中心需要使用SSD、HDD等存储硬件,同时结合新型存储技术,如云存储、分布式存储和对象存储等,来满足更高的性能、更大的容量和更低的成本需求。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/96724.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【模拟】算法实战

文章目录 一、算法原理二、算法实战1. leetcode1576 替换所有的问号2. leetcode495 提莫攻击3. leetcode6 N字形变换4. leetcode38 外观数列5. leetcode1419 数青蛙 三、总结 一、算法原理 模拟就是用计算机来模拟题目中要求的操作,模拟题目通常具有代码量大、操作…

域名信息收集

作用 1.爆破 2.查询资产漏洞 域名联系人信息 1.whois.chinaz.com 2.whois.cnnic.cn/WelcomeServlet 3.kali whois 工具 4.mwhois.chinaz.com 5.http://whois.chinaz.com/reverse 域名反查 6.beian.miit.gov.cn/#/Integrated/index 国家备案系统 7.beian88.com 8.天眼查查询企…

机器学习技术(六)——有监督学习算法之线性回归算法实操

机器学习技术(五)——有监督学习之线性回归算法实操 引言: 机器学习监督算法是一种基于已有标记数据的学习方法,通过对已知输入和输出数据的学习,建立一个模型来预测新的输入数据的输出。这种算法模仿人类的学习过程&a…

39、springboot的前端静态资源的WebJar支持(bootstrap、jquery等)及自定义图标和首页

★ WebJar支持 Spring Boot支持加载WebJar包中的静态资源(图片、JS、CSS), WebJar包中的静态资源都会映射到/webjars/**路径。——这种方式下,完全不需要将静态资源复制到应用的静态资源目录下。只要添加webjar即可。假如在应用的…

生态经济学领域里的R语言机器学(数据的收集与清洗、综合建模评价、数据的分析与可视化、数据的空间效应、因果推断等)

近年来,人工智能领域已经取得突破性进展,对经济社会各个领域都产生了重大影响,结合了统计学、数据科学和计算机科学的机器学习是人工智能的主流方向之一,目前也在飞快的融入计量经济学研究。表面上机器学习通常使用大数据&#xf…

4.5 TCP优化

TCP 三次握手的性能提升 三次握手的过程在一个 HTTP 请求的平均时间占比 10% 以上,所以要正确使用三次握手的中参数,需要先用netstat命令查看是哪个握手阶段出了问题,主动发起连接的客户端优化相对简单些,而服务端需要监听端口&a…

leetcode 42. 接雨水

2023.8.29 本题可以用双指针做&#xff0c;求出每一列能盛的雨水&#xff0c;再相加即可。不过暴力法会超时&#xff0c;需要优化。 双指针&#xff08;暴力&#xff09;&#xff1a; class Solution { public:int trap(vector<int>& height) {int ans 0;for(int …

MySQL DATE_SUB的实践

函数简介DATE_SUB()函数从DATE或DATETIME值中减去时间值(或间隔)。 下面说明了DATE_SUB()函数的语法&#xff1a; DATE_SUB(start_date,INTERVAL expr unit); DATE_SUB()函数接受两个参数&#xff1a; start_date是DATE或DATETIME的起始值。 expr是一个字符串&#xff0c;用于确…

【计算机视觉】YOLO 入门:训练 COCO128 数据集

一、COCO128 数据集 我们以最近大热的YOLOv8为例&#xff0c;回顾一下之前的安装过程&#xff1a; %pip install ultralytics import ultralytics ultralytics.checks()这里选择训练的数据集为&#xff1a;COCO128 COCO128是一个小型教程数据集&#xff0c;由COCOtrain2017中…

iOS逆向:越狱及相关概念的介绍

在上一篇内容中我们介绍了App脱壳的技术&#xff0c;今天我们来介绍一个和iOS逆向密切相关的知识&#xff1a;越狱。 iOS操作系统的封闭性一直是开发者们关注的焦点之一。为了突破Apple的限制&#xff0c;越狱技术应运而生。本文将深入探讨iOS越狱&#xff0c;包括可越狱的版本…

SaaS多租户系统架构设计

前言&#xff1a;多租户是SaaS&#xff08;Software-as-a-Service&#xff09;下的一个概念&#xff0c;意思为软件即服务&#xff0c;即通过网络提供软件服务。SaaS平台供应商将应用软件统一部署在自己的服务器上&#xff0c;客户可以根据工作的实际需求&#xff0c;通过互联网…

thinkphp6 入门(1)--安装、路由规则、多应用模式

一、安装thinkphp6 具体参考官方文档 安装 ThinkPHP6.0完全开发手册 看云 下面仅列举重要步骤 ThinkPHP6.0的环境要求如下&#xff1a; PHP > 7.2.5 1. 安装Composer 2. 安装稳定版thinkphp 如果你是第一次安装的话&#xff0c;在命令行下面&#xff0c;切换到你的WE…

C++自创题目——第一期

一、题目描述&#xff1a; 在一段时间内&#xff0c;到达港口的船有n艘&#xff0c;其中每艘船的信息包括:到达时间t(表示第t秒)&#xff0c;船上乘客数k&#xff0c;以及k名乘客的国籍。输出前3600s内每艘船上国籍种数&#xff0c;并输出国籍种数最少的船只的到达时间。 二、…

ArcGIS学习总结(19)——要素转点与空间连接(属性表字段映射)

1.在新创建的面矢量数据的属性表中没有对应的字段信息&#xff0c;为了能够和有属性信息的数据进行匹配&#xff0c;使其具有对应字段的信息。 2.需要匹配的矢量文件属性表信息。 3.对新创建的矢量文件执行要素转点&#xff1a;数据管理工具→要素→要素转点。 4.选择分析工…

【leetcode 力扣刷题】字符串翻转合集(全部反转///部分反转)

字符串翻转合集 344. 反转字符串541. 反转字符串Ⅱ151. 反转字符串中的单词剑指 Offer 58 - II. 左旋转字符串反转单词思路循环挪动子串和子串的拼接 344. 反转字符串 题目链接&#xff1a;344. 反转字符串 题目内容&#xff1a; 题目中重点强调了必须原地修改输入数组&#…

应用TortoiseSVN的SubWCRev管理VisualStudio C#项目编译版本号

首先要安装 TortoiseSVN, 并确保TortoiseSVN的bin目录被加入到系统环境变量Path中。 1、拷贝Porperties目录下的文件AssemblyInfo.cs生成副本AssemblyInfo.template, 作为版本管理的模板文件。 2、修改模板文件中的想要管理的版本号信息 // [assembly: AssemblyVersion(&quo…

SSM框架的学习与应用(Spring + Spring MVC + MyBatis)-Java EE企业级应用开发学习记录(第五天)MyBatis的注解开发

SSM框架的学习与应用(Spring Spring MVC MyBatis)-Java EE企业级应用开发学习记录&#xff08;第五天&#xff09;MyBatis的注解开发 ​ 昨天我们深入学习了MyBatis多表之间的关联映射&#xff0c;了解掌握了一对一关联映射&#xff0c;一对多关联映射&#xff0c;嵌套查询方…

【C语言】每日一题(除自身以外数组的乘积)

添加链接描述&#xff0c;链接奉上 方法&#xff1a; 暴力循环:前缀积后缀积&#xff08;分组&#xff09;: 暴力循环: 暴力循换真的是差生法宝&#xff0c;简单好懂&#xff0c;就是不实用&#xff0c;大多数的题目都会超过时间限制&#xff08;无奈&#xff09; 思路&…

postgresql-字符函数

postgresql-字符函数 字符串连接字符与编码字符串长度大小写转换子串查找与替换截断与填充字符串格式化MD5 值字符串拆分字符串反转 字符串连接 concat(str, …)函数用于连接字符串&#xff0c;并且忽略其中的 NULL 参数&#xff1b;concat_ws(sep, str, …) 函数使用指定分隔…

【JS案例】JS实现图片放大镜功能

JS案例图片放大镜 &#x1f31f;效果展示 &#x1f31f;HTML结构 &#x1f31f;CSS样式 &#x1f31f;实现思路 &#x1f31f;具体实现 1.初始化数据图片 2.获取所需DOM元素 3.初始化页面 初始化缩略图 绑定事件 &#x1f31f;完整代码 &#x1f31f;写在最后 &…