生成式AI时代,数据存储管理与成本如何不失控?

无数据,不AI。

由生成式AI掀起的这一次人工智能浪潮,对企业的产品、服务乃至商业模式都有着颠覆性的影响。因此,在多云、大数据、生成式AI等多元技术的驱动下,数据要素变得愈发重要的同时,企业对于数据存储的需求也在发生深刻变化。

那么,生成式AI带来哪些显著不同的数据存储需求?究竟什么样的数据存储适合构建企业未来的数字底座?面对迅猛的生成式AI浪潮,企业在数据存储层面需要做好哪些准备,从而让成本不失控?

近日,在数据存储领域深耕多年的厂商Hitachi Vantara带来了它的答案:Hitachi iQ AI解决方案和单一混合云平台Virtual Storage Platform One。正如Hitachi Vantara亚太区首席技术官Matthew Hardman所言:“与其他厂商相比,Hitachi Vantara不仅仅是数据存储技术的提供商,更依靠日立集团多年的行业经验和运营技术经验,为众多行业用户带来各种行业解决方案。”

AI时代数据需求发生巨变

数据是企业在AI时代取得成功的关键。

此绝非虚言。随着数据要素的价值愈发突出,每家企业所积累的数据以及自身的数据能力,正成为其数智化转型升级中最为关键的差异化能力。

尤其是多云环境和生成式AI浪潮的兴起,数据乃企业生成式AI应用创新的关键。Gartner预测,到2026年,超过80%的企业将使用生成式AI的API或模型,或在生产环境中部署支持生成式AI的应用,这将对企业数据存储需求产生根本性影响。

具体来看,随着多云环境成为越来越多企业的基础设施环境标配,以及企业逐步对生成式AI应用进行尝试与实践,首先带来的就是远比过往复杂的数据环境。例如,多云环境必然会带来企业数据的分散式分布;而生成式AI涉及到数据收集、预处理、训练和推理等阶段,也进一步让企业数据环境走向复杂化。

另外,企业应用走向现代化以及生成式AI应用的场景愈发丰富,都会带来更加复杂且快速的数据处理需求。例如,生成式AI集群规模越大,可能会导致系统故障概率上升,随之而来的就是高频度的CheckPoint给存储带来的写入带宽挑战。

更加关键的是,数据存储作为底座,所扮演的角色在发生转变——除了安全存储和管理好数据之外,还需要承担起数据供给的重任。以多云环境为例,数据要素只有流动起来才能更好地发挥出价值,这需要底层存储提供保障;而生成式AI同样需要数据与模型的快速结合,这离不开存储系统的数据供给。

Matthew Hardman认为,今天很多企业都在考虑应用包括生成式AI在内的AI技术,也并不缺乏数据,甚至拥有了太多数据,但仍然受困于如何从数据中获取价值,“Hitachi Vantara的目标就是从实际需求的角度来提供合适的产品与解决方案,帮助企业解决AI、大数据、多云环境等具体数据存储的挑战,并迅速获得有益的成果。”

生成式AI不能让成本失控

毫无疑问,生成式AI已成为确定性趋势。

但不能否认,生成式AI的应用作为一项复杂的工程化项目,依然面临着极为复杂的技术门槛和相当高昂的成本,这也是很多企业对生成式AI“望而却步”的根本原因。

以存储为例,当前绝大部分企业在生成式AI应用上依然采用烟囱式的建设模式,数据获取、数据预处理、模型训练与评估、模型部署应用四个阶段都有独立的存储集群,各个阶段的数据流通、协同充满挑战,而且不得不承担极高的数据存储成本。

Matthew Hardman直言:“很多企业正处于对生成式AI的早期采纳探索阶段,非常容易就出现成本失控的情况。”

因此,存储层面需要化繁为简,并且针对大模型的训练、调优等承担起数据供给的重任。Gartner《Top Storage Recommendations to Support Generative AI》报告就认为,到2028年,四分之三拥有生成式 AI 训练数据的组织将部署单一存储平台来存储数据,这一比例显著高于 2024 年的 10%。

显然,“GenAI in a box”融合存储解决方案在未来会愈发重要,它通过一套存储来承载AI数据处理全流程的业务,实现数据的高效流通与协同,并且集成了主流的GPU硬件、软件能力,大幅降低生成式AI部署与应用的难度,实现开箱即用。

为此,Hitachi Vantara基于NVIDIA最新的AI技术,并结合Hitachi Vantara的下一代存储平台,带来了Hitachi iQ AI解决方案。

Hitachi iQ AI解决方案技术架构

Hitachi iQ AI解决方案不再是单一的产品,而是从客户实际需求出发,提供不同规模和配置的选项,以满足不同企业、不同场景的差异化需求。众所周知,目前数据与大模型主要有三种方式:检索增强生成(RAG)、微调和持续预训练,每种方式对于基础设施、企业能力要求是不尽相同的,因此Hitachi iQ AI解决方案可以从灵活性、可用性等方面来帮助各种类型的企业。

“在生成式AI的早期探索阶段,其实很多企业是不清楚自身具体需求和使用场景的。此时,利用Hitachi iQ AI解决方案来进行早期验证就非常合适,它不仅能够快速部署应用,还能够控制成本,而且一旦验证成熟,就可以进行大规模投资。”Matthew Hardman介绍道。

不仅如此,Hitachi Vantara还会依托Hitachi在各行各业的丰富经验、研发和实验室资源,来帮助各行各业的用户找到他们AI应用的场景和用例,从而帮助企业在AI时代找到快速获益的途径或方式。

多云时代需更好释放数据价值

除了生成式AI之外,多云环境下的数据管理也迅速成为企业不可忽视的挑战。

众所周知,随着微服务、容器等技术的迅猛发展,越来越多现代化应用不断涌现。现代化应用往往具有部署环境广泛、业务弹性多变、管理复杂和安全性要求极高等特征,对于企业的数据流动、数据协同和数据安全的要求大幅提升。

因此,一个统一的数据存储平台在未来会成为必须。统一的数据存储平台需要对包括结构化数据、非结构化数据、第三方存储数据等进行统一管理,简化数据管理等工作,提升数据的可用性,从而驱动数据的高效流动与协作。

为此,Hitachi Vantara推出了Virtual Storage Platform One(简称:VSP One)平台。VSP One产品包括:VSP One SDS块存储、VSP One SDS云存储和VSP One文件存储。

Matthew Hardman认为,VSP One的核心理念是帮助企业构建起统一的数据生态系统,通过统一的数据平面和管理平台,以及Data Fabric技术,消除数据孤岛和碎片化现象,实现跨所有数据类型、支持所有环境部署的全面数据管理。

例如,依托日立存储虚拟化操作系统(SVOS),VSP One可以确保数据实现跨设备和跨地点的收集、整合与访问,使得企业可以轻松获得数据,并利用数据驱动业务发展;在防勒索方面,VSP One将数据库备份到对象存储之中,利用对象存储数据不可逆的特性,使得企业在遇到勒索风险时可快速恢复数据;再如,在数据保护方面,VSP One块存储具有动态磁盘保护(Dynamic Drive Protection,DDP)功能,可以实现对存储资产的最高级别保护,并显著加快重建速度。

“VSP One是一个数据平台,接下来还将融入更多技术,帮助企业在现有环境中不断获得最新的技术创新,从而为数智化转型与升级注入更多动力。”Matthew Hardman最后表示道。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/727013.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

LabVIEW开发扫描隧道显微镜

扫描隧道显微镜利用量子隧穿效应,通过一个极细的探针在样品表面上进行扫描,测量隧穿电流的变化,以得到样品表面的原子级别图像。探针与样品之间的距离非常小(约1纳米),隧穿电流对距离变化极其敏感&#xff…

全能AI客户端:ChatGPT Web Midjourney Proxy,AI绘画+GPT4o对话

这绝对是目前最全能的 AI 客户端,ui 界面集成 ChatGPT AI 对话、Midjourney AI 画图、Suno AI 音乐等等市面主流的 AI 功能,只需绑定一个 API key 即可使用全部 AI 功能,Midjourney 甚至比官方好用几倍! 项目简介 ChatGPT Web Mi…

【嵌入式开发】STM32+USB的快速开发

目录 一、概述 二、STM32+USB开发流程 2.1 建立新的工程 2.2 系统配置 2.3 时钟配置 2.4 操作系统 2.5 选择USB配置 2.6 在USB_HOST中选择支持的子类(class) 2.7 Clock 配置 三、注意事项 3.1 应用驱动配置 3.2 上电调试基础工作 一、概述 USB作为大家耳熟能详的…

【上海交大】博士生年度进展报告模板

上海交通大学 博士生年度进展报告模板 比较不好找,在交我办中发起申请流程后才能看到链接,链接如下: https://www.gs.sjtu.edu.cn/xzzx/pygl/15

【Python】使用OpenCV特征匹配检测图像中的【特定水印】

如果没有方向 往哪里走都是前方 做自己的光 不需要多亮 曾受过的伤 会长出翅膀 大雨冲刷过的天空会更加明亮 流过泪的眼睛也一样 做自己的光 悄悄的发亮 逆风的方向 更容易飞翔 世界怎样在于你凝视它的目光 那未曾谋面过的远方 或许就在身旁 &#x1f3b5…

洗地机哪个品牌好?四大实力拔尖单品力荐

洗地机哪个品牌好呢?想必姐妹们肯定觉得保持家里清洁是非常重要的,但是每天打扫卫生真的会让人整个都要疯狂,这不,救星洗地机就能派上用场了,干垃圾湿垃圾统统都能一次清理干净。只需轻轻一推,就能把扫地、…

SEO之预估流量及价值(二)

初创企业搭建网站的朋友看1号文章;想学习云计算,怎么入门看2号文章谢谢支持: 1、我给不会敲代码又想搭建网站的人建议 2、新手上云 (接上一篇。。。。) 2、点击率 搜索结果页面各排名位置点击率也不精确。前面介绍的…

思科ospf+rip重发布配置命令

——————————————————————————————————————————— 基础配置 R1 Router>en #进入配置模式 Router#conf #进入配置模式 Router(config)#h…

初识C++ · 继承(1)

目录 前言: 1 继承的概念和定义 2 基类与子类的赋值转换 3 继承中的作用域 4 派生类的默认成员函数 4.1 构造函数 4.2 拷贝构造 4.3 赋值重载 4.4 析构函数 前言: 对于面向对象这门语言的三大特性 -> 封装 继承 多态,我们已经学…

数电逻辑门电路分析和Digital仿真

文章目录 1. 逻辑门电路 2. 非门(NOT Gate) 3. 与门(AND Gate) 4. 或门(OR Gate) 5. 与非门(NAND Gate) 6. 或非门(NOR Gate) 7. 异或门(XO…

Java面试八股之什么是mybatis流式查询

什么是mybatis流式查询 Mybatis流式查询是一种处理大量数据的有效方法,它允许你以低内存消耗的方式来处理查询结果。传统的查询操作会一次性将所有数据加载到内存中,如果数据量非常大,可能会导致OutOfMemoryError(OOM&#xff09…

Matlab个性化绘图第3期—带三维球标记的折线图

前段时间有会员在群里问该如何绘制下面这种带三维球标记的折线图: 本期内容就来分享一下带三维球标记的折线图的Matlab绘制思路。 先来看一下成品效果: 特别提示:本期内容『数据代码』已上传资源群中,加群的朋友请自行下载。有需…

Shell脚本、相关命令;重定向、管道符、变量相关命令讲解

目录 Shell脚本 概念 执行命令流程的交互区别 交互式 非交互式 Shell脚本应用场景 Shell的作用 Shell的作用 —— 命令解释器,“翻译官” 列出系统中全部解释器 实验 脚本的基本书写格式和执行命令 在子bash下执行脚本 指定解释器的方式执行脚本 指定…

苹果入局AI手机 iOS 18将应用AI功能

当三星、华为等国内外手机厂商都在卷着造AI手机时,智能手机大佬苹果那边确一直没什么动静。直到今年5月,距离苹果 WWDC24 全球开发者大会还有十多天时,长期关注苹果的博社记者Mark Gurman放料,iOS 18系统中将会应用一些AI功能。 从…

JavaScript妙笔生花:打造沉浸式中国象棋游戏体验

前言 随着信息技术的飞速发展,Web开发领域也出现了翻天覆地的变化。JavaScript作为前端开发中不可或缺的编程语言,其重要性不言而喻。而当我们谈论到利用JavaScript打造一款沉浸式的中国象棋游戏体验时,我们不仅仅是在开发一个游戏&#xff0…

本地大模型服务 Ollama:从安装到使用

文章目录 前言一、下载安装1.1 官网安装1.2 压缩包安装1.3 docker 安装二、命令行使用2.1 常用命令2.2 模型列表2.3 使用三、Open-WebUI3.1 安装3.2 修改语言3.3 使用参考前言 Ollama 是专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计的开源框架,它有如下几个特点…

SAP_FICO模块-获利能力段新增特征字段

业务背景: 公司有启用获利能力分析功能,有一个销售订单接口,是通过第三方销售订单管理平台推送数据到SAP的,用户希望对接新增一个编号ID到销售订单上,并且可以用KE24/KE30报表查看显示; 对于我这么一个后勤…

Tailwindcss 扩展默认配置来自定义颜色

背景 项目里多个Tab标签都需要设置同样的背景颜色#F1F5FF,在集成tailwindcss之前就是重复该样式,如下图: .body {background-color: #f1f5ff; }集成tailwindcss时,我们希望在class中直接设置该背景色,但是默认的tai…

python如何做报表系统

首先我们安装的python和PyQt5要保持一致,要么都是32位或者都是64位。 下载安装,安装完成之后我们记得要设置环境变量。 一路选择“下一步”就可以了。 安装完成之后我们需要验证是否成功。 pyqt5的安装直接安装就可以的,主要更改环境变量~~\p…

Serverless如何赋能餐饮行业数字化?乐凯撒思变之道

导语 | 在数字化浪潮席卷全球的今天,每一个行业都在经历着前所未有的变革。餐饮行业作为人们日常生活中不可或缺的一部分,更是面临着巨大的转型压力。如何完成数字化转型,打破传统经营模式的限制,成为摆在众多餐饮商家面前的一道难…