XSKY CTO 在英特尔存储技术峰会的演讲:LLM 存储,架构至关重要

5 月 17 日,英特尔存储技术峰会在北京顺利举办。作为英特尔长期的合作伙伴,星辰天合受邀参加了此次峰会。星辰天合 CTO 王豪迈作为特邀嘉宾之一,作了主题为《LLM 存储:架构至关重要》的演讲,分享了大语言模型(LLM)对存储的需求以及现有存储架构的局限与挑战,与来自阿里云、英特尔等公司的诸位业界专家共同探讨了人工智能时代存储系统的发展愿景与技术趋势。


5bd4212ff29d54d5eb9b0a39963420f2.jpeg

人工智能时代的存储系统技术趋势

大模型时代企业竞争的核心要素就是数据,在数据处理和流通的过程中,数据存储是不可或缺的重要一环,而高效可靠的存储系统将成为人工智能的重要底座。

此次英特尔存储技术峰会,英特尔邀请了业界合作伙伴、专家等深度探讨了人工智能时代存储系统的发展愿景和技术趋势,包括如何发挥高性能存储介质的性能、如何利用新一代互联技术重构存储系统、如何进行下一代存储软件系统创新等等,旨在通过多方协作,为客户构建拥有极致性能、安全可靠、高可扩展性和高能效的新一代存储系统。


XSKY 主题演讲:LLM 存储,架构至关重要 

在 XSKY 主题演讲环节,XSKY CTO 王豪迈首先介绍了 CPU 和 GPU 在处理大规模 AI 应用中的不同表现。CPU 内存系统优化了低延迟和深度缓存层次结构,适合处理延迟敏感的代码,例如链表操作。相比之下,GPU 内存系统则优化了高吞吐量和高带宽缓存,更适合数据和数学密集型代码,例如向量归约。为此,高带宽存储(HBM)成为解决存储瓶颈的关键技术之一,它能够显著提升存储系统的性能,从而满足未来高性能计算和 AI 应用的需求。

王豪迈指出,HBM 是存储转型的驱动力。在大模型训练中,存储系统需要处理的大量数据写入,这使得存储写带宽成为决定性能竞争力的关键因素。特别是在多模态场景中,大量小文件的处理对底层存储性能是一个重大挑战。

c8e20399a5eda385d5f2c5ba638e3c84.jpeg

现有的传统 NAS 存储架构以及并行文件系统架构,都有对应优势和适应场景,但是都存在一些架构的限制,使得在一些问题上应对困难,比如在大语言模型的场景下,前者会遭遇写放大的严酷挑战,而后者在应对多模态场景中的海量小文件时,可能会碰到性能不足的问题。

d763af9fd90ef23a2101300a6cd0fe08.jpeg

王豪迈表示,星辰天合最新发布的 XSEA(eXtreme Shared-Everything Architecture,极速全共享架构)将是应对大语言模型存储需求的理想架构,它由于采用了全共享架构,因此在针对慢盘、亚健康网络问题时,能在 100 毫秒内快速切换,以保证系统的稳定运行;由于采用了单层 SSD 架构,可以借助 QAT 加速数据压缩/解压缩的强大能力,采用大规模的 EC+压缩,从而实现 100%的存储空间利用率;也由于采用了端到端的 NVME,因此能够实现 100 微秒的低延迟。

41851c2677bda6962a42cfa7abf0bbaf.jpeg

此外,基于 XSEA、针对大语言模型存储需求,在即将发布的新产品中,星辰天合将会通过全局 EC 和数据压缩技术,实现写放大的 100%降低,提升存储效率

XSKY 在存储架构上的这些关键技术创新,不仅减少了写放大效应,还显著提高了存储带宽利用率和整体性能,可以更好应对大语言模型对底层存储的挑战。

展望未来,王豪迈表示,随着 AI 技术的发展,存储系统需要处理的数据量和复杂度将不断增加,优化存储带宽和改进存储技术是应对这些需求的关键,XSKY 将继续致力于存储技术的研发,通过架构创新和不断的技术迭代和优化,为客户提供更高效、更可靠的存储解决方案。

他特别强调了 HBM 技术在这一过程中的核心作用。通过优化 HBM 技术,可以大幅提升存储系统的性能,以应对未来高性能计算和 AI 应用的需求。他认为,只有通过持续的技术创新和架构优化,才能在快速发展的 AI 和大数据时代保持竞争优势。


联手英特尔 持续推动存储架构创新

作为领先的专业软件定义存储企业,星辰天合致力于与芯片、操作系统、数据库、人工智能等上下游企业合作,以持续推动存储架构的创新。 作为英特尔的长期合作伙伴,星辰天合始终紧跟英特尔的技术发展进行创新和研发。在星辰天合最近发布的新一代全闪分布式存储系统 星飞 XINFINI  9000 中,就采用了英特尔 QAT 加速数据压缩/解压缩,从而大幅度提升存储系统性能,在降低了高吞吐环境下的读写时延的同时,也减少了存储软件栈中各进程的资源争用以及相互间的影响。 借助英特尔存储技术峰会这样的技术交流平台,星辰天合将会与英特尔以及更多合作伙伴,围绕人工智能、大语言模型等新生应用的存储需求,基于当前及未来的英特尔至强可扩展处理器的能力,进行进一步探索, 通过创新的软硬件组合进一步发挥分布式全闪存储的性能潜力,支撑共同的客户从数据中获得更多、更富价值的洞察  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/651421.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

jmeter发送webserver请求和上传请求

有时候在项目中会遇到webserver接口和上传接口的请求,大致参考如下 一、发送webserver请求 先获取登录接口的token,再使用cookie管理器进行关联获取商品(webserver接口),注意参数一般是写在消息体数据中,消息体有点像HTML格式 执…

Java整合EasyExcel实战——2 导出复杂表头

详情代码 实体类 Data public class ComplexHeadData {ExcelProperty({"主标题", "字符串标题"})private String string;ExcelProperty({"主标题", "日期标题"})private Date date;ExcelProperty({"主标题", "数字标…

(2024,DDDM,ODE,少量步生成,迭代生成)直接去噪扩散模型

Directly Denoising Diffusion Model 公众号:EDPJ(进 Q 交流群:922230617 或加 VX:CV_EDPJ 进 V 交流群) 目录 0. 摘要 3. 直接去噪扩散模型 3.1. 迭代求解 4. Psuedo-LPIPS 指标 5. 实验 7. 讨论和局限性 0. 摘…

大模型时代的具身智能系列专题(二)

李飞飞团队 李飞飞是华人在AI领域最具影响力的学者之一,她是斯坦福大学人工智能实验室(SAIL)教授,美国国家工程院院士,知名CV数据集ImageNet的牵头人,斯坦福视觉与学习实验室(SVL)的…

2024.05.27学习记录

1、面经复习: 实际工作经验章节 2、代码随想录刷题:动态规划剩下部分和单调栈 3、rosebush 组件库完成Input 和 AutoComplete部分内容

长难句打卡5.27

In fact, allowing non-lawyers to own shares in law firms would reduce costs and improve services to customers, by encouraging law firms to use technology and to employ professional managers to focus on improving firms’efficiency. 事实上,这通过…

can设备调试 - linux driver

这篇文章主要介绍can设备的调试相关信息,不具体介绍驱动的实现。 如果驱动写完,对can设备进行验证,可能会出现很多不可预见的问题。下面说说验证步骤 验证can设备可以使用工具can-utils。这个工具包中会有cansend candump等程序。可以直接通…

视频监控技术前沿探索:智能化趋势与EasyCVR视频汇聚技术应用

在数字化时代的浪潮中,视频监控技术以其独特的优势,正在安防领域书写着新的篇章。它不仅为公共安全部门提供了强大的技术支持,还深入到教育、政府、娱乐、医疗、酒店、运动等多个领域,成为维护社会秩序、保障人民安全的重要工具。…

python爬虫学习(2)——requests模块

520那天我向心仪的女孩要微信:“女神,能给我你的微信号吗?” 女神:“给我——爬!!!!” 从那天开始,我就决定要学好爬虫,爬到女神微信号!&#xff…

分布式锁的原理和实现(Go)

文章目录 为什么需要分布式锁?go语言分布式锁的实现Redis自己的实现红锁是什么别人的带红锁的实现 etcdzk的实现 面试问题什么是分布式锁?你用过分布式锁吗?你使用的分布式锁性能如何,可以优化吗?怎么用Redis来实现一个…

CHI Read传输——CHI(3)

目录 一、Read操作概览 二、DMT(Direct Memory Transfer) 三、DCT (Direct Cache Transfer) 四、without Direct Data Transfer 五、ReadNoSnp and ReadOnce* structure with DMT 本篇我们来介绍一下CHI传输类型中的Read 一、Read操作概览 read操作有以下几种&#xff1…

详解CSS(二)

目录 1.背景属性 1.1背景颜色 1.2背景图片 1.3背景平铺 1.4背景位置 1.5背景尺寸 2.圆角矩形 3.元素的显示模式 3.1行内元素/内联元素(Inline element) 3.2块级元素(Block-level element) 3.3行内块元素(In…

css-垂直居中的几种写法

图示 1、使用line-height属性(当div有固定高度时) 2、使用flexbox布局

AGV与智能仓储的应用案例

背景介绍 该企业的智能工厂专注于高端家用电器的生产与研发,包括电子坐便盖、电子坐便器、吸尘器、洗碗机等,覆盖8条关键产线。面对日益增长的市场需求和生产节奏的加快,传统的物流方式已无法满足高效、精准的生产要求。为此,企业…

报名倒计时!「飞天技术沙龙-CentOS 迁移替换专场」参会指南

为帮助广大用户诊断 CentOS 迁移替换过程中的疑难杂症,「飞天技术沙龙-CentOS 迁移替换专场」将于 5 月 29 日(周三)在北京举办,将围绕如何在确保服务的连续性和稳定性的前提下实现平滑迁移及如何最大限度地利用现有资源前提下确保…

【LeetCode】【9】回文数(1047字)

文章目录 [toc]题目描述样例输入输出与解释样例1样例2样例3 提示进阶Python实现 个人主页:丷从心 系列专栏:LeetCode 刷题指南:LeetCode刷题指南 题目描述 给一个整数x,如果x是一个回文整数,返回true;否…

春秋云境CVE-2018-7422

简介 WordPress Plugin Site Editor LFI 正文 1.进入靶场 2.漏洞利用 /wp-content/plugins/site-editor/editor/extensions/pagebuilder/includes/ajax_shortcode_pattern.php?ajax_path/../../../../../../flag看别人wp做的。不懂怎么弄的,有没有大佬讲一下的

科技引领未来:高速公路可视化

高速公路可视化监控系统利用实时视频、传感器数据和大数据分析,通过图扑 HT 可视化展示交通流量、车速、事故和路况信息。交通管理人员可以实时监控、快速响应突发事件,并优化交通信号和指挥方案。这一系统不仅提高了道路安全性和车辆通行效率&#xff0…

由于找不到d3dx9_39.dll,无法继续执行代码的5种解决方法

在现代科技发展的时代,电脑已经成为我们生活中不可或缺的一部分。然而,由于各种原因,我们可能会遇到一些电脑问题,其中之一就是“d3dx9_39.dll丢失”。这个问题可能会导致我们在运行某些游戏或应用程序时遇到错误提示,…

第53期|GPTSecurity周报

GPTSecurity是一个涵盖了前沿学术研究和实践经验分享的社区,集成了生成预训练Transformer(GPT)、人工智能生成内容(AIGC)以及大语言模型(LLM)等安全领域应用的知识。在这里,您可以找…