云存储在 AIOps、数字人以及训练推理场景的最佳实践

云布道师

在以 AIGC 大模型为代表的技术新浪潮中,存储作为数据基础设施,将在数据采集、训练与推理、应用部署、内容审核与协同等多个关键环节发挥重要作用,助力 AI 创新加速。据 IDC 调研显示,67% 的中国企业已经开始探索 AIGC 在企业内的应用机会或已经开始进行资金投入。

12 月 2 日,阿里云存储团队、通义实验室、阿里云培训中心在深圳粤海国际化企业服务交流中心联合举办了云存储技术实战营之数据+AI 专场沙龙,吸引了众多开发者和企业代表的关注。来自阿里云存储、达摩院、日志服务的专家就 AIGC 技术的具体应用进行了讲解,帮助企业了解最新云计算以及 AI 技术的具体落地,为企业高质量发展提供有益借鉴。

可观测场景下 AIOps 实践

随着数字化建设的深入推进,我们进入了移动开发的碎片化时代,不仅要从研发角度考虑问题,还要考虑系统的稳定性和运营需求,如流量、客户增长、安全审计等。AI 注重通用能力和对话理解,可广泛应用于各行各业中。而 AI Agent 可以帮助在特定场景下训练分身,降低工作量。

无论是开发运维、安全还是运营,所有工作的过程(如数据采集、预处理、决策智能)和步骤都大体相似。运维和运营工作可以拆解成几个阶段,包括观测指标、存储数据、分析展示、判断决策等。Gartner 报告指出,到 2026 年,成功应用可观测性的企业中,有 70% 的企业将实现更短的决策延迟,从而为目标业务或IT流程带来竞争优势。
在这里插入图片描述
阿里云资深技术专家简志指出,系统分析与决策智能的两个重要步骤是数据采集和预处理,在开发和运维领域,Logging(日志)、Metrics(指标)和Tracing(调用链)是最典型的三种模态数据。通过对 Logging、Tracing 和其他数据的关联分析,可以覆盖大部分运营安全需求,提高对系统的感知。日志服务 SLS 可将 Log、Metric、Trace 等数据进行统一存储和融合分析,并具备自动巡检、异常实时通知、根因定位等能力,辅助企业快速定位问题。

不难发现,可观测性建设的核心关注点在数据的采集、存储、分析环节。阿里云日志服务 SLS 可观测数据分析平台,提供了多种数据接入方式,并能够支持多个开源协议。时序数据建立基础模型算法可以实现对流量数据的聚合、周期性分析和削峰填谷。通过日志分析和 Trace 技术解决系统调用链定位问题的方法可以提高用户体验。通过构建知识图谱并应用大语言模型,可以帮助回答常见问题并解放繁重的工作负担。未来需要整理和沉淀领域知识,提升 AI 的理解能力。

基于 FaceChain 的 AI 人像写真生成实践

传统的人像摄影通常需要高端设备和专业的技能,是用光的艺术。而 AI 写真则通过图像处理与神经网络算法,就可以生成细节纤毫毕现的图片。借助 AI 软件工具,技术小白可根据偏好需求生成各种类型的照片,写真、证件照等等都不在话下。甚至,AI写真还能够自动化地进行后期调整,让构图、光影、影调更为和谐,让照片看起来更具有层次感和美感。

在 Stable Diffusion 中,可以通过对少量输入图像进行文生图训练的方式将输入图像的信息注入到 LoRA 模型中。魔搭 FaceChain 项目组成员谢昊宇表示,FaceChain 集成了最强大的开源文生图模型 SDXL1.0,是一个可以用来打造个人数字形象的深度学习模型工具,支持上百种写真风格。通过 prompt 自定义能力,即可允许用户进行 DIY。
在这里插入图片描述
个人写真模型的能力分为训练与推断两个阶段:在训练阶段,用户仅需要提供最低一张照片即可获得属于自己的个人形象数字替身,整个过程持续约 4-5 分钟。训练完成后,进入推断阶段,结合不同的风格 LoRA 模型和写真模版,可以在 1 分钟左右生成超乎想象空间的个人写真作品。除了单人写真外, FaceChain 也支持生成多人写真。结合衣物与场景,FaceChain 还可实现虚拟试衣的功能。

重阳节期间,FaceChain 团队探索了 AIGC 技术在社区老人身上的应用,帮助他们生成属于自己的婚纱照。目前,魔搭已经实现了 1.0 和 1.5 版本的人像生成技术,以及无限风格写真和模板写真功能。团队还计划融入更多时尚设计,实现无需训练的人物写真技术。此外,他们也推进了强化学习训练框架,并将推广更具有可玩性的人像视频技术。

云上 AI 应用训练与推理的存储最佳实践

日就月将,学有缉熙于光明。大模型作为机器学习领域的尖端代表,其研发并非一日之功。机器学习的工作流程可大致分为数据采集、数据准备、模型训练和模型推理四个阶段,每个阶段对于数据存储的要求都不尽相同,这无疑给存储带来了机会和挑战。

阿里云技术专家浪远指出,闯过算力关,才能拿到大模型竞赛的入场券。在 AI 训练过程中,CheckPoint 耗时会直接影响算力利用率。为了解决这个问题,需要采用更高性能的存储系统,如并行文件系统。阿里云并行文件存储 CPFS 具有高吞吐和高IOPS 等特点,可以满足大规模数据存储和读取的需求,有利于提升训练效率。
在这里插入图片描述
作为一款高性能的并行文件存储,文件存储 CPFS 通过将数据打散访问,提高了计算节点的存储数据性能。它通过将查询数据并行化,加快了数据访问速度;使用分布式原数据作为地图,避免了数据瓶颈;采用高速网络和优化的磁盘切片技术,提升了系统性能。并且文件存储 CPFS 实现了与 OSS 之间数据双向流动,数据集可预加载至 CPFS 以提升训练效率,冷数据可归档至 OSS 降低成本。致力于推动大模型应用落地的百川智能,就使用了 CPFS 智算版和 OSS 搭建大模型服务。

在AI推理场景中,GPU 对数据的读取和训练有些不同。比如,在推理场景中,数据主要是大文件的大 I/O 读取,要的其实是一种 burst 的大单流和大聚合带宽,很少涉及数据写入。而且很多开源模型需要通过网络直接上传到存储系统中,所以许多阿里云用户会使用 OSS 作为模型库的存储。为了减少数据导入的时间,OSS 通过更大分条适配、清浊分离、动态集群调度将默认吞吐能力提升 10 倍。LibLib 通过采用阿里云 OSS、NAS,构建了统一 AIGC 存储服务,加速业务的商业化。

此外,阿里云在 OSS 上构建了 OSS 加速器功能,可以缓存 OSS 中的热点文件(Object),提供高性能、高吞吐量的数据访问服务。当前,加速器功能正在向 2.0版本演进。在2.0版本中,整个服务将实现 serverless 化,开发者可以完全按需使用,大幅降低起步门槛。

结语:人工智能技术的创新迭代驱动了应用场景的进一步落地,以智能决策、多模态、AI 大模型为代表的热点为市场带来了更多想象力和可能性。同时,企业对自身“数字化”、“数智化”转型的积极推动催生出对 AI 技术的多元化需求。阿里云将帮助更多企业和开发者在 AIGC 时代开疆扩土。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/260582.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【PIE-Engine 数据资源】全球2.5分分辨率累积降水量数据集

文章目录 一、 简介二、描述三、波段四、示例代码参考资料 一、 简介 数据名称全球2.5分分辨率累积降水量数据集时间范围1961年- 2018年空间范围全球数据来源worldclim代码片段var images pie.lmageCollection(WORLDCLIME/GLOBAL_PREC_MONTH") 二、描述 全球2.5分分率果…

Linux笔记---用户和权限管理基本命令介绍

🍎个人博客:个人主页 🏆个人专栏:Linux学习 ⛳️ 功不唐捐,玉汝于成 目录 ​编辑 前言: 命令: whoami: passwd: useradd: userdel: chm…

直升机产权共享,让飞行成为触手可及的梦想!

你曾想过能开直升机?甚至想拥有一架直升机?那种飞跃人生的心境,翱翔蓝天白云。可面临居多疑问,比如:学开直升机需要怎样的条件(年龄、学历、费用、学习内容及周期等)?到哪里学/买直升机比较安全…

【C语言】自定义类型之联合和枚举

目录 1. 前言2. 联合体2.1 联合体类型的声明2.2 联合体的特点2.3 相同成员的结构体和联合体对比2.4 联合体大小的计算2.4 判断当前机器的大小端 3. 枚举3.1 枚举类型的声明3.2 枚举类型的优点3.3 枚举类型的使用 1. 前言 在之前的博客中介绍了自定义类型中的结构体,…

利用Spark构建房价分析与推荐系统:基于58同城数据的大数据实践

利用Spark构建房价分析与推荐系统:基于58同城数据的大数据实践 基于Spark的房价数据分析预测推荐系统引言技术栈功能概述项目实现1. 数据爬取与处理2. 大数据分析与可视化3. 房价预测模型4. 协同过滤推荐系统5. Web应用开发6. 数据管理与用户管理 总结与展望 基于Sp…

常见的Web攻击手段分析总结,实战案例:通过 X-Forwarded-Host 的密码重置令牌泄漏

常见的Web攻击手段分析总结,实战案例:通过 X-Forwarded-Host 的密码重置令牌泄漏。 常见的 Web 攻击手段主要有 XSS 攻击、CSRF 攻击、SQL 注入攻击、DDos 攻击、文件漏洞攻击等。这几种攻击方式的防护手段并不复杂,却还是有很多企业遭受了该攻击,朔源到头,还是因为人为的…

【实时绘画】krita + comfyUI 实时绘画 儿童海报

1:打开comfyUI 2: 打开krita 打开 cd custom_nodes 输入命令 安装控件 git clone https://github.com/Acly/comfyui-tooling-nodes.git

Gamma分布

分布的概率密度为: 其中参数 分布的数学期望等于,方差等于。

java:用ClassLoader将文件转化为输入流

代码示例: package com.thb;import java.io.IOException; import java.io.InputStream;public class Demo4 {public static void main(String[] args) throws IOException {String resource "com/thb/test.properties";// 获得ClassLoaderClassLoader c…

大数据HCIE成神之路之数据预处理(3)——数值离散化

数值离散化 1.1 无监督连续变量的离散化 – 聚类划分1.1.1 实验任务1.1.1.1 实验背景1.1.1.2 实验目标1.1.1.3 实验数据解析 1.1.2 实验思路1.1.3 实验操作步骤1.1.4 结果验证 1.2 无监督连续变量的离散化 – 等宽划分1.2.1 实验任务1.2.1.1 实验背景1.2.1.2 实验目标1.2.1.3 实…

用户管理第2节课-idea 2023.2 后端--删除表,从零开始

一、鱼皮清空model文件夹下 二、鱼皮清空mapper文件夹下 三、删除 test 测试类下的部分代码 3.1删除SampleTest 3.2删除部分代码 UserCenterApplicationTests

自动化测试|Eolink Apikit 如何保存、使用测试用例

测试用例是测试过程中很重要的一类文档,它是测试工作的核心,是一组在测试时输入和输出的标准,是软件需求的具体对照。 测试用例可以帮助测试人员理清测试思路,确保测试覆盖率,发现需求漏洞,提高软件质量&a…

VC++ MinGW编译器将图片、字体等资源文件编译进程序和使用

Mingw使用附带的windres.exe可以将资源文件编译成.o文件, 之后与其他目标文件一起g++.exe链接生成程序 为了方便,使用mingw编译器版本的codeblock编写程序 用位图资源作为例子,新建一个空项目,在项目下新建一个资源文件,resource.rc,一个cpp文件main.cpp,一个头文件reso…

YOLOv8轻量化模型:模型轻量化创新 | MobileNetV3结合轻量级MLCA模块

💡💡💡本文解决什么问题:MobileNetV3结合轻量级的 Mixed Local Channel Attention (MLCA) 模块,实现轻量化 1.MLCA原理介绍 论文:https://www.sciencedirect.com/science/article/abs/pii/S0952197623006267 摘要:本项目介绍了一种轻量级的 Mixed Local Channel At…

IDEA版SSM入门到实战(Maven+MyBatis+Spring+SpringMVC) -SpringMVC搭建框架

第一章 初识SpringMVC 1.1 SpringMVC概述 SpringMVC是Spring子框架 SpringMVC是Spring 为**【展现层|表示层|表述层|控制层】**提供的基于 MVC 设计理念的优秀的 Web 框架,是目前最主流的MVC 框架。 SpringMVC是非侵入式:可以使用注解让普通java对象&…

2万字揭秘阿里巴巴数据治理平台建设经验(上),附推荐系统完整源码

原文链接 https://mp.weixin.qq.com/s?__bizMjM5MjA0OTYwNQ&mid2247484210&idx1&sn5ceffbba79553219b792e2fcfb9c6789&chksma6ad739891dafa8eeabcde82ed24f04d9ffbbb837137fe7c1c72b38c986b38aa83f0c593e02a&token909431872&langzh_CN#rd 本文从七个…

Qt之判断一个点是否在多边形内部(射线法)

算法思想: 以被测点Q为端点,向任意方向作射线(一般水平向右作射线),统计该射线与多边形的交点数。如果为奇数,Q在多边形内;如果为偶数,Q在多边形外。计数的时候会有一些特殊情况。这种方法适用于任意多边形,不需要考虑精度误差和多边形点给出的顺序,时间复杂度为O(n)…

C# NPOI导出datatable----Excel模板画图表

1、创建Excel模板 2、安装NPOI管理包 3、创建工作簿 (XLSX和XLS步骤一样,以XLS为例) IWorkbook workbook null; string time DateTime.Now.ToString("yyyyMMddHHmmss"); string excelTempPath Application.StartupPath "…

VScode安装C/C++编译器步骤

一、安装C/C插件 二、安装 MinGW-w64 工具链 使用国内源 git clone https://gitee.com/cuihongxi/ubuntu2-mac.git 下载后进入到VScode文件夹下,点击msys2-x86_64-20231026.exe进行安装 完成后,确保选中“立即运行 MSYS2”框,然后选择“完…

比特币和区块链并非游离在法律之外

​​发表时间:2023年12月01日 近年来,围绕区块链监管的讨论,已经成为政策制定者、行业领袖和区块链爱好者之间越来越重要的话题。随着各国政府在促进创新和确保消费者保护之间寻求着平衡,有关区块链监管的持续讨论反映出这项变革性…