科技云报道:AIGC掀算力需求革命,边缘计算将不再“边缘”

科技云报道原创。

随着以大模型为代表的AIGC时代拉开序幕,算力需求持续爆发,AI与边缘深度融合已是大势所趋,越来越多的企业开始积极布局GenAI。

GenAI技术的商用化部署和应用成为企业竞逐的新阵地,勾勒出大模型从“技术力”转向“生产力”的新生态。

算力就是生产力,更丰富的算力资源成为人工智能竞争的核心基石。

IDC预计,全球AI计算市场规模将从2022年的195亿美元增长到2026年的346.6亿美元,其中GenAI计算市场规模将从2022年的8.2亿美元增长到2026年的109.9亿美元。

GenAI计算占整体AI计算市场的比例将从4.2%增长到31.7%。
在这里插入图片描述

AI算力瓶颈下边缘计算崛起

随着AI大模型爆发,大模型迭代和训练所需的算力呈指数级增长。同时,单个AI超算规模也受到功耗、土地、散热等因素制约,算力供给与需求的缺口持续放大。

此前,ChatGPT官网一度停止Plus付费项目的购买,GPT-4推出之后也已多次下调付费用户访问限制,原因是访问量激增超出了服务器的承受能力。

随着这场GenAI热潮逐步扩张,算力短缺已成为行业面临的共同挑战。

如果说传统算力是AI大模型的筋骨,那么边缘算力就是遍布全身的神经系统。

英伟达指出,为了有效运用算力达成AI应用目标,大规模数据中心势必要增加资本支出以扩大云端运算效能,同时也将带动边缘设备的销售。

在AI向实际场景落地的过程中,边缘算力的重要性将加速凸显。未来的AI运算将呈现出“训练与迭代在云端、推理与内容生产梯度分布(云侧+雾侧+边缘侧)”的格局变化,边缘算力有望成为AI算力的重要组成部分。

相较于传统云端,边缘计算作为一种分布式计算架构,具有低延迟、高安全性、高可靠性、保护用户隐私等优势,其在实时决策在自动驾驶、医疗保健、金融、制造等各个领域都至关重要。

从效率方面看,边缘计算使GenAI模型能够在边缘处理数据,从而显着减少延迟并实现更快洞察。这意味着可以实时做出关键决策,从而提高运营效率、增强客户体验和更好的整体业务成果。

其次,通过利用边缘计算,企业可以在边缘设备网络上分配计算负载,从而优化资源利用率并有效扩展。这种方法最大限度地减少了集中式云基础设施的压力并优化了带宽使用,从而节省了成本并提高了性能。

第三,通过边缘计算,GenAI模型可以直接在边缘设备或本地服务器上运行,最大限度地减少将敏感数据传输到集中式云服务器的需要。

通过使数据更接近其来源,公司可以显着降低与数据泄露、未经授权的访问和合规性问题相关的风险。

从关系上看,边缘计算并不寻求取代云计算,相反是对其重要的补充。边缘计算和云之间的协作可实现混合架构,最大限度地发挥两种范式的优势。

GenAI模型可以利用云的可扩展性和存储功能,同时受益于边缘设备的低延迟和本地处理能力。这种融合确保了GenAI采用的多功能且适应性强的基础设施。

边缘计算重构生产力边界

随着企业开始越来越多地拥抱AI,边缘计算和AI的融合拥有改变全球行业的巨大潜力。通过利用本地化处理、实时洞察和优化的资源利用,可以充分释放AI的全部潜力,同时保护敏感数据并推动组织进入AI时代。

对此,全球科技巨头开始将目光越来越多地转向这一领域。

比如,华为、高通均推出边缘AI产品。去年3月,高通中国在安卓手机上首次演示了模型参数超过10亿的Stable Diffusion;华为于去年7月发布智慧搜图功能,该功能通过对模型进行小型化处理。

华为与高通一定程度上验证了高性能边缘AI的可行性,并且表明通过模型压缩+联网智能的方式有望在边缘端实现AI大模型的体验。

此外,英伟达黄仁勋也表示,人工智能的下一个浪潮将是具身智能。具身智能能够在物理世界中进行操作和感知,输出各种机械动作。

具身智能将边缘算力需求提升到了一个新高度,具身智能的“大脑”不仅要处理视觉信息、生成提示词,更要负责输出指令来执行机械动作。在移动芯片无法满足所需算力的场景下,边缘IDC将是算力的有效补充措施。

AIPC、AI手机、具身智能、自动驾驶等AI新应用的兴起,无疑为边缘云市场带来了巨大影响,这种影响既体现在市场规模的扩张,也反映在技术要求的提升方面。

AIPC、AI手机作为AI普惠的终端,其本质在于云端与本地端的混合协作,通过利用云端的大数据处理能力来丰富本地设备的使用场景。

这种混合协作模式对云计算的性能和稳定性提出了更高的要求,同时也为云计算带来了更多的数据处理和存储需求。

边缘云作为离用户最近的数据处理中心,能够迅速响应这些需求,提供低延迟、高带宽的数据处理服务。

具身智能和自动驾驶的发展,更是推动了边缘云市场的快速增长。智能机器人需要在真实的物理环境下执行各种任务,这就需要边缘云提供强大的实时计算能力和数据交互能力。

不仅如此,边缘AI应用场景仍在持续丰富。边缘云服务提供商Zenlayer技术专家表示,对于实时性要求极高的应用,如自动驾驶和智能制造,边缘计算能够提供毫秒级的低延迟响应。

通过在车辆或生产线上部署边缘计算节点,客户可以实时处理传感器数据,进行决策和控制,从而确保安全和高效的生产运行。

其次,对于需要处理大量数据的应用,如智能视频监控和智慧城市,边缘计算能够减轻中心云的压力,实现数据的本地化处理。

通过在摄像头或传感器附近部署边缘计算设备,可以对视频流进行实时分析,识别异常事件,并及时进行响应。

此外,边缘计算还能够解决大模型在数据传输和隐私保护方面的问题。通过将模型推理过程放在边缘端进行,可以减少数据传输量,降低网络带宽要求,同时保护用户数据的隐私和安全。

事实上,目前已有企业开始探索边缘计算在AI大模型中的应用。

据Zenlayer技术专家介绍,某家专注于大模型技术的初创企业基于Zenlayer提供的一整套SDN解决方案,通过智能路由和数据传输协议优化等手段,搭建了一条高效稳定的数据传输通道,确保大模型在训练、推理等关键环节都能获得及时、准确的数据支持,从而显著提升了模型的应用效果和用户体验。

此外,还有对于一些AI大模型客户希望将算力资源部署至海外,Zenlayer针对这类需求,提供了算力托管或算力租赁服务,将计算资源部署在靠近用户的边缘数据中心,使大模型推理能够在本地进行,极大地降低了数据传输的延迟和成本。

同时,Zenlayer还为客户提供了一系列数据本地存储和传输方案,在满足各个国家对数据合规要求的同时,尽量优化业务交互体验。

结语

如果把视线放得更长远,在AI等众多颠覆性技术的背后,总离不开边缘计算的存在。当全球都沸腾在AIGC的风潮里,边缘云服务商正通过边缘端和云边的融合协同,满足更多元的AI应用场景,以更自如的算力,让AI技术更自如地普惠。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/573611.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

数组模拟几种基本的数据结构

文章目录 数组模拟单链表数组模拟双链表数组实现栈数组模拟队列总结 数组模拟单链表 首先类比结构体存储单链表,我们需要一个存放下一个节点下标的数组,还需要一个存储当前节点的值的数组,其次就是一个int类型的索引,这个索引指向…

挑战一周完成Vue3实战项目硅谷甄选Day1:项目初始化、项目配置、项目集成

一、项目初始化 node v16.4.0以上(查看node版本 : node -v) pnpm 8.0.0(npm i -g pnpm8.0.0) 在想创建的位置新建文件夹自己命名 在此文件夹下cmd:pnpm create vite 选择如下配置 Project name(项目名称&#xff0…

Java设计模式 _创建者模式_工厂模式(普通工厂和抽象工厂)

一、工厂模式 属于Java设计模式创建者模式的一种。在创建对象时不会对客户端暴露创建逻辑,并且是通过使用一个共同的接口来指向新创建的对象。 二、代码示例 场景:花店有不同的花,通过工厂模式来获取花。 1、普通工厂模式 逻辑步骤&#…

Spring - 5 ( 8000 字 Spring 入门级教程 )

一:Spring IoC&DI 1.1 方法注解 Bean 类注解是添加到某个类上的, 但是存在两个问题: 使用外部包里的类, 没办法添加类注解⼀个类, 需要多个对象, ⽐如多个数据源 这种场景, 我们就需要使用方法注解 Bean 我们先来看方法注解如何使用: public c…

AI-数学-高中-42导数的概念与意义

原作者视频:【导数】【一数辞典】1导数的概念与意义_哔哩哔哩_bilibili .a是加速度;

OpenAI 笔记:获取embedding

1 输入openai的api key from openai import OpenAIclient OpenAI(api_key**) 2 举例 response client.embeddings.create(input"Hello",model"text-embedding-3-small" )print(response.data[0].embedding) 默认情况下,text-embedding-3-s…

配置Linux【虚拟机】与 windows【宿主机】网络互通 (面向小白,简单操作)

1. 启动虚拟机,运行Linux系统 这里我使用 VMware Workstation Pro 来运行Linux系统(cent-os7)2. 鼠标右键打开终端 3. 输入 cd /etc/sysconfig/network-scripts , 然后输入ls ,查看当前目录下的网卡 一般来说,虚拟机的…

计算机网络基础认识

本篇文章是我在B站上看到关于计算机网络的介绍视频收到的启发。本篇文章的内容来自【网络】半小时看懂<计算机网络>_哔哩哔哩_bilibili 一、物理层 从常理来说&#xff0c;进行连个设备之间的通讯&#xff0c;首先最容易想到的就是使用一根线连接两个设备进行通讯。但是…

Docker的数据管理、网络通信和dockerfile

目录 一、Docker的数据管理 1. 数据卷 1.1 数据卷定义 1.2 数据卷配置 2. 数据卷容器 2.1 创建数据卷容器 2.2 使用--volume-from来挂载test1 二、端口映射 三、容器互联 1. 创建容器互联 ​编辑2. 进入test2测试&#xff08;ping 容器名/别名&#xff09; 四、Dock…

【弱监督点云分割】All Points Matter:用于弱监督三维分割的熵细化分布对齐

All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation 摘要&#xff1a; 伪标签被广泛应用于弱监督三维分割任务中&#xff0c;在这种任务中&#xff0c;只有稀疏的地面真实标签可供学习使用。现有方法通常依赖经验标签选择…

用立创EDA实现一个小项目

项目介绍 名称&#xff1a;蓝牙音响 功能&#xff1a;按键切换 蓝牙控制 语音控制 项目流程 市场调研产品立项----老板--经理硬件&#xff08;外观、尺寸、大小、使用环境&#xff09;软件&#xff08;代码开发环节&#xff09;产品测试 以管理员身份运行 新建文件夹&…

Python学习从0开始——项目一day02数据库连接

Python学习从0开始——项目一day02数据库连接 一、在线云数据库二、测试数据库连接三、数据库驱动介绍四、SQL执行4.1插入测试数据4.2安装数据库连接模块4.3测试SQL语句执行4.4执行SQL的固定步骤及示例 一、在线云数据库 找了一个在线数据库&#xff0c;需要邮箱注册&#xff…

使用Docker搭建Redis主从集群

文章目录 ☃️前言☃️搭建❄️❄️架构❄️❄️实例说明❄️❄️搭建第一个服务器上的两个实例❄️❄️搭建第二个服务器上的一个实例 ☃️开启主从❄️❄️改配置❄️❄️重启从节点 ☃️验证 欢迎来到 请回答1024 的博客 &#x1f353;&#x1f353;&#x1f353;欢迎来到 …

《MATLAB科研绘图与学术图表绘制从入门到精通》示例:绘制婴儿性别比例饼图

在MATLAB 中可以使用 pie 函数来创建饼图。饼图是一种展示不同部分占总体的相对比例的图表。 本示例从“婴儿出生数据.csv”文件读取婴儿出生数据&#xff0c;然后计算男性和女性婴儿的数量&#xff0c;使用MATLAB绘制饼图。 配套图书链接&#xff1a;https://item.jd.com…

【ruoyi-vue】axios的封装理解和基本使用

axios的配置 ruoyi的前端对axios进行了封装&#xff0c;让我们发get请求或者是post请求更加方便了。 ruoyi对axios的封装在下面文件中&#xff1a;打开文件&#xff0c;可以看到它有三个显眼的方法&#xff0c;分别是request拦截器、response拦截器和通用下载方法。ruoYi接口地…

MySQL主从的应用

说明&#xff1a;本文介绍MySQL主从在实际中的应用。主从搭建和问题参考下面两篇文章&#xff1a; MySQL主从结构搭建 搭建MySQL主从结构时的问题 数据迁移 当我们搭建完MySQL主从&#xff0c;第一步当然是把历史数据导入到主从结构中。有以下两种方式&#xff1a; 开启主从…

Linux 网络操作命令Telnet

Telnet 尽管 Telnet 已经逐渐被更安全的 SSH 协议所取代&#xff0c;但在某些特定场景下&#xff0c;如对旧系统的维护或教育目的&#xff0c;Telnet 仍然有其使用价值。本文将介绍如何在 Linux 系统中安装 Telnet 客户端&#xff0c;以及如何使用它进行远程登录。 用户使用 t…

什么是DTU和串口服务器的区别

在工业物联网的快速发展中&#xff0c;数据传输单元&#xff08;DTU&#xff09;和串口服务器作为两种关键设备&#xff0c;各自扮演着重要的角色。对于传统行业来说&#xff0c;了解它们的基本概念和区别&#xff0c;有助于更好地选择和应用这些技术&#xff0c;提升生产效率和…

Rust基本数据类型-切片

一、切片是什么&#xff0c;怎么用 1、切片是什么 切片并不是 Rust 独有的概念&#xff0c;在 Go 语言中就非常流行&#xff0c;它允许你引用集合中部分连续的元素序列&#xff0c;而不是引用整个集合。 对于字符串而言&#xff0c;切片就是对 String 类型中某一部分的引用&…

基于单片机的空气质量检测系统设计

摘要:随着社会经济的不断发展,人们的生活水平日益提高,健康与养生成为了全民关注的热点话题,空气质量地不断下降也引起了社会的广泛关注,如何了解家居内空气质量的情况也成了亟需解决的问题。在此背景下,本文针对室内空气的质量问题设计了基于单片机的空气质量检测系统,…