AI原生时代,操作系统为何是创新之源?

一直以来,操作系统都是软件行业皇冠上的明珠。

从上世纪40、50年代,汇编语言和汇编器实现软件管理硬件,操作系统的雏形出现;到60年代,高级编程语言和编译器诞生,开发者通过操作系统用更接近人的表达方式去开发应用;再到十多年前,软件复杂度和规模提升,操作系统管理对象变成集群和上面运行的各种“微服务”,云计算成为一种操作系统,让开发者降低集群管理的复杂性。

可以说,一部操作系统的历史就是开发者/开发方式不断演进的历史。如今,步入到AI原生时代,大模型与AI原生应用爆发,一场操作系统的新技术革命已经爆发,操作系统正成为AI原生时代的开发创新之源。

正如本周Create 2024 百度AI开发者大会上,百度智能云率先发布新一代智能计算操作系统--万源,通过对AI原生时代的智能计算平台进行抽象与封装设计,为用户屏蔽掉云原生系统与异构算力的复杂性,重新定义人机交互,为开发者带来简单、流畅的开发体验。

随着万源操作系统的发布,一个人人都是开发者的伟大时代正式拉开序幕。

AI原生时代,操作系统再进化

多年前,Linux操作系统创始人Linus Torvalds有句名言:“Talk is cheap, Show me the code.”

的确,在过去的开发领域,代码胜于雄辩,开发者们希望通过Linus这句话表达对代码技术的推崇。如今,一切都已改变,通过自然语言来编程不是梦。在大模型的加持下,一个人人都是开发者的时代正加速到来。

百度集团执行副总裁、百度智能云事业群总裁沈抖认为,大模型的出现,彻底改变了人与机器之间的关系,从而驱动软件开发范式的变革,“传统云计算系统依然重要,但不再是主角。大模型与AI原生应用爆发后,我们需要一个全新的操作系统。”

仔细分析,未来趋势的确如此。大模型的出现,本质上是一次影响深远的科技平权。以开发为例,过去是少数经过专业训练的程序员的特权,现在则通过自然语言即可实现。在大模型逐渐渗透到各个领域的时代,操作系统亦不除外,加速走向进化。

从技术演进规律和市场需求来看,以AI为核心的新一代智能计算操作系统也是必然的进化方向。

首先,在基础设施硬件变了,随着人工智能应用爆炸性增长,异构计算环境会成为标配,在一个集群中通常会存在数量庞大的不同芯片,尤其大模型训练通常需要万卡集群,需要操作系统有能力进行管理、调度和优化,实现算力资源的高效释放。

其次,操作系统的内核不可避免地走向更加复杂,大模型正在成为操作系统的新内核。大模型作为核心引擎,在操作系统内核中不能缺位。除了各种大模型之外,操作系统还需要具备构建强大的大模型服务能力,提供模型调用、评估、部署、调用等工具链。

第三,操作系统还需要提供好的应用开发工具去做工作流编排、插件管理,重新定义人机交互,为开发者提供更简单、更流畅的开发体验。

“新一代智能计算操作系统除了管理底层硬件转变为异构计算外,还首次增加了大模型压缩的世界知识,管理对象从管理进程、管理微服务变成管理智能,并且彻底改变软件开发范式,编程从面向过程、面向对象到面向需求,编程开发语言到自然语言进化。”沈抖总结道。

某种程度而言,以百度智能云的万源为代表的新一代智能计算操作系统出现,有望真正降低AI应用开发的门槛,让人人都能成为开发者,加速实现AI普惠化。

万源为何能成为AI创新之源

一直以来,操作系统都具有极高的技术难度,市场准入门槛也极高。

进入到AI原生时代,新一代智能计算操作系统更像是硬件能力、AI能力、云能力等综合能力的一次沉淀,建设难度更高。毫无疑问,百度智能云凭借在AI领域、云计算领域、开发者领域多年深厚的积累,使得其万源操作系统在开局就树立起新一代智能计算操作系统的标杆。

作为AI原生时代的智能计算操作系统,万源的架构由由Kernel(内核)、Shell(外壳层)、ToolKit(工具层)组成。

在内核层,万源屏蔽了异构计算的复杂性,其百舸AI异构计算平台在万卡集群上的有效训练时长占比超过98.8%,带宽有效利用率都达到了95%,算力效能业界最高,并且高效适配昆仑芯、昇腾、海光 DCU、英伟达、英特尔等国内外异构芯片,支持以最小代价完成算力适配。

百度集团副总裁侯震宇介绍:“万源基于百度在AI、云计算等领域多年的积累,然后在AI原生时代应运而生。像百舸AI异构计算平台已在大模型训练推理和应用的复杂场景中得到充分验证。”

以异构计算目前面临最大的一云多芯挑战为例,其对于技术能力、工程化能力、生态能力要求极高,需要对不同芯片、芯片架构和应用软件进行全方位的拉通,还需要在真实复杂场景中得到考验。而且,鉴于国内芯片供应现状,“一云多芯”是企业不可避免的选择,要多芯混用来构成集群跑大模型训练任务。

尤其如何在大模型训练、特别是单一训练任务上,管理好不同的芯片就是业界极难攻克的技术难点之一,需要解决不同厂商芯片的算力均匀切分、芯片间通信效率优化等问题。目前,百舸已经实现了单一训练任务下不同厂商芯片的混合训练,且百卡规模性能损失不超过3%,千卡规模性能损失不超过5%,业界领先,最大程度上屏蔽硬件之间差异,帮助用户摆脱单一芯片的依赖。

万源在“一云多芯”方面取得业内超前水平的技术突破数据背后,得益于采用的很多创新技术,一方面百舸底层的加速库AIAK,通过做好网络通信加速,让不同的芯片都能跑起来,实现线性加速比达到95%;此外百舸在底层加速库做并行框架实现,采用Tensor Parallel(张量并行)、流水线并行,模型并行等多种并行策略,且采用自研自适应算法自动实现并行策略的参数设定,实现让异构芯片都跑在同一张算力网里,跑在同一个训练任务上。

除了一云多芯外,万源的内核层还融入了文心大模型系列+三方大模型,大模型可以压缩世界知识,将自然语言的理解、生成、逻辑、记忆能力封装起来、向上提供简单的接口,保障让AI原生应用高效运行,充分满足用户在不同业务场景下的多样化需求。

在内核层之上则是Shell层,通过千帆ModelBuilder来屏蔽掉模型开发的复杂性,解决模型的管理、调度、二次开发问题。千帆Modelbuilder将模型开发工具链产品化,可以满足企业和开发者在细分场景下对基础大模型做快速微调、精调等的需求。此外,千帆ModelBuidler还提供模型路由服务,支持根据不同任务选择适合的模型,组合编排模型来将模型能力最大化。

在Shell层之上,则是有千帆AppBuilder和AgentBuilder应用开发平台组成的工具层,核心就是屏蔽掉应用开发的复杂性,为开发者提供 AI 原生应用开发能力,提升开发效率和使用体验。千帆AppBuilder主要面向AI应用快速开发,AgentBuilder则是聚焦智能体开发工具。

以千帆AppBuilder为例,开发者不需输入代码,使用自然语言就能开发出一个AI原生应用,并且还能通过API或者SDK集成到系统之中,还能快速对外发布。

做好生态,让创新成为活水

操作系统成败在于生态,新一代智能计算操作系统更不可能例外。

AI原生时代,有了新一代智能计算操作系统这个创新之源头,还需要通过生态体系来让创新的活水滋润千行百业。那么,如何让新一代智能计算操作系统的生态体系良好成长?

百度智能云的思路是以应用为牵引,携手头部行业伙伴,共同探索大模型应用的落地与实践,让新一代智能计算操作系统、大模型在生态伙伴的实际业务场景中用起来。截止目前,百度智能云千帆大模型平台近6个月的合作伙伴数量增长已经超过500%,生态体系建设效果显著。

另一方面,万源的发布仅仅是一个起点,百度智能云的思路是未来在生态层进一步开放,通过各种措施来推动万源生态体系的茁壮成长。

具体来看,百度智能云未来向上会开放更多能力和接口,让开发者在开发应用时更加简单;向左则会以万源为基础,面向行业打造垂直行业操作系统,让新一代智能计算操作系统加速进入更多行业;向右则会将万源部署到企业的智算中心,提供稳定、安全、高效的智算环境;向下则会适配更多芯片,进一步隐去异构集群的复杂性,让不同芯片发挥最大的算力效能。

综合来看,百度智能云万源操作系统的发布的确给了业界一个明确的信号,即AI原生时代操作系统会加速走向进化。毫无疑问,百度智能云打造万源,就像是做一件极难但正确的事情,对于AI应用创新、AI普惠等长远发展将大有裨益。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/560144.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

面向对象(一)

一.类与对象的定义 (1)类(设计图):是对象共同特征的描述: (2)对象:是真实存在的具体东西。 在Java中,必须先设计类,才能获取对象。 二.如何定义类 public class 类名{1.成员变量(代表属性,一般是名词) 2.成员方法(代表行为,一般是动词) 3.构造器 4.代码块 5.内部…

Liunx入门学习 之 基础操作指令讲解(小白必看)

股票的规律找到了,不是涨就是跌 一、Linux下基本指令 1.ls 指令 2.pwd 命令 3.cd 指令 4.touch 指令 5.mkdir 指令 6.rmdir指令 && rm 指令 7.man 指令 8.cp 指令 9.mv指令 10.cat 11.more 指令 12.less 指令 13.head 指令 14.tail 指令 15…

论文解读-Contiguitas: The Pursuit of Physical Memory Contiguity in Datacenters

研究背景: 在内存容量飞速增长的背景下,使用小页管理内存会带来巨大的内存管理开销(地址转换开销高)。近些年来不少研究尝试给应用分配大段连续区域,或者改善页表结构(如使用hash结构的页表)以降…

质谱原理与仪器2-笔记

质谱原理与仪器2-笔记 常见电离源电子轰击电离源(EI)碎片峰的产生典型的EI质谱图 化学电离源(CI)快原子轰击源(FAB)基体辅助激光解析电离(MALDI)典型的MALDI质谱图 大气压电离源(API)电喷雾离子源(ESI)大气压化学电离源(APCI)APCI的正负离子模式 大气压光电离源(APPI) 常见电离…

玄子Share-计算机网络参考模型

玄子Share-计算机网络参考模型 分层思想 利用七层参考模型,便于在网络通信过程中,快速的分析问题,定位问题并解决问题 将复杂的流程分解为几个功能相对单一的子过程 整个流程更加清晰,复杂问题简单化 更容易发现问题并针对性的…

线上频繁fullgc问题-SpringActuator的坑

整体复盘 一个不算普通的周五中午,同事收到了大量了cpu异常的报警。根据报警表现和通过arthas查看,很明显的问题就是内存不足,疯狂无效gc。而且结合arthas和gc日志查看,老年代打满了,gc不了一点。既然问题是内存问题&…

Python练习03

题目 解题思路 Demo58 通过字符串切片来进行反转操作 def _reverse():"""这是一个反转整数的函数"""num input("请输入想要反转的整数")print(num[::-1]) 运行结果 Demo61 首先制作一个判断边长的函数,通过三角形两边…

又成长了,异常掉电踩到了MySQL主从同步的坑!

📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜&am…

Google Earth Engine 洪水制图 - 使用 Sentinel-1 SAR GRD

Sentinel-1 提供从具有双极化功能的 C 波段合成孔径雷达 (SAR) 设备获得的信息。该数据包括地面范围检测 (GRD) 场景,这些场景已通过 Sentinel-1 工具箱进行处理,以创建经过校准和正射校正的产品。该集合每天都会更新,新获得的资产会在可用后两天内添加。 该集合包含所有 G…

《王者荣耀》Hello Kitty 小兵皮肤完整设置指南

王者荣耀与三丽鸥的联动活动上线了 Hello Kitty 小兵皮肤,让我们的峡谷小兵们也能穿上漂亮的衣服啦!这款皮肤极具卡哇伊风格,引起了许多玩家的关注。许多小伙伴都想知道如何使用这款 Hello Kitty 小兵皮肤,今天小编将为大家整理出…

STC单片机与串口触摸屏通讯程序

/***串口1切换通讯测试,单片机发送数据给触摸屏***/ /***切换到3.0 3.1发送数据到串口通信软件 ***/ /***设置温度 加热时间读写EEPROM正确 ***/ #include <REG52.H> //2023 3 5 L330 CODE2667 #include <intrin…

使用JDK自带工具进行JVM内存分析之旅

进行jvm内存分析可以排查存在和潜在的问题。 通过借助jdk自带的常用工具&#xff0c;可以分析大概可能的问题定位以及确定优化方向。 JVM内存分析有很多好处。 内存泄漏排查&#xff1a;JVM 内存泄漏是指应用程序中的对象占用的内存无法被垃圾回收器释放&#xff0c;导致内存…

遥瞻智慧:排水系统远程监控的卓越解决方案

遥瞻智慧&#xff1a;排水系统远程监控的卓越解决方案 在城市脉络的深层肌理中&#xff0c;排水系统犹如一条条隐秘的生命线&#xff0c;默默承载着城市的呼吸与律动。然而&#xff0c;如何以科技之眼&#xff0c;赋予这些无形网络以实时感知、精准调控的能力&#xff0c;使之…

基于机器学习的车辆状态异常检测

基于马氏距离的车辆状态异常检测&#xff08;单一传感器&#xff09; 基于多元自动编码器的车辆状态异常检测 基于单传感器平滑马氏距离的车辆状态异常检测 工学博士&#xff0c;担任《Mechanical System and Signal Processing》等期刊审稿专家&#xff0c;擅长领域&#xff1…

数据分析场景,连号相关业务

连号相关业务 业务场景&#xff1a;现在需要从a列一堆编号中&#xff0c;将连号范围在10以内的数据分别分成一组。 先看实先效果 演示的为db2数据库&#xff0c;需要含有窗口函数&#xff0c;或者可以获取到当前数据偏移的上一位数据 第一步&#xff1a;将A列数据正序第二步…

量子密钥分发系统的设计与实现(三):量子信号的产生、调制及探测技术讨论

之前的文章我们对量子密钥分发系统功能的光路子系统进行了较为全面的分析&#xff0c;我们理解了光路子系统是量子密钥分发系统的基础。本文我们主要探讨下量子信号产生、调制及探测的基础技术&#xff0c;算是一篇承上启下的文章吧&#xff0c;对相关的原理进行探讨&#xff0…

如何使用 ArcGIS Pro 制作边界晕渲效果

在某些出版的地图中&#xff0c;边界有类似于“发光”的晕渲效果&#xff0c;这里为大家介绍一下如何使用ArcGIS Pro 制作这种晕渲效果&#xff0c;希望能对你有所帮助。 数据来源 教程所使用的数据是从水经微图中下载的行政区划数据&#xff0c;除了行政区划数据&#xff0c…

wsl2 Ubuntu子系统内存只有一半的解决办法

物理机的内存是64G&#xff0c;在wsl2安装完Ubuntu20.04后&#xff0c;输入命令&#xff1a; free -g 发现只有32G&#xff0c;原因是默认只能获得物理机一半的内存&#xff1a; WSL 中的高级设置配置 | Microsoft Learn 因此可手动修改为与物理机同等大小&#xff1a; 1&a…

如何解决DDoS攻击?群联科技做出回答。

DDoS攻击&#xff08;分布式拒绝服务攻击&#xff09;是一种恶意利用多台傀儡机协同发起大规模网络流量&#xff0c;旨在压垮目标系统或网络资源&#xff0c;使其无法正常服务的网络攻击手段。由于现代计算机和网络性能的提升&#xff0c;单点发起的DoS攻击已难以奏效&#xff…

Day01——NestJS学习之了解、安装、运行

什么是 Nest.js&#xff1f; NestJs 官方简介: Nest (NestJS) 是一个用于构建高效、可扩展的 Node.js 服务器端应用程序的开发框架。它利用 JavaScript 的渐进增强的能力&#xff0c;使用并完全支持 TypeScript &#xff08;仍然允许开发者使用纯 JavaScript 进行开发&#x…