对话NVIDIA英伟达:AI已照进现实 | 最新快讯

文 | MetaPost

NVIDIA 创始人兼首席执行官黄仁勋在 GTC 2024 主题演讲上表示:下一波 AI 浪潮将是 AI 对物理世界的学习。

当下,全球范围内价值超过50万亿美金的行业正在竞相实现数字化,数字孪生技术正在赋能千行百业。NVIDIA Omniverse 中国区业务负责人何展表示,AI 正在进入物理世界。每一栋建筑、每一个仓库、每一个工厂,都将实现 AI 化,并持续优化。新一代的数字孪生更需要使用数字化的技术、模拟世界的技术,来训练和测试 AI。

生成式 AI 有望彻底改变它所触及的每一个行业,掌握技术是迎接挑战的关键。而我们想要的 AI 一定是值得信赖的、高性能的,这样级别的 AI,需要在一个遵守物理定律的数字孪生世界中进行模拟、验证和仿真。

来听 NVIDIA 英伟达的专家们聊聊,如何将物理世界模拟和 AI 融合在一起。

0NVIDIA 的“三大灵魂”

今年的 GTC 主题演讲上,黄仁勋说:“计算机图形学、物理学引擎模拟仿真和 AI 是 NVIDIA 的灵魂所在。”

1、计算机图形学

众所周知,NVIDIA 是靠图形学起家的。何展表示,不夸张地说,几乎每一位 NVIDIA 的员工都以此为傲。利用 NVIDIA 的底层技术,开发者们可以将现实世界中每一个真实存在物品,都极度逼真地渲染及模拟出来。

2、 物理世界模拟技术

有了可以以假乱真的计算机图形学技术,做出了好的数字资产,要真正赋能到应用,还缺一个要素——物理世界模拟技术。

来看两个例子,一个是从宏观的世界去模拟,一个是在极其微小的粒子世界里做模拟技术,以赋能应用。

通过 Omniverse 渲染引擎模拟粒子爆炸的实际情况,运用大量的计算去模拟真实的粒子分析,并且加速了很多倍,以呈现真实的效果。

微观世界分子结构异常复杂的设计也需要模拟,且物理准确模拟非常重要。一个简单的例子,如果模拟精准度不够真实,那么我们今天的靶向药物治疗等方式,就都是无效的。

3、 AI 技术

过去几年,AI 技术的变革颠覆了众多行业。有了 AI 的加持,Omniverse 也带来了全新的功能和体验。

怎样通过 AI 技术快速构建一座数字孪生工厂?首先用 2D 的 PDF 图纸,通过文字描述生成 3D 结构,用到的工具是 NVIDIA 的 DeepSearch,可以通过深度学习的方式检索出你想要的模型资产,并放置在数字孪生环境中。接着调用SA软件 BlenderGPT,通过文字生成工厂系统。再用 Adobe 通过文字生成大理石地面。然后通过其他软件生成 GIS 数据,最终一个数字孪生工厂的 Demo 便完成了。

这一过程较传统设计有了巨大的变化,无需操作其他软件,只需通过文字和 Omniverse 便完成了这样一个复杂的数字孪生制作过程。过去,如此复杂、专业的设计需要科班出身的设计师以及在工厂的实践经验才能完成。现在,NVIDIA 提供的技术和平台可以让每个用户,只需输入文字、会使用 Omniverse 的平台软件,就可以完成。

这就是 AI 和 Omniverse 结合之后实现的全新设计流程。

以上,NVIDIA 的三大灵魂,融合起来就是 Omniverse 。数据显示,Omniverse 由超过300万行的代码编写而成,在全球范围内已经集成和整合了超过240款工具软件。如今,Omniverse 的数字孪生几乎无处不在,涵盖汽车、制造、媒体、建筑、能源、科学运算仿真等等各行各业。

0融合三大灵魂的 Omniverse 能做什么?

“三大灵魂”全部融合在一起,能做什么?

全球气候模型 Earth-2,需要进行 3D 交互式的天气和季候数据的数字孪生模型,不仅要训练大量的数据,还要把它们数字化。在这个模型中,我们可以看气象的走向、大气河的流动,还能看到飓风,并且精确到1公里范围内,以帮助人类预测它的准确路径。充分应用了图形学、物理世界模拟仿真,以及 AI。

能否用“三大灵魂”分析更多事呢?如何把这些技术融入到真实的企业应用环境中至关重要。

比如,用 AMR 小车(自主移动机器人)眼中的数字孪生,同时还制作了大量“场站”数字孪生,以及工作人员视角下的数字孪生,这么多的数字孪生,通过 USD API,连接到 Omniverse Cloud 上,整合背后超强的算力,不断优化布局,来响应突发事件的管理,以及和 LLM 一系列的交互。

每一个场站的布局背后都有很多的数字孪生模型,就像有一只无形的手在操作,这个手就是 AI Agents,辅助这个标点符号里每一个场站 ARM 小车最优的路径,这就是物理世界和数字世界交互的一个非常生动的例子。

给一辆小车布一个最优路径尝试一下,再给它一个突发事件,看它如何实时调整路径。假设这边货架突然倒塌,它能否及时调整路径?可以看到,ARM 小车不但重新规划了自己的路径,路过时还对 AI Agents 说:“我感觉出现问题了,你赶紧去处理。”这个过程背后技术的复杂程度其实是非常高的,同时需要数字孪生模型、AI 和算力。

而随着各行业竞相将自己重塑为软件驱动的科技公司,每个领域的生成式 AI 也都如雨后春笋般兴起,3D 数据正在实现互操作性,高级图形学以及从边缘到云的仿真计算能力的进步,都为各行业的物理流程数字化带来了全新机遇。

0仿真工作流 加速 AI 训练

今年 GTC 上,Omniverse 带来的最大更新便是 Omniverse Cloud API,把 Omniverse 放到云端,提供一个应用程序编程接口 API,让开发人员可以将 Omniverse 最核心的技术直接集成到已有的应用层和工作流中。

Omniverse 不仅可以帮助全球工业企业加速自动驾驶车辆、人形机器人、智能仓储、大规模智慧城市等工作流程,Omniverse Cloud API,更将为基于 AI 的数字孪生仿真工作流的训练、模拟,以及后阶段的部署带来全新加速。

随着全球自动驾驶汽车和机器人需求的不断增加,AI 开发人员可能需要更多的传感器数据来进行训练、测试、验证这些 AI 的感知系统,而这些感知系统可以通过传感器模拟方式去实现一个合成数据的 1:1 数字孪生世界,在 Omniverse 构架的虚拟世界里进行训练、测试、仿真、验证等。这些合成数据都需要物理上非常精确的、符合物理定律的渲染。

AI 是如何在虚拟世界中进行训练的?

AI 和仿真最重要的是软件在环(SIL)和硬件在环(HIL)。将所有机器人、自动驾驶汽车、自主移动设备、传感器全部仿真放在 Omniverse 里,环境、场景都是实时渲染出来的,以实时喂料的方式喂给机器人的传感器,传感器看到的数据是假的,传感器本身也是虚拟出来的,汽车传感器看到的画面也是合成数据。把虚拟传感器捕捉到的数据,和汽车传感器得到的数据融合在一起,放在数字孪生里渲染,称之为 SIL。将 SIL 里训练好的模型,部署到硬件设备上,再做物理的路测或环境测试,叫做 HIL。做强化学习的时候,要确保学习环境是真实有效的,训练好的模型也是真实有效的,最后再到物理世界去部署。

最终,机器人系统、AI 和 Omniverse 形成了技术闭环。

0Omniverse 登录 Apple Vision Pro

全球最受瞩目的两家科技巨头携手,NVIDIA 与 Apple 一起,把 Omniverse 带到了 Apple Vision Pro 中去,将许多 3D 工作流尤其是工业环境下的数字孪生的工作流游戏化,打破了传统的工业工作流程。

Omniverse 里的 GPU 是顶尖的 RTX GPU,三大核心点:

1.传统着色的部分,可以用来做像素的渲染,确保画面是美轮美奂的;

2.光线追踪加速,用包裹体便利的方式去做实时光线追踪,延迟更低,帧率更高,与用户的互动性也更强;

3. Tensor,RTX GPU 里有针对张量运算的 tensor 运算,还可以加速 AI 的训练,如大模型、GenA、neural graphics、NeRF 等,都可以用 AI 去运算。

在云端 Omniverse API 连接各种应用程序,基于 USD 或 OpenUSD 打通数字资产之间的连接和调用,再通过 RTX GPU 强大的算力和符合物理定律的实时光线追踪完成画面渲染,最后呈现在 Apple Vision Pro 用户眼前的就是真实的 3D 空间场景。

Omniverse 强大的空间计算带来的全新工作流,使得设计师可以在 Apple Vision Pro 里实现沉浸式体验,以及人、产品、流程与物理空间之间的无缝互动。在 MR 里设计出的虚拟产品将与物理世界中的实际产品一模一样,所见即所得,想想都令人兴奋。

结语:

波士顿咨询公司(BCG)对企业最高管理层的调查显示,近四分之三的管理者计划在今年增加公司的技术投资,89% 的管理者将 AI 和生成式 AI 列为前三大优先事项中。超半数的企业希望利用 AI 提高生产力、改善客户服务和提升 IT 效率,以实现降本增效。

“AI 已经进入了物理世界。未来将是可生成的。”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/609430.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

“感恩遇到你,郭护士!”佛山市一医院 护士回家途中救了位老奶奶

“感恩遇见你,我感谢郭护士关爱长者、热心助人的高尚行为……”看着信件上感谢的话语,郭琳玲的内心感动不已。而这一封亲笔手写的感谢信,是来自一位将近八十岁的老奶奶。 郭琳玲是佛山市第一人民医院创伤重症功能神经外科的一名护士。4月30日…

【快讯】山东省第四批软件产业高质量发展重点项目开始申报

为加快落实《山东省高端软件“铸魂”工程实施方案(2023-2025)》,提高软件产业规模能级,提升关键软件技术创新和供给能力,塑强数字经济发展核心竞争力,确定开展第四批软件产业高质量发展重点项目申报工作&am…

深入探讨利用大型语言模型的力量的策略 (LLMs)

Note: 提示词工程是一门融合了艺术和科学的学科——它既是对技术的理解,也是对创造力和战略思维的理解。 本文为对LLMS策略分享内容学习后的整理,尝试抛开网上广泛讨论和记录的传统提示词工程技术,展示通过实验学到的新见解,以及…

树和二叉树的定义和基本术语

文章目录 前言一、树的定义二、树的基本术语三、二叉树的定义总结 前言 T_T此专栏用于记录数据结构及算法的(痛苦)学习历程,便于日后复习(这种事情不要啊)。所用教材为《数据结构 C语言版 第2版》严蔚敏。 一、树的定义…

React:Router-2. createBrowserRouter函数式

参考文档:ReactRouter官网 前边的文章 BrowserRouter组件式路由 提供了组件式路由的方式,在react-router6.4.0及以上版本,提供了 createBrowserRouter 函数式路由创建方式。 一、创建路由 1. 新建router.js文件,使用createBrow…

线程-进程-多线程 概述简介

01 线程简介 任务, 进程, 线程, 多线程 多任务 什么是多任务? 生活中的例子 第一个例子: 这张图片, 一个人边吃饭边玩手机, 同时做了两件任务,大家不要去当这样的低头族. 第二个例子: 第二张图, 开车的时候能打电话, 能打点滴 第三个例子: 第三个图, 说明了我们可以边…

HTML4(三):表单

文章目录 表单1. 基本结构2. 常用表单控件2.1 文本输入框2.2 密码输入框2.3 单选框2.4 复选框2.5 隐藏域2.6 提交按钮2.7 重置按钮2.8 普通按钮2.9 文本域2.10 下拉框2.11 示例 3. 禁用表单控件4. lable标签5. fieldset与legend标签6. 总结 表单 概念:一种包含交互…

vue3中如何更优雅的使用echarts?

echarts在vue或者react中使用存在的问题 每个图表需要从头到尾写地一遍完整的option配置,这样一来的话就会显得十分的冗余在同一个项目中,其实不难发现各类图表设计十分相似,甚至是相同,因此我们没必要一直做重复的工作&#xff…

基于Java+SpringBoot+Vue前后端分离教学资源共享平台系统

基于JavaSpringBootVue前后端分离教学资源共享平台系统 🍅 作者主页 网顺技术团队 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 🍅 文末获取源码联系方式 📝 🍅 查看下方微信号获取联系方式 承接各种定制系统…

标准参编征集|《第三方运维服务水平评价指南 工业废水处理设施》

目前,对于工业废水处理设施第三方运维服务的标准,国家和行业未曾出台有针对性的评价标准和规范,工业企业和工业园区对第三方运维服务的监督、考核、评价体系需要进一步补充和完善。 本标准的编制旨在帮助第三方运营单位从运营技术和管理举措…

Linux 第二十五章

🐶博主主页:ᰔᩚ. 一怀明月ꦿ ❤️‍🔥专栏系列:线性代数,C初学者入门训练,题解C,C的使用文章,「初学」C,linux 🔥座右铭:“不要等到什么都没有了…

定制聚四氟乙烯砂芯抽滤装置

聚四氟乙烯布氏漏斗及其抽滤装置,是实验室中使用的一种仪器,用来使用真空或负压力抽吸进行过滤。 布氏漏斗形状为扁圆筒状,圆筒底面上开了很多小孔。下连一个狭长的筒状出口。 使用的时候,一般先在圆筒底面垫上滤纸,…

使用PyTorch实现L1, L2和Elastic Net正则化

在机器学习中,L1正则化、L2正则化和Elastic Net正则化是用来避免过拟合的技术,它们通过在损失函数中添加一个惩罚项来实现。 正则化介绍 L1 正则化(Lasso回归): L1 正则化通过向损失函数添加参数的绝对值的和来实施惩…

JavaScript异步编程——07-Promise实例的方法【万字长文,感谢支持】

Promise 实例的方法简介 Promise 的 API 分为两种: Promise 实例的方法(也称为:Promis的实例方法) Promise 类的方法(也称为:Promise的静态方法) Promise 实例的方法:我们需要实…

Go 单元测试完全指南(一)- 基本测试流程

为什么写单元测试? 关于测试,有一张很经典的图,如下: 说明: 测试类型成本速度频率E2E 测试高慢低集成测试中中中单元测试低快高 也就是说,单元测试是最快、最便宜的测试方式。这不难理解,单元…

游戏工作室如何利用惯性动作捕捉技术制作动画?

随着动捕设备不断进步和游戏行业的发展,惯性动作捕捉技术在游戏开发领域逐渐普及。惯性动作捕捉技术,可以精准捕捉现实世界中的真人动作,并将其精准应用于虚拟角色上,使游戏中的角色动作可以呈现出更写实、逼真和沉浸感&#xff0…

【机器学习300问】80、指数加权平均数是什么?

严格讲指数加权平均数并不是机器学习中的专有知识,但他是诸多梯度下降优化算法的基础,所有我打算专门写一篇文章来介绍这种计算平均数的方法。还是老规矩,首先给大家来两个例子感受一下什么是指数加权平均数。 一、两个例子感性理解什么是指…

【Spring源码分析】ResolvableType

【Spring源码分析】ResolvableType 参考 目录 文章目录 【Spring源码分析】ResolvableType一、ParameterizedType 参数化类型&#xff0c;即泛型&#xff1b;例如&#xff1a;List< T>、Map< K,V>等带有参数化的对象;二、GenericArrayType—— 泛型数组 泛型数组…

竖排文字识别原理与实践操作方法

在当今数字化时代&#xff0c;OCR&#xff08;Optical Character Recognition&#xff0c;光学字符识别&#xff09;技术已经广泛应用于各个领域&#xff0c;特别是在文档处理方面&#xff0c;OCR软件能够帮助用户快速将纸质文档转化为可编辑的电子文档。然而&#xff0c;对于竖…