AI大模型如何赋能智能座舱

AI 大模型如何赋能智能座舱

从上海车展上,我们看到由于智能座舱配置性价比较高,已经成为车企的核心竞争点之一,随着座舱硬件规模化装车,蔚小理、岚图、极狐等新势力开始注重座舱多模态交互,通过集成语音/手势/触控打造智能化差异体验。车展期间,百度、商汤、华为等拥有大模型的厂商相继推出智能座舱产品,我们认为 AI 大模型的落地,将加速赋能座舱语音助手向“AI 智能管家”升级,有望推动座舱人机主动式交互时代的到来。

智能座舱演进到了什么阶段?——全面朝 4.0 多模态阶段迈入

我们将汽车座舱从机械时代到智能时代的发展划分为 5 个阶段,可以看到现阶段下座舱正处于从 3.0(以特斯拉 Model3/Y 的简配为代表)到 4.0(以理想 L9 的高配为代表)的演进阶段。该阶段重要特征即视听触多模块硬件加速升级,丰富汽车座舱智能生态。我们参加了 2023 年上海国际车展,车展中我们看到造车新势力、传统车企、Tier1 等新产品的展出和发布。我们看到智能座舱配置的性价比推动其渗透率快速提升,已经由原先造车新势力“一骑绝尘”的方式,转换全行业“齐头并进”。搭载方案转向座舱视听触多模态硬件全方位升级,印证了 4.0 时代加速到来,

大模型如何赋能座舱?——“AI 管家”打造差异化体验

我们认为目前多模态交互的背后仍是通过“语音+触摸屏”来实现控制,靠乘客主动发起方能实现的指令识别型“被动式交互”。大模型的落地,将加速软件能力升级,推动座舱 5.0 人机主动式交互时代的到来。

大模型有望:

(1)通过赋能语音助手对于乘客的语音语义理解能力。打通其在视觉、听觉、触觉等多模态应用上的操控力,形成深度的乘驾人机主动式互动体验。

(2)摆脱座舱硬件堆栈同质化。通过大模型赋能语音助手或将成为“AI 智能管家”,因算法不同而具有不同的特色和功能,进而形成车企自身独特的智能化差异,构筑核心竞争力。

比较看好的产品方向:

(1)视觉:传统车载 TFT-LCD 显示技术的快速迭代,逐步趋向大屏、高清化。此外 HUD 结合 AR 技术兴起,法规允许 E-Mirror 上车,多态显示技术交互。我们测算 23-30E 全球车载显示硬件规模有望达 1723 亿元,CAGR 为 10.2%。

(2)听觉:通过搭载更多数量/不同区位扬声器实现环绕体验,增加数字功放/低音炮等器件提升听觉质感。我们测算 23-30E 全球座舱声学硬件规模有望达到约 483 亿元,CAGR 为 14.2%。

(3)触觉:3DTOF 作为最适合 AI 视觉的传感器,用于支持手势交互/DMS/乘客识别功能,目前已经在理想、问界、BBA 等率先上车,大模型发展有望驱动需求快速提升.

智能座舱:4.0 至 5.0,从多模态到大模型

如果我们将汽车座舱从机械时代到智能时代的发展划分为 5 个阶段,我们认为现阶段下座舱正处于从 3.0(以特斯拉 Model3/Y 的简配为代表)到 4.0(以理想 L9 的高配为代表)的全面演进阶段。该阶段重要特征即视听触多模块硬件加速升级,丰富汽车座舱智能生态。

(1)座舱 1.0-2.0:最开始座舱的 1.0 时代,仅有机械仪表盘和车载收音机等寥寥数个车载元件,座舱主要以功能性为主。行至座舱 2.0 时代(20 世纪 80 年代后),随着信息技术革命,中控屏应运而生,可以初步显示行车信息及实现舱内控制功能,同时电气式仪表盘广泛应用,为驾驶员提供更多辅助信息。车载 DVD 功能的出现开启了汽车座舱娱乐化属性的重要一步。

(2)座舱 3.0-4.0:后随着汽车实现区域集成架构,高性能、高集成、高扩展性的座舱域控制器以开始助推智能化加速。我们认为在座舱 3.0 时期(2010 年后),中控屏、液晶仪表盘、音响等基础视听硬件,以及车灯、座椅等均得到了全方位升级;此外 Carplay 等应用上车也开启了车机互联的时代。随后国内造车新势力不断推进座舱往 4.0 时代发展(2020 年后),我们看到 HUD、副驾/后排屏、电子后视镜开始陆续上车,杜比音效、AI语音及手势交互甚至 VR 眼镜等功能不断创新,快速丰富座舱智能化体验。

(3)座舱 5.0:展望未来座舱 5.0 生态,在中央集成架构下,整车智能化水平将达到一个新的高度。我们认为随着大模型的赋能,AI 语音助手将加速转变为“AI 智能管家”,进行深度人机情感交互。此外,参考 2023 年 CES 大会上宝马 i Vision Dee 概念车的构思:全息投影、透明显示、车灯投影、电子墨水、裸眼 3D 等元素或进一步升级。

图片

2023 年上海国际车展看到造车新势力、传统车企等新产品的展出和发布。智能座舱的渗透已经由原先造车新势力“一骑绝尘”的方式,转换全行业“齐头并进”,行业搭载方案转向座舱多模态升级,印证了 4.0 时代加速到来。具体而言包括:1)视觉:车载屏幕向大屏化、多屏化、高清化的方向发展,HUD 加速上车。2)听觉:扬声器、功放数量增加,致力于打造沉浸式听觉享受。造车新势力:蔚来发布第二代数字座舱,搭载于 EC7、ET7、新款 ES8;理想:L7 延续L9/L8 亮眼座舱配置,打造家庭座舱体验;极狐:20.3 英寸中控屏与副驾/仪表/HUD 多屏交互,装载哈曼卡顿音响;广汽埃安:Hyper GT14.6 寸 2.5k 中控屏+23 个 HIFI 扬声器实现 3D 环绕立体声场。

传统车企:宝马:X1 搭载第 8 代 BMW iDrive 操作系统,配备 10.7 寸悬浮式曲面屏及HUD,满足驾乘者的个性化需求;大众:新车型 ID.7 VIZZION 主打智能乘坐空间,内置15 英寸 2k 悬浮中控屏及 AR-HUD,配备哈曼卡顿音响。

图片

4.0 阶段是座舱往多模态演进的时期,硬件升级>软件升级。目前多模态硬件的堆栈背后仍是通过“语音+触摸屏”来实现控制,主要交互停留在“命令识别”层面,靠乘客主动发起方能实现的“被动式交互”,各模态之间仍互为独立。

往后随着硬件逐步上车,座舱交互性和操控便捷性的重要程度逐步凸显。车企开始探索舱内智能化交互,“语音助手”或成为核心交互载体。看到目前新势力在座舱交互上已经有所突破。例如智能化领先的小鹏语音助手小 P 可以支持多指令识别、离线响应。蔚来人车交互系统 NOMI 具有较强的学习功能和语音指令识别功能,此外还能根据不同状况表现出相对应的情感,与车主进行简单对话。而理想的“理想同学”同样属于可以由关键词触发,能够执行语音/手势/触控命令的初级智能 AI。

往后看大模型的落地,或将加速软件能力升级,推动座舱 5.0 人机主动式交互时代的到来。大模型有望:(1)通过赋能语音助手对于乘客的语音语义理解能力,提升全功能操控力。打通其在视觉、听觉、触觉等多模态应用上的操控力,形成深度的乘驾人机主动式互动体验。(2)打造智能生态差异化,摆脱座舱同质化。通过大模型赋能语音助手或将成为“AI智能管家”,因算法不同而具有不同的特色和功能,进而形成车企自身独特的智能化差异。

商汤日日新大模型亮相车展,大模型接入座舱。4 月 18 日上海车展上,商汤亮相了其“日日新 Sensenova”大模型,并展示了其中文语言模型“商量 SenseChat”以及“如影 SenseAvatar”等与座舱的结合,我们看到通过大模型可以赋予座舱多种生成式 AI 能力,提供包括情绪感知、智能助手、基于情感的对话、创意内容生成、个性交互等一系列功能,应用场景也可以拓展到娱乐、办公、购物、休息等。

1) AI 数字人:根据乘客偏好设置,形成数字虚拟人与乘客进行交流,形象趋近于“AI 座舱管家”,是乘客与车机的交互对象。

2)信息查询强化:通过语音询问乘客可以获得具体信息查询输出,此外还包括关于餐厅推荐、旅行路径规划、给儿童创造读物的创意性输出。

3)图片自动生成:类似 Midjourney 可以为乘客自动生成各种各样的图片。

4)安全识别:可以根据乘客是否登记分为嘉宾/主人,可以根据不同乘客的记录的偏好推荐其合适的内容产品。同时具备更好的 DMS(驾驶员监测)、OMS(乘客检测)、儿童滞留等功能体验。

5)API 接入:支持外接第三方应用,协助实现会议管理、购物、差旅等功能。

图片

百度推出座舱产品车载 OS 和语音 SDK,文心一言于多家用户开展内测。百度 Apollo 在上海车展前夕举办汽车智能化发布会,发布了全新升级的驾舱图产品矩阵,座舱方面百度发布车载 OS 和语音 SDK。其中,语音 SDK 基于大模型的本地化部署,具有全双工和毫秒级响应的优点,可以为车企提供更先进而出色的智能座舱体验。百度 SDK 突出优势包括:(1)将一切座舱功能集成到语音助手,可以通过语音实现舱内全功能调节;

(2)支持“多路对话”,不同的乘客可以在同一时间与语音助手展开交流并下达指令。目前包括集度、吉利、长城、红旗、岚图、东风启辰等主机厂已经宣布接入基于文心大模型的生成式对话产品文心一言(ERNIE Bot),开启自身座舱大模型的内测。

华为积极布局座舱 AI,大模型于秋季首发 M9 上落地。华为盘古大模型基于鲲鹏和昇腾算力底座,由 NLP(中文语言)大模型、CV(视觉)大模型、科学计算大模型、多模态大模型和 Graph(图网络)大模型 5 个模型组成。4 月 17 日车展前夕,在华为 nova11 系列及全场景新品发布会上,余承东宣布 2023 年秋季发布 AITO 问界 M9 将搭载 AI 大模型。

其语音助手“小艺”通过领先的多模态自适应技术,针对语速、语音、文本,对用户指令进行多维度综合判断,可以实现类似人与人的主动交流。目前“小艺”已经能够:

(1)根据日常通勤的情况自动提供通勤道路异常的提醒;(2)判断长途驾驶场景时,检测到车主有疲劳驾驶状态主动打开座椅按摩;车内午休/通勤回家后打开自动小憩模式,记录用户喜欢的氛围。(3)推荐适应当前车辆情况的驾驶模式;(4)停车找位的好帮手。

图片

据高工智能汽车研究院,2022 年中搭载智能数字座舱(大屏+语音+车联网+OTA)前装标配交付 795.05 万辆,搭载率为 39.89%,仍有较高渗透空间。市场规模方面,根据 IHSMarkit 预测,全球智能座舱市场规模将从 2021 年的 420 亿美元增长到 2030 年的 681 亿美元,2022-2030 年 CAGR 为 5.52%。IHS 预测国内智能座舱市场增速领先全球,国内规模从 2021 年 99 亿美元预计提升至 2030 年 247 亿美元,2022-2030 年 CAGR 为 10.69%,我国智能座舱规模全球占比将从 2021 年 24%左右上升到 2030 年的 36%。

图片

现阶段下智能座舱已经处于全面向 4.0 阶段发展的时期,已经从新势力领军转换

为行业内齐跑。硬件的装载是实现软件层交互的基础,座舱硬件已率先迎来大规模上车机遇,首先看好视听触多模态硬件:显示、音响以及 AI 视觉硬件 TOF 模组等快速装车,车端业务有望高速增长。在智能座舱大模型生态发展下,拥有大模型和机器视觉技术布局的软件层企业同样有望受益。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/638757.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Cesium与Three相机同步(2)

之前实现了将Three相机同步到Cesium相机Cesium与Three相机同步(1)-CSDN博客 现在是将Cesium相机同步到Three相机,从而实现了相机双向同步。 <!DOCTYPE html> <html lang="en"><head><title>three.js webgl - orbit controls</title&g…

YTM32的flash应用答疑-详解写保护功能

YTM32的flash应用答疑-详解写保护功能 文章目录 YTM32的flash应用答疑-详解写保护功能IntroductionPrincipleOperation & DemonstrationDemo #1 验证基本的写保护功能Demo #2 编程CUS_NVR设定EFM_ADDR_PROT初值Demo #3 启用写保护后试试块擦除操作 Conclusion Introduction…

MySQL中如何知道数据库表中所有表的字段的排序规则是什么?

查看所有表的字段及其排序规则&#xff1a; 你可以查询 information_schema 数据库中的 COLUMNS 表&#xff0c;来获取所有表的字段及其排序规则。以下是一个示例查询&#xff1a; SELECT TABLE_SCHEMA, TABLE_NAME, COLUMN_NAME, COLLATION_NAME FROM information_schema.COL…

小皮面板中访问不了本地的sqli网站---解决方法

今天想在sqli-labs中做题&#xff0c;却发现自己访问不了网站 1、具体的错误原因如下 2、查了一下&#xff0c;可能是因为自己访问的域名不对 3、修改了域名为&#xff1a;http://sqli-labs:81/Less-2/便可以访问了 4、然后接下来我有遇到一个错误&#xff0c;这个问题是php版…

OpenCV:入门(五)

图像梯度 图像梯度计算的是图像变化的速度。对于图像的边缘部分&#xff0c;其灰度值变化较大&#xff0c;梯度值也 较大&#xff1b;相反&#xff0c;对于图像中比较平滑的部分&#xff0c;其灰度值变化较小&#xff0c;相应的梯度值也较小。一般情 况下&#xff0c;图像梯度计…

Linux基础(四):Linux系统文件类型与文件权限

各位看官&#xff0c;好久不见&#xff0c;在正式介绍Linux的基本命令之前&#xff0c;我们首先了解一下&#xff0c;关于文件的知识。 目录 一、文件类型 二、文件权限 2.1 文件访问者的分类 2.2 文件权限 2.2.1 文件的基本权限 2.2.2 文件权限值的表示方法 三、修改文…

Kafka之【生产消息】

消息&#xff08;Record&#xff09; 在kafka中传递的数据我们称之为消息&#xff08;message&#xff09;或记录(record)&#xff0c;所以Kafka发送数据前&#xff0c;需要将待发送的数据封装为指定的数据模型&#xff1a; 相关属性必须在构建数据模型时指定&#xff0c;其中…

近临算法(个人总结版)

背景 近邻算法&#xff08;Nearest Neighbor Algorithm&#xff09;是一种基本但非常有效的分类和回归方法。最早由Fix和Hodges在1951年提出&#xff0c;经过几十年的发展和改进&#xff0c;已成为数据挖掘、模式识别和机器学习领域的重要工具。近邻算法基于相似性原则&#x…

get和post的区别,二者是幂等的吗?

一、什么是幂等 所谓幂等性通俗的将就是一次请求和多次请求同一个资源产生相同的副作用。 维基百科定义&#xff1a;幂等&#xff08;idempotent、idempotence&#xff09;是一个数学与计算机学概念&#xff0c;常见于抽象代数中。 在编程中一个幂等操作的特点是其任意多次执…

git分支常用命令

最近在用git提交代码的时候&#xff0c;发现有些命令不是很会&#xff0c;先记录几个常用分支命令&#xff0c;后续再补充&#xff0c;在执行git push命令提交代码的时候遇到报错&#xff0c;一并记录下。 1.git常用命令 新建分支&#xff1a; git branch <分支名称> 比…

day16|二叉树的属性

相关题目 ● 104.二叉树的最大深度 559.n叉树的最大深度 ● 111.二叉树的最小深度 ● 222.完全二叉树的节点个数 二叉树的深度与高度 如图&#xff0c; 二叉树的深度表示&#xff1a;任意一个叶子节点到根节点的距离&#xff0c;是从上往下计数的&#xff0c;因此使用前序遍历…

Transformer详解(2)-位置编码

位置编码公式 偶数位置用sin,奇数位置用cos. d_model 表示token的维度&#xff1b;pos表示token在序列中的位置&#xff1b;i表示每个token编码的第i个位置&#xff0c;属于[0,d_model)。 torch实现 import math import torch from torch import nn from torch.autograd im…

blender 烘焙渲染图片,已经导出fbx,导出贴图。插件生成图片

1.新建一个模型。选择资产浏览器的材质&#xff0c;并拖动到模型身上&#xff0c;如下图。资产浏览器的材质可以网上找。 2.打开着色器面板。正下方着色器窗口中&#xff0c;点击空白取消选择&#xff0c;然后右击-添加-着色器-原理化BSDF&#xff0c;右击-添加-纹理-图像纹理。…

初阶数据结构之双向链表详解

目录 一&#xff1a;双向链表的概念 1.什么是双向链表&#xff1f; 2.双向链表的优点 3.双向链表的结构 二&#xff1a;双向链表的实现 1.定义链表结点 2.初始化双向链表 3.添加结点 4.尾插 5.头插 6.打印双向链表 7.查找链表结点 8.在指定结点后插入新结点 9.删…

力扣:92. 反转链表 II(Java)

目录 题目描述&#xff1a;示例 1&#xff1a;示例 2&#xff1a;代码实现&#xff1a; 题目描述&#xff1a; 给你单链表的头指针 head 和两个整数 left 和 right &#xff0c;其中 left < right 。请你反转从位置 left 到位置 right 的链表节点&#xff0c;返回 反转后的…

TypeScript-搭建编译环境

搭建编译环境 TypeScript 编写的代码是无法直接在js引擎( 浏览器 / Nodejs )中运行的&#xff0c;最终还需要经过编译成js代码才可以正常运行 搭建手动编译环境 1️⃣ 全局安装 typescript 包&#xff08;编译引擎&#xff09; -> 注册 tsc 命令 npm i -g typescript 2…

如何解决vcruntime140.dll丢失问题,详细介绍5种靠谱的解决方法

vcruntime140.dll是Microsoft Visual C Redistributable Package的一部分&#xff0c;它为使用Visual C编译器开发的应用程序提供必要的运行时环境。该DLL文件包含了大量应用程序运行时需要调用的库函数&#xff0c;这些函数是实现C标准库、异常处理机制、RTTI&#xff08;运行…

2461. 长度为 K 子数组中的最大和(c++)

给你一个整数数组 nums 和一个整数 k 。请你从 nums 中满足下述条件的全部子数组中找出最大子数组和&#xff1a; 子数组的长度是 k&#xff0c;且子数组中的所有元素 各不相同 。 返回满足题面要求的最大子数组和。如果不存在子数组满足这些条件&#xff0c;返回 0 。 子数…

2024电工杯数学建模A题Matlab代码+结果表数据教学

2024电工杯A题保姆级分析完整思路代码数据教学 A题题目&#xff1a;园区微电网风光储协调优化配置 以下仅展示部分&#xff0c;完整版看文末的文章 %A_1_1_A % 清除工作区 clear;clc;close all;warning off; %读取参数%正常读取 % P_LOADxlsread(附件1&#xff1a;各园区典…

如何创建 Gala Games 账户:解决 Cloudflare 验证指南 2024

Gala Games 站在数字娱乐新时代的前沿&#xff0c;将区块链技术与游戏相结合&#xff0c;重新定义了所有权和奖励。本文将引导您创建 Gala Games 账户并使用 CapSolver 解决 Cloudflare 验证难题&#xff0c;确保您顺利进入这一创新的生态系统。 什么是 Gala Games&#xff1f…