杜比全景声——空间音频技术

  • 什么是杜比?
  • 是否是标清、高清、超清之上的更清晰的格式?
  • 杜比全景声 和传统多声道立体声的差别?
  • 杜比全景声音频的渲染方式?
  • 车载平台上杜比技术的应用?
  1. 杜比技术的起源

  • 杜比实验室(Dolby Laboratories)是一家总部位于美国的公司,由雷·杜比(Ray Dolby)于1965年在英国伦敦创立。雷·杜比是一位物理学家和电子工程师,他的目标是改进录音质量。他的第一个发明是杜比降噪系统,这是一种可以显著减少磁带录音中背景噪声的技术。
  • 2010年6月,杜比推出了杜比7.1环绕声(Dolby Surround 7.1),并在全球范围建立起与影院的合作,推出配置7.1环绕音箱的杜比影厅
  • 杜比全景声(Dolby Atmos)是杜比实验室于2012年推出的高级环绕声标准,用于电影院,通过将前置、侧置、后置和天空扬声器加上复杂的音频处理和算法相结合,提供高达最高64声道的环绕声,增加空间沉浸感
  1. 杜比技术的应用

杜比的技术在电影制作中尤其重要。杜比数字(Dolby Digital)是一种音频压缩技术,它使得电影制作人可以在电影中使用更丰富、更逼真的声音。杜比全景声(Dolby Atmos)则进一步提升了这种体验,它允许声音在三维空间中移动,给观众带来沉浸式的体验。

  1. 杜比的三大核心技术

  • 杜比数字(Dolby Digital): 一种音频压缩技术,比如AC-3格式,将6个声道的数据压缩到一个数据流中。应用于DVD、蓝光光盘;
  • 杜比全景声 (Dolby Atoms): 音频领域革命性的技术,彻底摒弃传统声道概念,将声音视为“对象”,在三维空间自由移动,从而模拟逼真的场景。应用在电影、电视和音乐制作;
  • 杜比视界(Dolby Vision): 高动态范围(HDR)视频技术,提供更亮、更暗、更丰富的颜色。主要用于投影和高端电视。
  1. 基础概念科普

4.1 音频编码技术

PCM 是指脉冲编码调制(Pulse Code Modulation),是数字通信的编码方式之一,是一种将模拟信号数字化的方法。主要过程是将话音等模拟信号每隔一定时间进行取样,使其离散化,同时将抽样值按分层单位四舍五入取整量化,同时将抽样值按一组二进制码来表示抽样脉冲的幅值。

我们熟悉的MP3、AAC、OPUS通常都是基于PCM进行压缩编码的格式

4.2 声道(Channel)/声床(Bed)

声道(Sound Channel ): 是指声音在录制或播放时在不同空间位置采集或回放的相互独立的音频信号,所以声道数也就是声音录制时的音源数量或回放时相应的扬声器数量。声床是制作端对于声道的对应说法。

4.2.1 1维音频

基于单声道的PCM编码,我们称为一维音频

4.2.2 2维音频

用两个不同的PCM进行双声道播放,可以称为二维音频

4.2.3 2.5维音频

多个声道进行播放,即为2.5维音频

2.5维音频常见的配置有:

  • 5.1声道: 表示有五个普通声道+1个低音声道:

  • 7.1:7个普通声道+1个低音声道

超重低音声道提供20-120Hz的声音

4.1.4 3维音频

引入天空声道,即为3维音频

  • 代表性的是7.1.4: 7个平面声道+1个低音声道+4个天空声道

  • 9.1.6: 9个平面声道+1个低音声道+6个天空声道

x.y.z的涵义:

  • x通常代表耳平面的传统环绕声道的数量(如前置、中置、环绕);
  • y代表低音声道的数量,虽然我们见到的大多都是1,但在“多炮”的扬声器排布下,甚至可以提高到4个或更多低音扬声器,在更大的空间中实现理想的低频响应;
  • z代表天空声道的数量,天空(或称高度)声道的存在使得扬声器排布从平面提升为立体,能够通过响度和时间差的调整,控制声像在三维空间中的方向。

传统声道的概念还是基于左右两声道完成,每个声音元素的发声点局限在空间中相对固定的声道/扬声器中,要求声道数量和摆放位置完全一样

在飞机飞过的时候,音量、频率、延时等等都会发生变化

4.1.5 立体声音效发展历程

4.3 声音对象(Object)

声音不再局限于声道或者音箱,可以自由摆放在虚拟的三维空间中的任意位置,可以按照设计的轨迹进行运动。

设计好每个对象的轨迹之后,这些对象的位移信息再由渲染器进行计算出哪个音箱要出多大声或者要延迟多少ms才能使得某个声音元素听起来像是它本来应该在的位置。

这种概念的引入使得回放系统的配置更加灵活,这样一来不论是简单的Soundbar,或者耳机,或者5.1.2、9.3.6的家庭影院,都可以通过计算而渲染出全景声音效

Pan-through array: The sound can travel through each speaker placed around and above the audience as it moves across the cinema, in what’s called a pan-through array.

优点:

  • 全景特效:声音更真实,更立体
  • 兼容性高:不需要Care具体的播放设备的规格、数量及设备的摆放,都能达到同样的效果
  1. 杜比全景声的产生过程

解码方式:

  1. 直通(Passthrough): 指电视或投影或机顶盒——不对音轨进行任何解码,直接将原音频数据传输给回音壁或者功放。一台机器想要支持源码输出,需要经过杜比和DTS的授权认证。

  2. 解码: 指将Dolby AtmoS的音频信息在电视或投影或机顶盒端先完成解码再映射到回音壁的方式。由于杜比公司有专利保护,任何想要解码的硬件或软件播放器,都需要向杜比支付授权费才能获得解码密钥。这也是很多设备并不支持的自己解码的原因。

  3. 转码: 指播放Dolby Atmos的设备或软件本身不是直连回音壁,还需要将声音传给中间商。此时会把音频打包转码成普通的LPCM音频格式,在这个过程中会丢失的是全景声的元数据。就不再是7.1.2而上7.1声道。效果也是有损的

  4. 双耳渲染

6.1 头部跟踪

头部跟踪的必要性是一个大话题,为了更清晰地认知头部跟踪的必要性,我们需要了解人对于声音方位感的感知原理。人们对声音方位感的判断主要有4个依据:时间差、声级差、人体滤波效应和头部晃动

  1. 时间差(Interaural Time Difference, ITD):

声音到达双耳的距离不一样,时间不一样,会有延时

  1. 声级差(Interaural Level Difference, ILD):

由于双耳和音源的距离差异,也会造成此外,头部的遮挡,也会使得到达左耳与右耳声音的声压级是不同的,进一步形成声级差。

不同频率的声波会发生衍生的效果也不一样

  1. 人体滤波效应:

人的头部、肩颈、躯干,会对来自不同方向的声音产生不同的作用,形成反射、遮挡或衍射。

大脑通过这些不同的滤波效果产生对声源方位的判断,这就是著名的头部相关传输函数——HRTFs (Head-Related Transfer Functions)。

  1. 头部的晃动:

当一个声源的位置难以判断的时候,人们常常会不自觉的轻微晃动头部,使时间差、声级差或人体滤波效应产生变化,并依据这些变化进行快速的重新定位

在现实中,声源位于三维的空间中,通常都需要我们综合时间差、声级差、人体滤波效应这三个要素可以被综合的表述为头部相关传输函数(Head-Related Transfer Functions, HRTFs),这项技术构成了绝大部分三维声定位技术的基础。头部晃动虽然并不是一个决定性因素,但是无论在哪个方向上,都对我们判断声源的位置有着极大地帮助

6.2 双耳渲染

室内声场有3个组成部分:直达声、早期反射声和混响声。人们对于声音的空间感主要是依据早期反射声和混响声来建立的。

  1. 直达声

声音直接穿到人耳所感知到的声音

  1. 反射声

声音通过回音壁和障碍物经过多次反射进入人耳所感知到声音

  1. 混响声

声音在空间中不断反射、衰减,形成了均匀、密集的混响声,与直达声、反射声共同建立起室内声场。这是一个经过多次反射的、没有方向性的声音,当然没有方向性也就是说它会来自三维空间内的各个方向。

6.3 声音的采集

目前移动设备拥有最大用户基群,耳机成为主要的播放场景。双耳信号回放的终极目标就是在听音者鼓膜处再现与实际听音环境相同的声学信号

常见的有两种采集方式:

  1. 在同一位置进行录音和回放(Dummy Head人头录音)

这种方式缺点显而易见,制约了现代音乐产业中的混音工作,不适合非现场演出的录音和回放

  1. 采取“计算音频”的方式,模拟在真实听音环境中聆听一个或多个真实扬声器的听觉体验

从理论上来说,只要模拟足够精确,双耳重放应该完全可以重现多个扬声器的听感(不包括其他感官),毕竟人的耳朵本身也是双声道的

  1. 移动设备的杜比全景声回放

对于用户终端对于杜比全景声的回放处理,下面先看一张表,这张表整理了各个流媒体平台在各个硬件终端上对于杜比全景声的处理方式,表中撰写的状态,是APP从云端下发给终端设备的音源的规格

AtmosAndroidiOSWIndowsMacTV* (For AVR)
Apple MusicEAC3-JOC 768kbpsEAC3-JOC 768kbpsEAC3-JOCEAC3-JOC
QQ音乐AC4-IMS 256kbps双耳渲染EAC3-JOC 448kbps
网易云音乐双耳渲染EAC3-JOC 768kbps
Apple TVEAC3-JOC 768kbps7.1.4EAC3-JOC
爱奇艺5.1(部分厂商)双耳渲染立体声立体声EAC3-JOC
优酷双耳渲染双耳渲染立体声立体声立体声
腾讯视频双耳渲染多声道立体声立体声EAC3-JOC
Bilibili双耳渲染多声道立体声立体声立体声
本地音视频APP√(Android 13)

可以看到,各大终端里,只有Apple在自己的硬软件生态内保持了相对原始的声道信息,亦即保留了更多的空间信息。

从2020年开始,安卓厂商们还陆续往手机里集成了Dolby格式的解码器,配合着杜比的效果调试(包扩DRC,人声增强,响度均衡,频响调整,声道互馈等),就统称为“杜比全景声”。

  1. 杜比全景声的制作

渲染流程:

制作过程:

  1. Eletre中的杜比

路特斯 lambda 配置豪华的座舱 音响系统

  • 选用英国品牌KEF,两个配置:

    • 2D配置支持15扬,7.1全景声,额定功率1400W
    • 3D配置支持23扬,7.1.4全景声,额定功率2120W。
  • 需要刷杜比Key才能使用,杜比Key是杜比官方授权密钥,不安装不能播放。565和台架均不能播放

  • 杜比全景声内容:主要包括杜比介绍视频、QQ音乐+索尼高品质的7.1.4音乐展示、音乐播放器、音乐播放的信

息展示及控制(HUD显示、语音控制、方控等)、整车声音设置的杜比全景声的试听及

app入口。

  • 杜比播放器也叫高品质音乐,英文名是:HYPER Music,图标如下:

杜比App主界面:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/791235.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

SpringBoot使用RedisTemplate、StringRedisTemplate操作Redis

前言 RedisTemplate 是 Spring Boot 访问 Redis 的核心组件,底层通过 RedisConnectionFactory 对多种 Redis 驱动进行集成,上层通过 XXXOperations 提供丰富的 API ,并结合 Spring4 基于泛型的 bean 注入,极大的提供了便利&#x…

【计算机网络03】不花钱怎么搭建一个网络实验室

使用GNS3和虚拟机搭建网络实验室 1、安装抓包工具分析数据包2、定义和使用抓包筛选器3、安装和配置GNS34、配置路由器和VPCS5、使用WireShark捕获GNS3网络数据包6、VMware创建虚拟机7、使用思科PacketTracer 1、安装抓包工具分析数据包 官网安装wireshark:https://…

LLM大模型应用中的安全对齐的简单理解

LLM大模型应用中的安全对齐的简单理解 随着人工智能技术的不断发展,大规模语言模型(如GPT-4)的应用越来越广泛。为了保证这些大模型在实际应用中的性能和安全性,安全对齐(Safe Alignment)成为一个重要的概…

Nginx中文URL请求404

这两天正在搞我的静态网站。方案是:从思源笔记Markdown笔记,用MkOcs build成静态网站,上传到到Nginx服务器。遇到一个问题:URL含有中文会404,全英文URL则正常访问。 ‍ 比如: ​​ ‍ 设置了utf-8 ht…

时序分解 | Matlab基于ESMD极点对称模态分解

时序分解 | Matlab基于ESMD极点对称模态分解 目录 时序分解 | Matlab基于ESMD极点对称模态分解效果一览基本介绍程序设计参考资料 效果一览 基本介绍 ESMD(Extreme-point Symmetric Mode Decomposition)是一种信号分解方法,用于提取信号中的模…

AC修炼计划(AtCoder Regular Contest 180) A~C

A - ABA and BAB A - ABA and BAB (atcoder.jp) 这道题我一开始想复杂了,一直在想怎么dp,没注意到其实是个很简单的规律题。 我们可以发现我们住需要统计一下类似ABABA这样不同字母相互交替的所有子段的长度,而每个字段的的情况有&#xff…

LoRaWAN网络协议Class A/Class B/Class C三种工作模式说明

LoRaWAN是一种专为广域物联网设计的低功耗广域网络协议。它特别适用于物联网(IoT)设备,可以在低数据速率下进行长距离通信。LoRaWAN 网络由多个组成部分构成,其中包括节点(终端设备)、网关和网络服务器。Lo…

web后端开发--请求响应

目录 前言 请求 简单参数 原始方法 Spring方式 Post请求乱码处理 实体参数 简单实体参数 复杂实体参数 ​编辑 数组集合参数 数组参数 ​编辑 集合参数 日期参数 ​编辑 Json参数 ​编辑 传递json数据 json数组 json对象(POJO) jso…

分享一个项目模板electron+vue+ts+vite

分享一个项目模板electronvuetsvite GitHub - xiugou798/electron-vue-ts-vite-template: electron-vue-ts-vite-templateelectron-vue-ts-vite-template. Contribute to xiugou798/electron-vue-ts-vite-template development by creating an account on GitHub.https://gith…

springboot中通过jwt令牌校验以及前端token请求头进行登录拦截实战

前言 大家从b站大学学习的项目侧重点好像都在基础功能的实现上,反而一个项目最根本的登录拦截请求接口都不会写,怎么拦截?为什么拦截?只知道用户登录时我后端会返回一个token,这个token是怎么生成的,我把它…

打印任务无法删除怎么办?

在删除打印任务的时候,你可能会遇到这样的情况,当我们想把打印任务取消的时候,却一直显示正在删除,而过了很久还没有取消掉,下面就分享一下处理这个问题的方法。 1、停止打印服务,按WinR键打开运行对话框&a…

香蕉派BPI-Wifi6迷你路由器公开发售

Banana Pi BPI-Wifi6 Mini 公开发售。 Banana Pi BPI-Wifi6 Mini 开源路由器采用Triductor TR6560 TR5220 wifi SOC设计,是一款迷你尺寸的wifi6路由器解决方案。内置高性能双核ARM Cortec A9处理器用于WIFI报文转发或智能业务处理,内置高性能LSW和硬件N…

阿里云操作系统智能助手OS Copilot实验测评报告

简介:作为一名学生,阿里云操作系统智能助手OS Copilot对学生的帮助主要体现在提高学习效率、简化操作流程和优化系统管理等方面。通过其丰富的功能,从系统信息的快速获取到复杂的系统运维管理,OS Copilot都能为学生提供极大的便利…

谷歌内置AI部署

感谢阅读 准备工作开启功能查看下载情况安装插件效果截图网页版地址(需进行前面的所有步骤) 准备工作 点我下载谷歌dev版本 注意这个版本不需要卸载之前版本 开启功能 使用下载的浏览器依次导航到下面两个地方,然后点击enablebypass以及en…

C++ | Leetcode C++题解之第227题基本计算器II

题目&#xff1a; 题解&#xff1a; class Solution { public:int calculate(string s) {vector<int> stk;char preSign ;int num 0;int n s.length();for (int i 0; i < n; i) {if (isdigit(s[i])) {num num * 10 int(s[i] - 0);}if (!isdigit(s[i]) &&am…

面试经验之谈

优质博文&#xff1a;IT-BLOG-CN ​通常面试官会把每一轮面试分为三个环节&#xff1a;① 行为面试 ② 技术面试 ③ 应聘者提问 行为面试环节 面试开始的5~10分钟通常是行为面试的时间&#xff0c;面试官会参照简历和你的自我介绍了解应聘者的过往经验和项目经历。由于面试官…

3DSC(3D形状上下文特征)

形状上下文(shape context简写为SC)由Serge Belongie等人于2002年首次提出,是一种很流行的二维形状特征描述子,多用于目标识别和形状特征匹配。 2004年,Andrea Frome等人将形状上下文的工作从二维数据迁移到三维数据上提出了3D形状上下文(3DSC) 原理解析 2DSC的算法流程…

Html:点击图标/链接发起QQ临时会话

我们在做前端开发的时候&#xff0c;会遇到用户需要点击一个图标可以发起QQ临时会话&#xff0c;这样不用添加好友也能沟通的&#xff0c;那我们就来看看如何实现这个功能&#xff1a; <a href"http://wpa.qq.com/msgrd?v3&uin你的QQ号码&siteqq&menuyes…

【Python 基础】控制流 - 2

程序执行 在第1篇的 hello.py 程序中,Python 开始执行程序顶部的指令,然后一条接一条往下执行。“程序执行”(或简称“执行”)这一术语是指当前被执行的指令。如果将源代码打印在纸上,在它执行时用手指指着每一行代码,你可以认为手指就是程序执行。 但是,并非所有的程…

小白学c嘎嘎(第二天)入门基础下

温馨提醒&#xff1a;本篇文章起&#xff0c;文章内容排版将更新&#xff0c;层层深入 基础知识 回顾 引用的语法格式&#xff1a;类型& 引⽤别名 引⽤对象; 引用特性 1. 引⽤在定义时必须初始化 2. ⼀个变量可以有多个引⽤ 3. ⼀旦引⽤⼀个实体&#xff0c;再不…