VQE音频处理流程

VQE

上行VQE,主要针对MIC采集部分的音频增强

在这里插入图片描述

下行VQE,主要针对SPK播放部分的音频增强

在这里插入图片描述

附关键词解释

  1. RES
    RES 模块为重采样(Resampler)模块。当AI上行或AO下行通路中开启VQE 各功能
    模块时,在处理前后各存在一次重采样,第一次的作用是将输入采样率下的音频数据转换成功能模块所支持的工作采样率(8kHz/16kHz/48kHz),第二次则将工作采样率下的数据转换成输出采样率。

  2. HPF
    HPF为高通滤波(high-pass filte)模块,主要负责去除低频噪声。
    低频噪声来源经常为硬件噪声或工频噪声,表现为轰轰轰类不舒适的声音。我们可以
    通过使用频谱分析单板在安静环境下录制的码流,来确定是否需要加入该模块。如果
    低频噪声不是非常明显,并且客户需要保留低频部分的音源,则不建议加入该模块。

  3. HDR
    HDR为高动态范围(High Dynamic Range)模块,主要用于Codec输入音量控制,通
    过动态调节Codec增益控制Codec音量在合理范围内,保证声音不至于过大或过小。

  4. EQ
    EQ模块为均衡处理器(Equalizer)模块,主要对音频数据进行均衡处理,以调节音频
    数据中各频段声音的增益。

  5. DRC
    DRC为动态压缩控制(Dynamic Range Control)模块,负责控制输出电平,将输出增
    益控制在一个范围,主要工作在需要保证声音不至于过大或过小的场景下。
    DRC与AGC作用相似,但算法实现及调节力度不同。其配合RNR 使用在运动DV场
    景,与AEC/ANR 互斥。

  6. RNR
    RNR为录音噪声消除(Record Noise Reduction)模块,主要工作在需要去除环境噪
    声,但保留小信号输入的场景下。
    与 ANR 算法比起来,RNR 更讲究细节输入(小信号)的保留度,RNR 会在降噪的同
    时保留小信号的输入,所以降噪力度会低一点,但能更多的保留现场声音,真实还原
    场景,适用于运动DV 场景。

  7. AGC
    AGC为自动增益控制(Auto Gain Control)模块,主要负责增益控制输出电平,在声
    音输入音量有大小变化时,能将输出音量控制在比较一致的范围内,主要工作在需要
    保证声音不至于过大或过小的场景下。
    AGC更多起到的作用是放大输入源的声音,以保证音源过小时,经过算法处理后的声
    音依然很大。AI通路如果使能了AGC 功能,那么将不再能够通过调节AI增益来控制
    输出声音大小,需要通过接口来控制声音输出大小。

  8. PEQ
    PEQ 为参量均衡器(Parameter Equalizer)模块,主要对音频数据进行均衡处理,以调
    节音频数据中各频段声音的增益。
    PEQ 与EQ 均为均衡处理器,但是PEQ 调节方式更灵活,适用于运动DV 场景。

  9. AEC
    回声抵消(Acoustic Echo Cancellation)模块,主要工作在需要进行去除回声的
    场景下:如IPC 对讲,远端语音数据在AO 设备上播放,此时在本地通过MIC 采集语
    音数据,它支持消除录制的语音数据中的AO设备播放的声音(回声)。

  10. ANR
    ANR为语音降噪(Audio Noise Reduction)模块,主要工作在需要去除外界噪声,保
    留语音输入的场景下。
    与 RNR 算法比起来,ANR 更讲究噪声处理的干净程度。ANR 会滤除一些环境声音,
    主要保留语音数据,并会带来一定的细节丢失。所以ANR 算法更适用于NVR 和IPC
    场景。在这两个场景下,我们更希望能够着重保留人声,滤除其他噪声。

  11. GAIN
    GAIN 模块是音量调节模块,主要用于调节AGC开启后的音量大小。
    AGC负责对语音的音量进行动态增益控制,算法能够处理的Sin语音电平范围为0dB
    至-40dB,处理完毕后的语音电平最大值为-2dB,并且在语音最大增益方面做到了
    30dB的增益,这使得sout的语音电平能够做到-2dB至-10dB,同时也使得通过调整AI
    增益来调整sout的音量成了一个很困难的事情,因此GAIN模块在VQE 处理流程中位
    于AGC 模块后端,以实现AI上行通路的音量调节。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/321035.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

实战之-Redis代替session实现用户登录

一、设计key的结构 首先我们要思考一下利用redis来存储数据,那么到底使用哪种结构呢?由于存入的数据比较简单,我们可以考虑使用String,或者是使用哈希,如下图,如果使用String,注意他的value&…

计算机网络技术-2022期末考试解析

【前言】 这是计算机网络技术这门课,感觉和计网还是有不一样的,但也有能做的,把能做的做了。 一、单项选择题(每题2分,共20分) 1. 用于测试两台计算机连通状况的命令是 。 ( ) A. cmd B. ping C. ipconf…

代码随想录day30 回溯算法最终章

51. N皇后 题目 n 皇后问题 研究的是如何将 n 个皇后放置在 nn 的棋盘上,并且使皇后彼此之间不能相互攻击。 给你一个整数 n ,返回所有不同的 n 皇后问题 的解决方案。 每一种解法包含一个不同的 n 皇后问题 的棋子放置方案,该方案中 Q 和…

TIFF转JPG助手:轻松批量转换,优化图片管理

在数字时代,图片已成为我们生活和工作中不可或缺的一部分。为了更好地管理和使用这些图片,我们需要一个强大的工具来帮助我们转换和优化图片格式。TIFF转JPG助手正是这样一款理想的解决方案 首先,我们进入首助编辑高手主页面,会看…

嵌入式软件面试之程序在存储器中的分布

Hi, 大家好,今天阿目分享的是一个嵌入式软件面试的常见问题,内存分布或者说程序在内存中的布局,我们写的程序是按照怎么的准则放在内存中的? 一般有操作系统的嵌入式设备,都会有一个Bootloader, 它负责在上电后初始化…

70.网游逆向分析与插件开发-角色数据的获取-自动化助手UI显示角色数据

内容参考于:易道云信息技术研究院VIP课 上一个内容:利用技能点属性分析角色数据基址-CSDN博客 码云地址(ui显示角色数据 分支):https://gitee.com/dye_your_fingers/sro_-ex.git 码云版本号:367aa71f60b…

HCIP之OSPF大实验

华子目录 实验拓扑及要求实验步骤合理划分网段配置IP地址两个area 0区域可以访问公网首先使用ospf使私网通在边界路由器上写静态缺省在边界路由器上做nat,实现公网访问在边界路由器上强制下放缺省 使用GRE连接两个area 0,解决不规则区域划分在边界路由器…

【Vue3】2-11 : 生命周期钩子函数及原理分析

本书目录:点击进入 一、组件生命周期概述 1.1 官方生命周期 1.2 钩子函数(回调函数) ▶ 生命周期可划分为三个部分(- >表示执行循序): 二、实战:测试生命周期流程 > 代码 > 效果 一…

(十二)EEPROM的补充

文章目录 EEPROM补充篇读EEPROM补充内容写EEPROM补充内容单字节写入多字节拆成单字节写入现象 EEPROM补充篇 读EEPROM补充内容 对于上一篇博文在读EEPROM的时候,提到的DUMMY WRITE: 这里怎么理解呢: 大家看,写EEPROM的逻辑除了…

MySQl Mybatis

一、MySQL 1.1 概述 1.1.1 MySQL安装 1.1.2 数据模型 1.1.3 SQL简介 1.2 DDL 1.2.1 数据库操作 1.2.2 图形化工具 1.2.3 表结构操作 (一)创建 (二)数据类型 (1)数值类型 age tinyint unsigned——加上…

技术阅读周刊第十四期:Golang 作者 Rob Pike 在 GopherConAU 上的分享

技术阅读周刊,每周更新。 历史更新 20231215:第十期20231122:第十一期20231129:第十二期20240105:第十三期:一些提高生产力的终端命令 What We Got Right, What We Got Wrong URL: https://commandcenter.b…

pinyin-pro库使用方式

pinyin-pro 是一个专业的 JavaScript 中文转拼音的库,具备多音字识别准确、体积轻量、性能优异、功能丰富等特点。 pinyin-pro官网链接:介绍 | pinyin-pro 运行展示 pinyin-pro安装命令: # 选择一个你使用的包管理器进行安装即可# NPM $ n…

基于Java SSM框架实现企业车辆管理系统项目【项目源码】

基于java的SSM框架实现企业车辆管理系统演示 JSP技术 JSP技术本身是一种脚本语言,但它的功能是十分强大的,因为它可以使用所有的JAVA类。当它与JavaBeans 类进行结合时,它可以使显示逻辑和内容分开,这就极大的方便了运动员的需求…

为什么使用双token实现无感刷新用户认证?

单token机制 认证机制:对与单token的认证机制在我们项目中仅使用一个Access Token的访问令牌进行用户身份认证和授权的方案处理。 不足之处: 安全性较低(因为只有一个token在客户端和服务器端之间进行传递,一旦Access Token被截…

对闭包的理解

概念: 一个函数对周围状态的引用捆绑在一起,闭包让开发者可以从内部函数访问外部 函数的作用域 简单理解:闭包 内层函数 外层函数的变量 一个函数对周围状态的引用捆绑在一起,闭包让开发者可以从内部函数访问外部 函数的作…

【5G Modem】5G modem架构介绍

博主未授权任何人或组织机构转载博主任何原创文章,感谢各位对原创的支持! 博主链接 本人就职于国际知名终端厂商,负责modem芯片研发。 在5G早期负责终端数据业务层、核心网相关的开发工作,目前牵头6G算力网络技术标准研究。 博客…

openFeign 多模块调用失败问题

第一次做一个完整的SpringCloud微服务项目,踩了好多好多坑,都记录下来! openFeign 多模块调用失败 排错第一阶段 创建一个openfeign服务,并把它注册到nacos上去 然后A模块通过Feign调用B模块 但是我在A模块实现AdminArticleServiceFeignClient这个接口,报错: 后面我查找这个问…

phpinfo和php -m 加载的php.ini不一致

目的: 将phpinfo在web中展示的php.ini和在命令行中展示的php.ini加载路径设置一致。 原本的php.ini加载路劲是: /usr/local/lib/php.ini 解决思路: (1)which php 查看服务器加载的php的位置,这里原来是&a…

win10 安装配置 Rust 环境和简单使用

文章目录 安装 Rustup基本命令hello wrold使用 cargo 创建项目构建并运行项目发布 最近几年,Rust 因其卓越的内存安全性和并发性能备受关注。不仅连续七年获得 StackOverflow 最受开发者喜爱的语言榜榜首,也在越来越多知名公司内部使用,比如&…

通过Wireshark抓包分析谈谈DNS域名解析的那些事儿

原创/朱季谦 本文主要想通过动手实际分析一下是如何通过DNS服务器来解析域名获取对应IP地址的,毕竟,纸上得来终觉浅,绝知此事要躬行。 一、域名与IP地址 当在浏览器上敲下“www.baidu.com”时,一键回车,很快&#x…