音频数据的处理

前言

在研究android音频架,音频驱动等的时候,就有涉及到dump音频数据debug,重采样,downmixer,位深转换的处理,那这些的操作原理以及相关算法是如何实现的呢?

带着这个问题,开始探讨音频数据的如下几个问题

音频数据的特征,与存储等基本概念
音频数据的dump方法
重采样
downmix
存储位深转换
参考文章列表

1. 音频数据的特征,与存储等基本概念

PCM的一些计算
一个PCM文件的大小(dataSize),存储位深(byteCount*8),采样率,PCM时长(duration)之间的关系:

dataSize=channalCount *byteCount *sampleRate *duration

如果考虑帧数帧的大小,文件帧数(frameCount),帧长度(frameSize) 计算关系如下:

frameCount = sampleRate * duration
frameCount = dataSize / (channelCount*byteCount)
frameSize = dataSize/frameCount = channelCount*byteCount

不过以上考虑帧长度的时候,需要注意是考量的PCM文件,如果是WAVE等格式,帧长度还需要考虑每一帧的填充帧头信息(headerInfo)大小

PCM的存储格式
属于左右声道交叉存储

常用的存储位深,就是8,16, 32位,分别对应的样本空间大小如下:
样本大小 —— 数据格式 —— 最小值 ——最大值
8位PCM —— unsigned int ——0—— 225
16位PCM —— int—— -32767 —— 32767

存储方式
大端存储
一种是将高序列字节存储在起始地址,这称为小端(little-endian)字节序

小端存储
一种是将低序字节存储在起始地址(小地址),这称为小端(little-endian)字节序

代码检查:

short test = 0x1234;
printf("test: %x, base: %x, high:%x   \n",test,*(char*)(&test),*((char*)(&test)+1));
//test: 1234, base: 34, high:12 

printf("test addr:%p ,base:%p,high :%p \n",&test,(char*)(&test),((char*)(&test)+1));
//test addr:0x7fff6934b52e ,base:0x7fff6934b52e,
//                          high :0x7fff6934b52f 

//可见高位存储在高地址中间,低位存储在小地址中间,则是LE小端存储

2. PCM文件的转换

测试所用的音源 16位,双声道,采样率44.1KHZ,小端存储

将音源的左右声道分离,分别保存左右声道数据
这个是参考博文:
视音频数据处理入门:PCM音频采样数据处理_audition pcma-CSDN博客

/**
 * Split Left and Right channel of 16LE PCM file.
 * @param url  Location of PCM file.
 *
 */
int simplest_pcm16le_split(char *url,char *l_url,char *r_url){
    FILE *fp=fopen(url,"rb+");
    FILE *fp1=fopen(l_url,"wb+");
    FILE *fp2=fopen(r_url,"wb+");

    unsigned char *sample=(unsigned char *)malloc(4);//每次读4个字节,也就是16位 L+R声道数据,可以理解为一帧
    while(!feof(fp)){
        fread(sample,1,4,fp);//读4次一个字节
        //L
        fwrite(sample,2,1,fp1);
        //R
        fwrite(sample+2,2,1,fp2);
    }

    free(sample);
    fclose(fp);
    fclose(fp1);
    fclose(fp2);
    return 0;
}

从上面的测试用例获取了左右声道的PCM数据,尝试使用视音频数据处理入门:PCM音频采样数据处理_audition pcma-CSDN博客
中间的方法,将文件从16位转8位(质量变差,文件大小缩减一半)

int pcm16to8bit(char *source_16_url,char *dest_8_url ){
    FILE *source_fp=fopen(source_16_url,"rb+");
    FILE *dest_fp=fopen(dest_8_url,"wb+");

    unsigned char *sample=(unsigned char *)malloc(4); //读数据的每一帧,还是16*2/8   四个字节
    int cnt =0;
    while(!feof(source_fp))
    {
        short *sampleNum16 =NULL;//short是两个字节
        unsigned char sample_dest8 =0; //char是一个字节,8位是无符号存储,所以需要无符号的char
        char sample_temp8 = 0; //需要先转位数,再转符号,因而需要一个temp         
        fread(sample,1,4,source_fp);//读一帧
//L channel write
        sampleNum16=(short *)sample;//char* 转  short *,LE
        sample_temp8=(*sampleNum16)>>8;//16转8,左移去除低字节
        sample_dest8 = sample_temp8 +128;//转符号
        fwrite(&sample_dest8,1,1,dest_fp);//写入文件
//R channel write       
        sampleNum16 = (short *)(sample+2);
        sample_temp8=(*sampleNum16)>>8;
        sample_dest8 = sample_temp8+128;
        fwrite(&sample_dest8,1,1,dest_fp);      
        cnt++;
    }
    free(sample);
    fclose(source_fp);
    fclose(dest_fp);
}

接下来思考,八位转16位怎么转呢?

int pcm8to16bit(char *source_8_url,char *dest_16_url ){
    FILE *source_fp=fopen(source_8_url,"rb+");
    FILE *dest_fp=fopen(dest_16_url,"wb+");

    unsigned char *sample=(unsigned char *)malloc(2);//八位,每个采样数就2个字节
    int cnt =0;
    while(!feof(source_fp))
    {
        char* sampleNum8 =NULL;
        short sample_temp16 =0;
        unsigned short sample_dest16 = 0;       
        fread(sample,1,2,source_fp);//每次读两个byte
//L channel write
        sampleNum8=sample;
        //sample_temp16=(sampleNum8)<<8;
        sample_dest16 = (*sampleNum8 +128)<<8;
        //sample_dest16=(sample_dest16>>8)&0x00ff;
        fwrite(&sample_dest16,2,1,dest_fp);       
//R channel write
        sampleNum8=(sample+1);
        /*sample_temp16=(sampleNum8)<<8;
        sample_dest16 = sample_temp16 -(2<<15);*/
        sample_dest16 = (*sampleNum8 +128)<<8;

        //sample_dest16=(sample_dest16>>8)&0x00ff;
        fwrite(&sample_dest16,2,1,dest_fp);
        cnt++;
    }
    free(sample);
    fclose(source_fp);
    fclose(dest_fp);
}

声道数的转换

尝试把单声道转换成双声道
思路很简单,就是把左声道的数据和右声道的数据分别用原始数据填充一遍,当然这个操作是没什么意义的。

尝试将双声道转化为单声道:

void pcm_16bit_stereo_to_mono(char* source,char* dest)
{
        FILE *source_fp=fopen(source,"rb+");
        FILE *dest_fp=fopen(dest,"wb+");
        unsigned char * sample=(unsigned char*)malloc(4);       
        while(!feof(source_fp))
    {       
        short dest_sample = 0;
        fread(sample,1,4,source_fp);
        dest_sample= ((((*(sample+1)) << 8) | ((*(sample)) ))
                    + ((*(sample+3)) << 8) | ((*(sample+2)) ));// >> 1;

        fwrite(&dest_sample,2,1,dest_fp);

    }
    free(sample);
    fclose(source_fp);
    fclose(dest_fp);
}

以上的计算,在Android源码里面可以找到音效处理这块涉及到很多转换操作,参考代码路径:
sourcecode/frameworks/av/media/libeffects/lvm/lib/Common/src/

重采样
在之前的一个博客里面介绍了重采样的概念

参考:
http://blog.csdn.net/joymine/article/details/74530111

重采样就是做插值/抽值算法

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/914109.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【前端】手写一个简单的分页器

1. 前言 分页器基本上是任何网站必须要有的一个组件&#xff0c;为什么需要分页器&#xff0c;当后台传入了大量的数据&#xff0c;那么在前端拿到数据&#xff0c;如果直接展示很有可能或造成卡顿&#xff0c;同时消耗过多的内存&#xff0c;给用户带来的浏览效果就不好。所以…

如何在Linux中使用Cron定时执行SQL任务

文章目录 前言一、方案分析二、使用步骤1.准备脚本2.crontab脚本执行 踩坑 前言 演示数据需要每天更新监控数据&#xff0c;不想手动执行&#xff0c;想到以下解决方案 navicat 创建定时任务java服务定时执行linux crontab 定时执行sql脚本 一、方案分析 我选择了第三个方案…

超好用shell脚本NuShell mac安装

利用管道控制任意系统 Nu 可以在 Linux、macOS 和 Windows 上运行。一次学习&#xff0c;处处可用。 一切皆数据 Nu 管道使用结构化数据&#xff0c;你可以用同样的方式安全地选择&#xff0c;过滤和排序。停止解析字符串&#xff0c;开始解决问题。 强大的插件系统 具备强…

过程自动化的新黄金标准:Ethernet-APL

| Ethernet-APL为终客户和设备制造商带来益处 Ethernet-APL&#xff08;Advanced Physical Layer&#xff0c;高级物理层&#xff09;是一种两线制以太网物理层&#xff0c;它使用了由IEEE 802.3cg所定义的10BASE-T1L&#xff0c;并采用了新的工艺制造规定&#xff0c;因此构成…

扫雷游戏代码分享(c基础)

hi , I am 36. 代码来之不易&#x1f44d;&#x1f44d;&#x1f44d; 创建两个.c 一个.h 1&#xff1a;test.c #include"game.h"void game() {//创建数组char mine[ROWS][COLS] { 0 };char show[ROWS][COLS] { 0 };char temp[ROWS][COLS] { 0 };//初始化数…

OceanBase 应用实践:如何处理数据空洞,降低存储空间

问题描述 某保险行业客户的核心系统&#xff0c;从Oracle 迁移到OceanBase之后&#xff0c;发现数据存储空间出现膨胀问题&#xff0c;数据空间 datasize9857715.48M&#xff0c;实际存储占用空间17790702.00M。根据 required_mb - data_mb 值判断&#xff0c;数据空洞较为严重…

算法学习第一弹——C++基础

早上好啊&#xff0c;大佬们。来看看咱们这回学点啥&#xff0c;在前不久刚出完C语言写的PTA中L1的题目&#xff0c;想必大家都不过瘾&#xff0c;感觉那些题都不过如此&#xff0c;所以&#xff0c;为了我们能更好的去处理更难的题目&#xff0c;小白兔决定奋发图强&#xff0…

立体工业相机提升工业自动化中的立体深度感知

深度感知对仓库机器人应用至关重要&#xff0c;尤其是在自主导航、物品拾取与放置、库存管理等方面。 通过将深度感知与各种类型的3D数据&#xff08;如体积数据、点云、纹理等&#xff09;相结合&#xff0c;仓库机器人可以在错综复杂环境中实现自主导航&#xff0c;物品检测…

【测试框架篇】单元测试框架pytest(3):用例执行参数详解

一、前言 上一篇内容介绍了用例编写的规则以及执行用例&#xff0c;执行用例时我们发现有些print输出内容&#xff0c;结果没有给我们展示&#xff0c;这是因为什么原因呢&#xff1f;接下来我们会针对这些问题进行阐述。 二、参数大全 我们可以在cmd中通过输入 pytest -h 或…

web安全测试渗透案例知识点总结(上)——小白入狱

目录 一、Web安全渗透测试概念详解1. Web安全与渗透测试2. Web安全的主要攻击面与漏洞类型3. 渗透测试的基本流程 二、知识点详细总结1. 常见Web漏洞分析2. 渗透测试常用工具及其功能 三、具体案例教程案例1&#xff1a;SQL注入漏洞利用教程案例2&#xff1a;跨站脚本&#xff…

罕见的 iPhone 14 Pro 原型机固态按钮设计曝光

虽然 iPhone 16 已出&#xff0c;但是看看苹果旧的原型机也很有趣&#xff0c;因为它可以展示苹果在开发过程中一些被舍弃的细节。现在&#xff0c;一款罕见的 iPhone 14 Pro 原型机可以看到了传闻中的触觉音量按钮的样子。 2022 年初关于 iPhone 15 Pro 的第一个传闻表明&…

STM32H750 COMP模拟比较器

STM32H750 COMP模拟比较器 &#x1f516;STM32H750内置两个超低功耗比较器通道&#xff08;COMP1 和 COMP2&#xff09;. &#x1f4c4;功能应用&#xff1a; 在模拟信号的触发下从低功耗模式唤醒模拟信号调理与定时器的 PWM 输出结合使用时&#xff0c;构成逐周期电流控制环路…

5G智能对讲终端|北斗有源终端|北斗手持机|单兵|单北斗

在当今这个快速发展的数字化时代&#xff0c;5G技术的广泛应用正以前所未有的速度推动着各行各业的变革。作为这一技术浪潮中的重要一环&#xff0c;5G智能终端QM630D凭借其卓越的性能和多样化的功能&#xff0c;在林业、渔业、安保、电力、交通等多个领域展现出了巨大的应用潜…

动态规划习题其七【力扣】【算法学习day.29】

前言 ###我做这类文档一个重要的目的还是给正在学习的大家提供方向&#xff08;例如想要掌握基础用法&#xff0c;该刷哪些题&#xff1f;&#xff09;我的解析也不会做的非常详细&#xff0c;只会提供思路和一些关键点&#xff0c;力扣上的大佬们的题解质量是非常非常高滴&am…

Selenium+Pytest自动化测试框架 ------ 禅道实战

前言 有人问我登录携带登录的测试框架该怎么处理&#xff0c;今天就对框架做一点小升级吧&#xff0c;加入登录的测试功能。 选用的测试网址为我电脑本地搭建的禅道 更改了以下的一些文件,框架为原文章框架主体 conftest.py更改 conftest.py #!/usr/bin/env python3 # -*…

DICOM图像知识:深入讲解DICOM彩色图像的处理

目录 引言 1. DICOM彩色图像概述 1.1 什么是DICOM彩色图像? 1.2 DICOM中的彩色图像表示 2. CT值(Hounsfield Units)与RGB色彩空间 2.1 CT值(Hounsfield Units, HU)简介 2.2 RGB色彩空间简介 3. CT值转换为RGB显示 3.1 为什么需要转换? 3.2 转换方法概述 3.3 色…

使用wordpress搭建简易的信息查询系统

背景 当前有这样的一个需求&#xff0c;要实现让客户能够自助登录系统查询一些个人的信息&#xff0c;市面上没有特别符合我的需求的产品&#xff0c;经过一段时间的研究&#xff0c;想出了一个用wordpress实现简易信息查询系统&#xff0c;有两种方式。 方式一&#xff1a;使…

O-RAN简介

O-RAN简介 概览 如今,全球蜂窝数据使用量持续增长,因此,电信系统必须随之进行革新,才能满足这一需求量。虽然5G标准能够满足更高的蜂窝吞吐量需求,且有望实现各种新的应用场景,但如果网络没有进行相应的改进,许多拟定的5G应用只能是纸上谈兵。以高可靠低延时通信(URLL…

ssm100医学生在线学习交流平台+vue(论文+源码)_kaic

摘 要 随着科学技术的飞速发展&#xff0c;各行各业都在努力与现代先进技术接轨&#xff0c;通过科技手段提高自身的优势&#xff0c;医学生在线学习交流平台当然也不能排除在外&#xff0c;随着医学生在线学习交流平台的不断成熟&#xff0c;它彻底改变了过去传统的管理方式&a…

Fortinet Security Fabric安全平台

Fortinet Security Fabric安全平台 Fortinet Security Fabric 是由 FortiOS 支持的业内出类拔萃的网络安全平台&#xff0c;具有丰富的开放式生态系统。它覆盖了更广阔的的数字化攻击表面和周期&#xff0c;提供自我修复的安全性和网络连接&#xff0c;从而保护设备、数据和应…