Android MediaCodec 简明教程（九）：使用 MediaCodec 解码到纹理，使用 OpenGL ES 进行处理，并编码为 MP4 文件

系列文章目录

  1. Android MediaCodec 简明教程（一）：使用 MediaCodecList 查询 Codec 信息，并创建 MediaCodec 编解码器
  2. Android MediaCodec 简明教程（二）：使用 MediaCodecInfo.CodecCapabilities 查询 Codec 支持的宽高，颜色空间等能力
  3. Android MediaCodec 简明教程（三）：详解如何在同步与异步模式下，使用MediaCodec将视频解码到ByteBuffers，并在ImageView上展示
  4. Android MediaCodec 简明教程（四）：使用 MediaCodec 将视频解码到 Surface，并使用 SurfaceView 播放视频
  5. Android MediaCodec 简明教程（五）：使用 MediaCodec 编码 ByteBuffer 数据，并保存为 MP4 文件
  6. Android MediaCodec 简明教程（六）：使用 EGL 和 OpenGL 绘制图像到 Surface 上，并通过 MediaCodec 编码 Surface 数据，并保存到 MP4 文件
  7. Android MediaCodec 简明教程（七）：使用 MediaCodec 解码到 OES 纹理上
  8. Android MediaCodec 简明教程（八）：使用 MediaCodec 解码到纹理，使用 OpenGL ES 进行处理并显示在 GLSurfaceView 上

前言

在上一章节，我们已经探讨了如何使用 OpenGL ES 处理解码后的纹理，将彩色画面转换为灰色画面，并在 GLSurfaceView 上展示。在本章节，我们将研究如何将处理后的视频帧保存为本地的 MP4 文件。
本文所有代码可以在 DecodeEditEncodeActivity.kt 找到

数据流

在这里插入图片描述
整体流程可以大致描述为: Demuxer -> MediaCodec Decoder -> Edit -> MediaCodec Encoder -> Muxer

我们选择 Surface 作为视频数据传递的介质，其中 Surface 中的 Buffer Queue 起着关键作用。在这个流程中，我们需要关注每个 Surface 的生产者和消费者，以便清晰地理解数据的流向。

  1. Demuxer 负责解封装，将压缩数据传递给 MediaCodec 解码器。
  2. MediaCodec 解码器负责解码，将解码后的数据写入 Surface 的 Buffer Queue 中。
  3. SurfaceTexture 作为消费者获取到 Buffer 后，将视频数据绘制到 OES 纹理上。
  4. 使用 OpenGL ES API 将 OES 纹理绘制到编码器的 Surface 上，绘制过程中可以进行图像处理工作。此时，OpenGL 是该 Surface Buffer Queue 的生产者。
  5. MediaCodec 编码器收到 Buffer 后负责将其编码压缩。
  6. 编码压缩后的数据由 Muxer 进行封装，最终写入 MP4 文件中。

通过以上流程，视频数据经过解封装、解码、编辑、编码和封装等步骤，最终生成了一个完整的视频文件。

发生了编码卡死的问题

我在编写本章代码时遇到了卡死的问题，线程卡在 glColor 或者 glDrawElements 等 OpenGL 绘制 API 上，并且在华为手机上是必现的，但在小米手机上却没能复现。经过排查，我找到了原因：编码器的 Surface Buffer Queue 满了，导致在调用绘制 api 时，阻塞了当前线程。

那么，问题一：为什么编码器的 Surface 满了？这是因为我们使用的是 MediaCodec 的异步模式，无论是编码还是解码；并且通过 Debug 你就会知道，编码器和解码器虽然是两个 MediaCodec 实例，但它们的回调函数却在同一个线程中执行。于是乎，当出现解码器任务比较多的时候，编码器的 Surface 就可能满，导致卡死。如下图。
在这里插入图片描述

问题二，为什么华为手机上必现，小米手机却是正常的。通过日志我发现华为手机上 Surface Buffer Queue 大小为 5，而小米手机是 15，这就导致了小米手机上比较难出现 Buffer Quque 满了导致卡死的问题，但实际上也只是概率比较小，在极限情况仍然可能出现卡死的问题。

知道卡死的原因后如何修复？其实也很简单，我们让编解码器的回调函数执行在不同线程下即可，这部分在代码中会有说明。

Show me the code

先看下整体流程的代码：

private fun decodeASync() {
	var done = AtomicBoolean(false)
    // setup extractor
    val mediaExtractor = MediaExtractor()
    resources.openRawResourceFd(R.raw.h264_720p).use {
        mediaExtractor.setDataSource(it)
    }
    val videoTrackIndex = 0
    mediaExtractor.selectTrack(videoTrackIndex)
    val inputVideoFormat = mediaExtractor.getTrackFormat(videoTrackIndex)
    val videoWidth = inputVideoFormat.getInteger(MediaFormat.KEY_WIDTH)
    val videoHeight = inputVideoFormat.getInteger(MediaFormat.KEY_HEIGHT)
    Log.i(TAG, "get video width: $videoWidth, height: $videoHeight")
    
    // setup muxer
    val outputDir = externalCacheDir
    val outputName = "decode_edit_encode_test.mp4"
    val outputFile = File(outputDir, outputName)
    val muxer = MediaMuxer(outputFile.absolutePath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)
    var muxerSelectVideoTrackIndex = 0
    
    // create encoder
    val mimeType = MediaFormat.MIMETYPE_VIDEO_AVC
    val outputFormat = MediaFormat.createVideoFormat(mimeType, videoWidth, videoHeight)
    val colorFormat = MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface
    val videoBitrate = 2000000
    val frameRate = 30
    val iFrameInterval = 60
    outputFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT, colorFormat)
    outputFormat.setInteger(MediaFormat.KEY_BIT_RATE, videoBitrate)
    outputFormat.setInteger(MediaFormat.KEY_FRAME_RATE, frameRate)
    outputFormat.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, iFrameInterval)
    val codecList = MediaCodecList(MediaCodecList.REGULAR_CODECS)
    val encodeCodecName = codecList.findEncoderForFormat(outputFormat)
    val encoder = MediaCodec.createByCodecName(encodeCodecName)
    Log.i(TAG, "create encoder with format: $outputFormat")
    
    // set encoder callback
    encoder.setCallback(...)
    encoder.configure(outputFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
  
    // create input surface and egl context for opengl rendering
    val inputSurface = InputSurface(encoder.createInputSurface())
    inputSurface.makeCurrent()
    
    // create decoder
    val decodeCodecName = codecList.findDecoderForFormat(inputVideoFormat)
    val decoder = MediaCodec.createByCodecName(decodeCodecName)
    
    // create output surface texture
    val textureRenderer = TextureRenderer2()
    val surfaceTexture = SurfaceTexture(textureRenderer.texId)
    val outputSurface = Surface(surfaceTexture)
    inputSurface.releaseEGLContext()
    val thread = HandlerThread("FrameHandlerThread")
    thread.start()
    surfaceTexture.setOnFrameAvailableListener({
        Log.d(TAG, "setOnFrameAvailableListener")
        synchronized(lock) {
            if (frameAvailable)
                Log.d(
                    TAG,
                    "Frame available before the last frame was process...we dropped some frames"
                )
            frameAvailable = true
            lock.notifyAll()
        }
    }, Handler(thread.looper))
    val texMatrix = FloatArray(16)
    
    // set callback
    val maxInputSize = inputVideoFormat.getInteger(MediaFormat.KEY_MAX_INPUT_SIZE)
    val inputBuffer = ByteBuffer.allocate(maxInputSize)
    val bufferInfo = MediaCodec.BufferInfo()
    val videoDecoderHandlerThread = HandlerThread("DecoderThread")
    videoDecoderHandlerThread.start()
    decoder.setCallback(..., Handler(videoDecoderHandlerThread.looper))
    
    // config decoder
    decoder.configure(inputVideoFormat, outputSurface, null, 0)
    decoder.start()
    encoder.start()
    
    // wait for done
    while(!done.get())
    {
        Thread.sleep(10)
    }
    Log.d(TAG, "finished")
    
    // release resources
    Log.d(TAG, "release resources...")
    mediaExtractor.release()
    decoder.stop()
    decoder.release()
    surfaceTexture.release()
    outputSurface.release()
    encoder.stop()
    encoder.release()
    muxer.stop()
    muxer.release()
    Log.d(TAG, "release resources end...")
}
  1. 创建一个MediaExtractor实例，用于从原始资源文件中提取视频轨道。
  2. 选择要处理的视频轨道，并获取其格式、宽度和高度。
  3. 创建一个 MediaMuxer 实例，用于将编码后的视频数据写入到输出文件。
  4. 创建一个 MediaCodec 实例，用于编码视频数据。编码器的配置包括视频格式、颜色格式、比特率、帧率和关键帧间隔。
  5. 利用 MediaCodec Encoder 创建一个输入 Surface 和一个 EGL Context，用于 OpenGL 渲染。注意这里，我们创建了一个 EGL Context，也就意味着可以在当前线程调用 OpenGL 相关的 API。
  6. 创建一个 MediaCodec 解码器，用于解码输入视频数据。
  7. 创建一个 SurfaceTexture，并通过它创建一个解码输出的 Surface。注意，创建 SurfaceTexture 前我们创建了 TextureRenderer2，而 TextureRenderer2.texId 是通过 OpenGL API 来创建的，我们要确保当前线程有 EGL Context 才能够调用 GL API；此外，我们还创建了一个线程，用来setOnFrameAvailableListener 回调函数，原因在上一章中我已经解释过了，不再赘述。
  8. 设置解码器的回调函数，用于处理解码后的视频帧。注意，我们创建了一个解码线程用来处理解码器的回调函数，原因正如我在分析卡死问题时提到的那样。
  9. 配置解码器，并启动解码器和编码器。
  10. 在一个循环中等待解码和编码过程完成。
  11. 释放所有使用的资源，包括MediaExtractor、解码器、表面纹理、输出表面、编码器和MediaMuxer。

上面的过程除了一些 GL Context、线程等细节外，整体上还是比较容易理解的。接下来，我们看解码器和编码器的回调函数，这才是真正干活的地方。

encoder.setCallback(object : MediaCodec.Callback() {
    override fun onInputBufferAvailable(codec: MediaCodec, index: Int) {
    }

    override fun onOutputBufferAvailable(
        codec: MediaCodec,
        index: Int,
        info: MediaCodec.BufferInfo
    ) {
        val isEncodeDone = (info.flags and MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0
        if (isEncodeDone) {
            info.size = 0
            done.set(true)
        }

        // got encoded frame, write it to muxer
        if (info.size > 0) {
            val encodedData = codec.getOutputBuffer(index)
            muxer.writeSampleData(muxerSelectVideoTrackIndex, encodedData!!, info)
            codec.releaseOutputBuffer(index, info.presentationTimeUs * 1000)
        }
    }

    override fun onError(codec: MediaCodec, e: MediaCodec.CodecException) {
    }

    override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) {
        muxerSelectVideoTrackIndex = muxer.addTrack(format)
        muxer.start()
    }
 });

编码器的回调函数逻辑比较简单：

  1. onOutputBufferAvailable ，当编码器的输出缓冲区有数据可用时，此函数会被调用。在这个函数中，你可以从输出缓冲区获取编码后的数据。在这段代码中，首先检查是否已经到达流的结束，如果是，则设置done标志为true。然后，如果输出缓冲区的数据大小大于0，就将编码后的数据写入到muxer，然后释放输出缓冲区。
  2. onOutputFormatChanged，当编码器的输出格式发生改变时，此函数会被调用。在这段代码中，当输出格式改变时，将新的格式添加到muxer，然后启动muxer。
decoder.setCallback(object : MediaCodec.Callback() {
    override fun onInputBufferAvailable(codec: MediaCodec, inputBufferId: Int) {
        val isExtractorReadEnd =
            getInputBufferFromExtractor(mediaExtractor, inputBuffer, bufferInfo)
        if (isExtractorReadEnd) {
            codec.queueInputBuffer(
                inputBufferId, 0, 0, 0,
                MediaCodec.BUFFER_FLAG_END_OF_STREAM
            )
        } else {
            val codecInputBuffer = codec.getInputBuffer(inputBufferId)
            codecInputBuffer!!.put(inputBuffer)
            codec.queueInputBuffer(
                inputBufferId,
                0,
                bufferInfo.size,
                bufferInfo.presentationTimeUs,
                bufferInfo.flags
            )
            mediaExtractor.advance()
        }
    }
    override fun onOutputBufferAvailable(
        codec: MediaCodec,
        index: Int,
        info: MediaCodec.BufferInfo
    ) {
        if (info.flags and MediaCodec.BUFFER_FLAG_CODEC_CONFIG != 0) {
            codec.releaseOutputBuffer(index, false)
            return
        }
        val render = info.size > 0
        codec.releaseOutputBuffer(index, render)
        if (render) {
            waitTillFrameAvailable()
            val ptsNs = info.presentationTimeUs * 1000
            inputSurface.makeCurrent()
            surfaceTexture.updateTexImage()
            surfaceTexture.getTransformMatrix(texMatrix)
            // draw oes text to input surface
            textureRenderer.draw(videoWidth, videoWidth, texMatrix, getMvp())
            inputSurface.setPresentationTime(ptsNs)
            inputSurface.swapBuffers()
            inputSurface.releaseEGLContext()
        }
        if (info.flags and MediaCodec.BUFFER_FLAG_END_OF_STREAM != 0) {
            encoder.signalEndOfInputStream()
        }
    }
    override fun onError(codec: MediaCodec, e: MediaCodec.CodecException) {
    }
    override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) {
    }
    }, Handler(videoDecoderHandlerThread.looper))
  1. onInputBufferAvailable，当解码器需要输入数据时调用。在该回调函数中，首先通过调用getInputBufferFromExtractor()方法从MediaExtractor中获取输入数据，并将数据放入解码器的输入缓冲区中。如果已经读取到了Extractor的末尾，则向解码器的输入缓冲区发送结束标志。否则，将输入数据放入解码器的输入缓冲区，并调用advance()方法继续读取下一帧数据。
  2. onOutputBufferAvailable，当解码器的输出缓冲区有数据可用时，此函数会被调用。在这个函数中，你可以从输出缓冲区获取解码后的数据。在这段代码中，首先检查输出缓冲区的数据是否是编解码器配置数据，如果是，则释放输出缓冲区并返回。然后，如果输出缓冲区的数据大小大于0，就将解码后的数据渲染到 Surface。最后，如果已经到达流的结束，就向编码器发送流结束的信号。注意，为了绘制数据到 Surface 上，我们要确保当前线程有 EGL Context 环境，因此调用了 inputSurface.makeCurrent()；接着，inputSurface.setPresentationTime 设置 PTS，然后使用 inputSurface.swapBuffers() 来交换 Buffer，告诉编码器来了一帧数据；最后 inputSurface.releaseEGLContext 来解除当前的 EGL 环境。

参考

  • DecodeEditEncodeActivity.kt
  • android-decodeencodetest

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/665926.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

接入knife4j-openapi3访问/doc.html页面空白问题

接入knife4j-openapi3访问/doc.html页面空白问题

大概率拦截器拦截下来了，我们F12看网络请求进行排查 都是 /webjars/ 路径下的资源被拦截了，只需在拦截器中添加该白名单即可"/webjars/**" 具体配置如下： Configuration public class WebConfig implements WebMvcConfigurer {priv…
阅读更多...
百度智能云与博彦科技达成战略合作 共同推动千行百业智能化升级

百度智能云与博彦科技达成战略合作 共同推动千行百业智能化升级

5月30日，百度智能云与博彦科技签署战略合作协议，双方已经基于以百度智能云千帆大模型平台为核心的产品、解决方案，在市场拓展、集成开发、实施交付、运营运维等领域开展深度合作，未来将进一步共同推动大模型技术创新和行业应用落地…
阅读更多...
【MySQL用户管理】

【MySQL用户管理】

文章目录 1.用户信息2.创建用户3.删除用户4.修改用户密码5.给用户设置权限展示zhangsan用户的权限 6.回收权限 1.用户信息 host： 表示这个用户可以从哪个主机登陆，如果是localhost，表示只能从本机登陆 user： 用户名 authenticatio…
阅读更多...
Git基本配置，使用Gitee（一）

Git基本配置，使用Gitee（一）

1、设置Giter的user name和email 设置提交用户的信息 git config --global user.name "username" git config --global user.email "Your e-mail"查看配置 git config --list2、生成 SSH 公钥 通过命令 ssh-keygen 生成 SSH Key -t key 类型 -C 注释 ssh-…
阅读更多...
鸿蒙ArkTS声明式开发：跨平台支持列表【显隐控制】 通用属性

鸿蒙ArkTS声明式开发：跨平台支持列表【显隐控制】 通用属性

显隐控制 控制组件是否可见。 说明： 开发前请熟悉鸿蒙开发指导文档： gitee.com/li-shizhen-skin/harmony-os/blob/master/README.md点击或者复制转到。 从API Version 7开始支持。后续版本如有新增内容，则采用上角标单独标记该内容的起始版本…
阅读更多...
如何为您的独立站获取高质量外链？

如何为您的独立站获取高质量外链？

获取高质量的外链是提升独立站搜索引擎排名的重要步骤。在这过程中，选择合适的外链服务至关重要。GPB外链，即""Guangsuan Private Backlinks""，是一种被广大外贸从业者认可的高质量外链服务。 GPB外链与其他外链服务的区…
阅读更多...
leetCode.86. 分隔链表

leetCode.86. 分隔链表

leetCode.86. 分隔链表 题目思路&#xff1a; 代码 class Solution { public:ListNode* partition(ListNode* head, int x) {auto lh new ListNode(-1), rh new ListNode(-1);auto lt lh, rt rh;for(auto p head; p; p p->next ) {if(p->val < x) {lt lt->…
阅读更多...
今日学会的,刘姥姥进大观园

今日学会的,刘姥姥进大观园

Git - First-Time Git Setup 下载了Git&#xff0c;会用Git了&#xff1f; 还有这个&#xff1a;学习 HTML5 Canvas 这一篇文章就够了 | 菜鸟教程 (runoob.com) JavaScript 用法 | 菜鸟教程 (runoob.com) 看到这个真的是受益匪浅&#xff0c;我终于懂了一直有的疑惑。 3D可…
阅读更多...
StrApi基本使用

StrApi基本使用

1.创建项目(这里只使用默认的sqllite) 点击链接进入官网查看先决条件,看看自己的node,python等是否符合版本要求 运行以下命令进行创建项目(网慢导致下载失败的话可以尝试使用手机热点给电脑使用,我就是这样解决的,也可以看我csdn的资源这里进行下载) yarn create strapi-ap…
阅读更多...
深度神经网络——什么是线性回归？

深度神经网络——什么是线性回归？

线性回归是一种用于预测或可视化的算法 两个不同特征/变量之间的关系。 在线性回归任务中&#xff0c;要检查两种变量&#xff1a; 因变量和自变量。 自变量是独立的变量&#xff0c;不受其他变量的影响。 随着自变量的调整&#xff0c;因变量的水平将会波动。 因变量是正在研究…
阅读更多...
【计算机毕设】基于SpringBoot的房产销售系统设计与实现 - 源码免费（私信领取）

【计算机毕设】基于SpringBoot的房产销售系统设计与实现 - 源码免费（私信领取）

免费领取源码 &#xff5c; 项目完整可运行 &#xff5c; v&#xff1a;chengn7890 诚招源码校园代理&#xff01; 1. 研究目的 随着房地产市场的发展和互联网技术的进步&#xff0c;传统的房产销售模式逐渐向线上转移。设计并实现一个基于Spring Boot的房产销售系统&#xff0…
阅读更多...
NFT Insider #132：Solana链上NFT销售总额达到55.49亿美元， The Sandbox成立DAO

NFT Insider #132：Solana链上NFT销售总额达到55.49亿美元， The Sandbox成立DAO

引言&#xff1a;NFT Insider由NFT收藏组织WHALE Members&#xff08;https://twitter.com/WHALEMembers&#xff09;、BeepCrypto &#xff08;https://twitter.com/beep_crypto&#xff09;联合出品&#xff0c;浓缩每周NFT新闻&#xff0c;为大家带来关于NFT最全面、最新鲜、…
阅读更多...
VMware虚拟机安装Ubutu

VMware虚拟机安装Ubutu

打开vmware按步骤安装 选择安装虚拟机路径 选择下载好的镜像 开启虚拟机 等待 回车确认 空格选择/取消 等待等待好按回车 输入用户名&#xff0c;密码就好了
阅读更多...
2024就业寒潮下的挑战与机遇：能否守住饭碗，人工智能能否成为新春天？

2024就业寒潮下的挑战与机遇：能否守住饭碗，人工智能能否成为新春天？

前言 随着时代的飞速发展&#xff0c;2024年的就业市场迎来了前所未有的挑战。数以百万计的高校毕业生涌入市场&#xff0c;使得就业竞争愈发激烈。然而&#xff0c;在这股就业寒潮中&#xff0c;我们也看到了新的曙光——人工智能的崛起。这一新兴行业以其独特的魅力和巨大的…
阅读更多...
12 FreeRTOS 调试与优化

12 FreeRTOS 调试与优化

1、调试 1.1 打印 在FreeRTOS工程中使用了microlib&#xff0c;里面实现了printf函数。 只需要实现一下以下函数即可使用printf。 int fputc(int ch; FILE *f); 假如要从串口实现打印函数&#xff1a; int fputc( int ch, FILE *f ) {//指定串口USART_TypeDef* USARTx USAR…
阅读更多...
地质灾害位移应急监测站

地质灾害位移应急监测站

地质灾害位移应急监测站是一种专门用于地质灾害预警和应急响应的设施&#xff0c;它能够实时监测和分析山体、建筑物、管道等的位移变化情况。以下是关于地质灾害位移应急监测站的详细介绍&#xff1a; 主要组成部分 传感器&#xff1a;安装于需要监测的位置&#xff0c;用于…
阅读更多...
【全开源】Java短剧系统微信小程序+H5+微信公众号+APP 源码

【全开源】Java短剧系统微信小程序+H5+微信公众号+APP 源码

打造属于你的精彩短视频平台 一、引言&#xff1a;为何选择短剧系统小程序&#xff1f; 在当今数字化时代&#xff0c;短视频已经成为人们日常生活中不可或缺的一部分。而短剧系统小程序源码&#xff0c;作为构建短视频平台的强大工具&#xff0c;为广大开发者提供了快速搭建…
阅读更多...
html+css web前端 多边形

html+css web前端 多边形

<!DOCTYPE html><html><head><meta charset"UTF-8"><title>多边形</title><style type"text/css">#pentagon_6_1 {position: absolute;top: 0px;height: 0; width: 100; border-left: 100px solid rgb(255, 255…
阅读更多...
机器人动力学模型与MATLAB仿真

机器人动力学模型与MATLAB仿真

机器人刚体动力学由以下方程控制&#xff01;&#xff01;&#xff01; startup_rvc mdl_puma560 p560.dyn 提前计算出来这些“disturbance”&#xff0c;然后在控制环路中将它“抵消”&#xff08;有时候也叫前馈控制&#xff09; 求出所需要的力矩&#xff0c;其中M项代表克服…
阅读更多...
堆排序详细理解

堆排序详细理解

目录 一、前备知识 二、建堆 2.2.1 向上调整算法建堆 2.2.2 向下调整算法建堆 三、排序 3.1 常见问题 3.2 思路 3.3 源码 一、前备知识 详细图解请点击&#xff1a;二叉树的顺序实现-堆-CSDN博客 本文只附上向上/向下调整算法的源码 //交换 void Swap(int* p, int* …
阅读更多...
最新文章

Copyright @ 2022~2023