Android平台RTSP|RTMP播放器如何实现TextureView渲染

技术背景

自2015年我们发布Android平台RTSP、RTMP直播播放模块以来，渲染这块，支持SurfaceView或GlSurfaceView，当然如果开发者需要TextureView渲染，可以把RTSP、RTMP流数据解码回调YUV或RGB数据上来，上层自己渲染。本文主要介绍，如何实现RTSP、RTMP播放器TextureView渲染。在此之前，我们先看看TextureView优缺点：

先说优点：

  1. 更高的性能：TextureView使用基于硬件加速的渲染管道，可以在GPU中进行图像处理和渲染，这比SurfaceView的软件渲染方式更高效。因此，TextureView在图像和视频渲染方面具有更好的性能。
  2. 更强的功能：TextureView可以与其他控件进行自由组合，可以在布局中灵活地放置和调整大小。而SurfaceView只能全屏显示，无法与其他控件混合使用。
  3. 更灵活的绘制方式：TextureView允许开发者直接在其上面绘制图像，通过Canvas和OpenGL ES等API，可以实现更丰富的渲染效果。
  4. 支持动画和截图：TextureView支持移动、旋转、缩放等动画，并且支持截图功能。

再说缺点：

  1. 必须在硬件加速的窗口中使用：TextureView必须在硬件加速的窗口中使用，如果设备不支持硬件加速或者硬件加速被禁用，TextureView可能无法正常工作。
  2. 占用内存较高：与SurfaceView相比，TextureView占用内存更高，这可能会影响到应用的性能，特别是在处理大型图像或视频时。
  3. 渲染线程问题：在Android 5.0以前，TextureView在主线程进行渲染，这可能导致UI卡顿。虽然在Android 5.0及以后版本中，TextureView有了单独的渲染线程，但在高GPU负荷的场景下，可能存在帧率下降的问题。
  4. 同步问题：TextureView需要在多个线程之间进行写读同步，包括CPU和GPU的同步。当同步失调时，可能会出现掉帧或吞帧导致的卡顿和抖动现象。

技术实现

本文以大牛直播SDK的Android平台SmartPlayerV2工程demo为例：

开始播放之前，CreateView()实现如下：

    /*
     * SmartPlayer.java
     * Author: daniusdk.com
     * Create rendering with different type
     */
    private boolean CreateView() {
        if (sSurfaceView != null)
            return true;

        Log.i(TAG, "CreateView");

        if (SURFACE_TYPE_NULL == surface_type_) {
            String manufacturer = Build.MANUFACTURER;
            Log.i(TAG, "CreateView, current manufacturer: " + manufacturer);

            if (is_enable_hardware_render_mode) {
                //hardware render模式，第二个参数设置为false
                sSurfaceView = NTRenderer.CreateRenderer(this, false);
            } else {
                //这个字符串可以自己定义,例如判断华为就填写huawei,魅族就填写meizu
                if ("huawei".equalsIgnoreCase(manufacturer)) {
                    sSurfaceView = NTRenderer.CreateRenderer(this, true);
                } else {
                    /*
                     * useOpenGLES2: If with true: Check if system supports openGLES, if
                     * supported, it will choose openGLES. If with false: it will set
                     * with default surfaceView;
                     */
                    sSurfaceView = NTRenderer.CreateRenderer(this, true);
                }
            }
        } else {
            if (SURFACE_TYPE_TEXTURE_VIEW == surface_type_) {
                TextureView texture_view = new TextureView(this);
                texture_view.setSurfaceTextureListener(this);
                sSurfaceView = texture_view;
            } else
                sSurfaceView= new SurfaceView(this);
        }

        if (sSurfaceView == null) {
            Log.i(TAG, "Create render failed..");
            return false;
        }

        if (is_enable_hardware_render_mode || SURFACE_TYPE_SURFACE_VIEW == surface_type_) {
            if (sSurfaceView instanceof SurfaceView) {
                SurfaceHolder surfaceHolder = ((SurfaceView)sSurfaceView).getHolder();
                if (surfaceHolder == null)
                    Log.e(TAG, "CreateView, surfaceHolder with null..");
                 else
                	surfaceHolder.addCallback(this);
            }
        }

        return true;
    }

视频流开始播放后，我们会把视频宽高信息回调上来(EVENT_DANIULIVE_ERC_PLAYER_RESOLUTION_INFO)，然后，根据获取到的宽高信息，调用adjustTextureViewAspectRatio()按比例显示窗口，如果需要铺满显示，不调用比例显示即可。

    class EventHandeV2 implements NTSmartEventCallbackV2 {
        @Override
        public void onNTSmartEventCallbackV2(long handle, int id, long param1,
                                             long param2, String param3, String param4, Object param5) {

            //Log.i(TAG, "EventHandeV2: handle=" + handle + " id:" + id);

            String player_event = "";

            switch (id) {
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_STARTED:
                    player_event = "开始..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_CONNECTING:
                    player_event = "连接中..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_CONNECTION_FAILED:
                    player_event = "连接失败..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_CONNECTED:
                    player_event = "连接成功..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_DISCONNECTED:
                    player_event = "连接断开..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_STOP:
                    player_event = "停止播放..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_RESOLUTION_INFO:
                    player_event = "分辨率信息: width: " + param1 + ", height: " + param2;
                    handler.post(new OnNTPlayerVideoSize((int)param1, (int)param2));
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_NO_MEDIADATA_RECEIVED:
                    player_event = "收不到媒体数据，可能是url错误..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_SWITCH_URL:
                    player_event = "切换播放URL..";
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_CAPTURE_IMAGE:
                    player_event = "快照: " + param1 + " 路径：" + param3;

                    if (param1 == 0)
                        player_event = player_event + ", 截取快照成功";
                     else
                        player_event = player_event + ", 截取快照失败";

                    if (param4 != null && !param4.isEmpty())
                        player_event += (", user data:" + param4);

                    break;

                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_RECORDER_START_NEW_FILE:
                    player_event = "[record]开始一个新的录像文件 : " + param3;
                    break;
                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_ONE_RECORDER_FILE_FINISHED:
                    player_event = "[record]已生成一个录像文件 : " + param3;
                    break;

                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_START_BUFFERING:
                    Log.i(TAG, "Start Buffering");
                    break;

                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_BUFFERING:
                    Log.i(TAG, "Buffering:" + param1 + "%");
                    break;

                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_STOP_BUFFERING:
                    Log.i(TAG, "Stop Buffering");
                    break;

                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_DOWNLOAD_SPEED:
                    player_event = "download_speed:" + param1 + "Byte/s" + ", "
                            + (param1 * 8 / 1000) + "kbps" + ", " + (param1 / 1024)
                            + "KB/s";
                    break;

                case NTSmartEventID.EVENT_DANIULIVE_ERC_PLAYER_RTSP_STATUS_CODE:
                    Log.e(TAG, "RTSP error code received, please make sure username/password is correct, error code:" + param1);
                    player_event = "RTSP error code:" + param1;
                    break;
                 ....
            }

            if (player_event.length() > 0) {
                Log.i(TAG, player_event);
                Message message = new Message();
                message.what = PLAYER_EVENT_MSG;
                message.obj = player_event;
                handler.sendMessage(message);
            }
        }
    }

OnNTPlayerVideoSize实现如下：

    class OnNTPlayerVideoSize implements Runnable{
        int width_;
        int height_;

        OnNTPlayerVideoSize(int w, int h ) {
            this.width_ = w;
            this.height_ = h;
        }

        public void run() {
            if (this.width_ < 1 || this.height_ < 1)
                return;

            video_width_ = this.width_;
            video_height_ = this.height_;

            if (null == sSurfaceView)
                return;

            if (SURFACE_TYPE_TEXTURE_VIEW == surface_type_ && sSurfaceView instanceof TextureView)
                adjustTextureViewAspectRatio((TextureView)sSurfaceView, this.width_, this.height_);
            else if (((isHardwareDecoder&&is_enable_hardware_render_mode) || SURFACE_TYPE_SURFACE_VIEW == surface_type_)
                && sSurfaceView instanceof SurfaceView )
                adjustSurfaceViewAspectRatio((SurfaceView)sSurfaceView, this.width_, this.height_);
        }
    }

针对TextureView处理如下：

   /**
     * Invoked when a {@link TextureView}'s SurfaceTexture is ready for use.
     *
     * @param surface The surface returned by
     *                {@link android.view.TextureView#getSurfaceTexture()}
     * @param width The width of the surface
     * @param height The height of the surface
     */
    public void onSurfaceTextureAvailable(SurfaceTexture surface, int width, int height) {
        Log.i(TAG, "TextureView onSurfaceTextureAvailable w:" + width + ", h:" + height);

        if (texture_view_surface_ != null) {
            texture_view_surface_.release();
            texture_view_surface_ = null;
        }

        texture_view_surface_ = new Surface(surface);

        if (isPlaying && SURFACE_TYPE_TEXTURE_VIEW == surface_type_) {
            libPlayer.SetSurface(playerHandle, texture_view_surface_, 0, disable_codec_render_surface_, disable_sdk_render_surface_);

            if (video_width_ > 0 && video_height_ > 0 && sSurfaceView != null && (sSurfaceView instanceof TextureView))
                adjustTextureViewAspectRatio((TextureView)sSurfaceView, video_width_, video_height_);
        }
    }

    /**
     * Invoked when the {@link SurfaceTexture}'s buffers size changed.
     *
     * @param surface The surface returned by
     *                {@link android.view.TextureView#getSurfaceTexture()}
     * @param width The new width of the surface
     * @param height The new height of the surface
     */
    public void onSurfaceTextureSizeChanged(SurfaceTexture surface, int width, int height) {
        Log.i(TAG, "TextureView onSurfaceTextureSizeChanged w:" + width + ", h:" + height);

        if(isPlaying && SURFACE_TYPE_TEXTURE_VIEW == surface_type_) {
            if (sSurfaceView != null && (sSurfaceView instanceof TextureView) && video_width_ > 0 && video_height_ > 0)
                adjustTextureViewAspectRatio((TextureView) sSurfaceView, video_width_, video_height_);
        }
    }

    /**
     * Invoked when the specified {@link SurfaceTexture} is about to be destroyed.
     * If returns true, no rendering should happen inside the surface texture after this method
     * is invoked. If returns false, the client needs to call {@link SurfaceTexture#release()}.
     * Most applications should return true.
     *
     * @param surface The surface about to be destroyed
     */
    public boolean onSurfaceTextureDestroyed(SurfaceTexture surface) {
        Log.i(TAG, "TextureView onSurfaceTextureDestroyed");

        if(isPlaying && SURFACE_TYPE_TEXTURE_VIEW == surface_type_)
            libPlayer.SetSurface(playerHandle, null, 0, 0, 0);

        if (texture_view_surface_ != null) {
            texture_view_surface_.release();
            texture_view_surface_ = null;
        }

        return true;
    }

    /**
     * Invoked when the specified {@link SurfaceTexture} is updated through
     * {@link SurfaceTexture#updateTexImage()}.
     *
     * @param surface The surface just updated
     */
    public void onSurfaceTextureUpdated(SurfaceTexture surface) {
        // Log.i(TAG, "TextureView onSurfaceTextureUpdated");
    }

至此，RTSP|RTMP播放，我们是实现的功能如下（如不特别说明，代表Windows、Linux、Android、iOS平台均支持）：

  • [支持播放协议]高稳定、超低延迟、业内首屈一指的RTSP|RTMP直播播放器SDK；
  •  [多实例播放]支持多实例播放；
  •  [事件回调]支持网络状态、buffer状态等回调；
  •  [视频格式]支持H.265、H.264，此外，还支持RTSP MJPEG播放；
  •  [音频格式]RTSP支持AAC/PCMA/PCMU、RTMP支持AAC/PCMA/PCMU/Speex；
  •  [H.264/H.265软解码]支持H.264/H.265软解，支持Enhanced RTMP H.265；
  •  [H.264硬解码]Windows/Android/iOS支持特定机型H.264硬解；
  •  [H.265硬解]Windows/Android/iOS支持特定机型H.265硬解；
  •  [H.264/H.265硬解码]Android支持设置Surface模式硬解和普通模式硬解码；
  •  [RTSP模式设置]支持RTSP TCP/UDP模式设置；
  •  [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换；
  •  [RTSP超时设置]支持RTSP超时时间设置，单位：秒；
  •  [RTSP 401认证处理]支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
  •  [缓冲时间设置]支持buffer time设置；
  •  [首屏秒开]支持首屏秒开模式；
  •  [复杂网络处理]支持断网重连等各种网络环境自动适配；
  •  [快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
  •  [音视频多种render机制]Android平台，视频：surfaceview/OpenGL ES，音频：AudioTrack/OpenSL ES；
  •  [实时静音]支持播放过程中，实时静音/取消静音；
  •  [实时音量调节]支持播放过程中实时调节音量；
  •  [实时快照]支持播放过程中截取当前播放画面；
  •  [只播关键帧]Windows平台支持实时设置是否只播放关键帧；
  •  [渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
  •  [渲染镜像]支持水平反转、垂直反转模式设置；
  •  [等比例缩放]支持图像等比例缩放绘制(Android设置surface模式硬解模式不支持)；
  •  [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
  •  [解码前视频数据回调]支持H.264/H.265数据回调；
  •  [解码后视频数据回调]支持解码后YUV/RGB数据回调；
  •  [解码前音频数据回调]支持AAC/PCMA/PCMU数据回调；
  •  [音视频自适应]支持播放过程中，音视频信息改变后自适应；
  •  [扩展录像功能]完美支持和录像SDK组合使用。

总结

做播放器不难，做高稳定低延迟低资源占用的RTMP|RTSP直播播放器还是有点儿难度，以上是大牛直播SDK针对Android平台RTMP|RTSP播放器TextureView渲染相关的技术交流，感兴趣的开发者，也可以找我单独沟通。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/532080.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

pycharm一直打不开

pycharm一直打不开

一直处在下面的页面&#xff0c;没有反应 第一种方案&#xff1a; 以管理员身份运行 cmd.exe&#xff1b;在打开的cmd窗口中&#xff0c;输入 netsh winsock reset &#xff0c;按回车键&#xff1b;重启电脑&#xff1b;重启后&#xff0c;双击pycharm图标就能打开了&#xf…
阅读更多...
阿里淘天一面凉经

阿里淘天一面凉经

电话面&#xff0c;秒挂。 由于答的依托。导致面试官一开始就准备要挂我了。后面问的参考性不大。 总结&#xff1a; 1.自我介绍 2.项目里自己体会比较多的&#xff0c;遇到困难比较大的技术实现。&#xff08;没复习&#xff09; 3.项目中什么场景下用到分布式锁&#xf…
阅读更多...
提升Terraform工作流程最佳实践

提升Terraform工作流程最佳实践

Terraform 是管理基础设施及代码&#xff08;IaC&#xff09;最常用的工具之一&#xff0c;它能使我们安全且可预测地对基础设施应用更改。刚开始上手 Terraform 可能会感觉有些不容易&#xff0c;但很快就能对该工具有基本的了解&#xff0c;随之可以开始运行命令、创建和重构…
阅读更多...
如何压缩视频？5种超简单的方法！

如何压缩视频？5种超简单的方法！

用视频来记录生活和重要信息变得越来越广泛&#xff0c;比如用手机拍摄美好瞬间、对线上会议或课堂的内容进行视频录制、保存各种精彩的电影文件、社交媒体上分享美好生活&#xff0c;但是由于视频本身包含的信息很多以及拍摄设备的进步&#xff0c;文件越来越大&#xff0c;占…
阅读更多...
08 Php学习：iff语句、Switch语句

08 Php学习：iff语句、Switch语句

PHP 条件语句 当您编写代码时&#xff0c;您常常需要为不同的判断执行不同的动作。您可以在代码中使用条件语句来完成此任务。 在 PHP 中&#xff0c;提供了下列条件语句&#xff1a; if 语句 - 在条件成立时执行代码 if…else 语句 - 在条件成立时执行一块代码&#xff0c;…
阅读更多...
FreeRTOS任务切换学习

FreeRTOS任务切换学习

FreeRTOS任务切换学习 所谓任务切换&#xff0c;就是CPU寄存器的切换。假设当由任务A切换到任务B时&#xff0c;主要分为两步&#xff1a; 1&#xff1a;需暂停任务A的执行&#xff0c;并将此时任务A的寄存器保存到任务堆栈&#xff0c;这个过程叫做保存现场&#xff1b; 2&am…
阅读更多...
【STL】list

【STL】list

目录 1. list的使用 1.1 list的构造 1.2 list iterator的使用 1.3 list capacity 1.4 list element access 1.5 list modifiers 1.6 list的迭代器失效 2. list的模拟实现 3. list与vector的对比 1. list的使用 1.1 list的构造 1.2 list iterator的使用 1. begin与end为…
阅读更多...
雨污管网开挖深度的计算

雨污管网开挖深度的计算

一般的管网工程都有纵断面设计图&#xff0c;结合纵断面里的 管内底埋深-管厚度(直径0.6管厚0.06&#xff0c;直径0.8承插管直径0.08厚) - 砂砾石基础一般0.15厚 - 路面结构层厚度就是沟槽开挖深度了&#xff0c;是不是很简单。 管内底埋深其实就是管内流水面到设计路面顶的高…
阅读更多...
PyCharm+PyQt5配置方法

PyCharm+PyQt5配置方法

一、前言 PyQt5PyQt5是一套Python绑定Digia QT5应用的框架。Qt库是最强大的GUI库之一PyQt5-toolsPyQt5中没有提供常用的Qt工具&#xff0c;比如图形界面开发工具Qt Designer&#xff0c;PyQt5-tools中包含了一系列常用工具Qt Designer可以通过Qt Designer来编写UI界面&#xf…
阅读更多...
Docker快速上手及常用命令速查

Docker快速上手及常用命令速查

Docker快速上手 安装 在ubuntu上安装docker: sudo apt-get install docker docker -v #查看版本在centos7上安装docker&#xff1a;(docker在YUM源的Extras仓库中) yum install docker systemctl start dockerdocker常用命令速查 #查看docker信息 docker info #查看本地镜…
阅读更多...
网络基础三——其他周边问题

网络基础三——其他周边问题

3.1ARP原理 ​ ARP不是一个单纯的数据链路层的协议&#xff0c;而是一个介于数据链路层和网络层之间的协议&#xff1b; ​ 以广播的形式(主机号填成全1)构建Mac帧&#xff0c;发送ARP请求包&#xff0c;告诉所有在局域网的主机我的IP地址和Mac帧&#xff0c;与目的IP相同的主…
阅读更多...
[lesson16]类的真正形态

[lesson16]类的真正形态

类的真正形态 类的关键字 struct在C语言中以及有了自己的含义&#xff0c;必须继续兼容 在C中提供了新的关键字class用于类的定义 class和struct的用法是完全相同的 在用struct定义类时&#xff0c;所有成员的默认访问级别为public 在用class定义类时&#xff0c;所有成员…
阅读更多...
Leetcode算法训练日记 | day22

Leetcode算法训练日记 | day22

一、二叉搜索树的最近公共祖先 1.题目 Leetcode&#xff1a;第 235 题 给定一个二叉搜索树, 找到该树中两个指定节点的最近公共祖先。 百度百科中最近公共祖先的定义为&#xff1a;“对于有根树 T 的两个结点 p、q&#xff0c;最近公共祖先表示为一个结点 x&#xff0c;满足…
阅读更多...
liunx环境变量学习总结

liunx环境变量学习总结

环境变量 在操作系统中&#xff0c;环境变量是一种特殊的变量&#xff0c;它们为运行的进程提供全局配置信息和系统环境设定。本文将介绍如何自定义、删除环境变量&#xff0c;特别是对重要环境变量PATH的管理和定制&#xff0c;以及与环境变量相关的函数使用。 自定义环境变…
阅读更多...
【复现】用友NC-Cloud文件上传漏洞_70

【复现】用友NC-Cloud文件上传漏洞_70

目录 一.概述 二 .漏洞影响 三.漏洞复现 1. 漏洞一&#xff1a; 四.修复建议&#xff1a; 五. 搜索语法&#xff1a; 六.免责声明 一.概述 用友NC Cloud大型企业数字化平台&#xff0c;深度应用新一代数字智能技术&#xff0c;完全基于云原生架构&#xff0c;打造开放、…
阅读更多...
MySQL进阶之（七）EXPLAIN 详解

MySQL进阶之（七）EXPLAIN 详解

七、EXPLAIN 详解 7.1 查询性能那些事7.1.1 查看系统性能参数7.1.2 统计 SQL 的查询成本7.1.3 定位执行慢的 SQL&#xff1a;慢查询日志01、开启慢查询日志参数02、关闭慢查询日志03、删除慢查询日志 7.1.4 查看 SQL 执行成本&#xff1a;SHOW PROFILE 7.2 EXPLAIN 语句输出中各…
阅读更多...
pyqt5 QScrollArea组件

pyqt5 QScrollArea组件

本示例中&#xff0c;演示了QScrollArea的使用&#xff0c;以及QScrollBar的样式设定&#xff0c;在代码中使用setStyleSheet设置样式&#xff0c;记得要优先设置scrollArea&#xff0c;再设置窗口的样式&#xff0c;不然QScrollBar的样式会不起作用&#xff0c;使用QSS设置没有…
阅读更多...
SGD随机梯度下降

SGD随机梯度下降

一、补充概念&#xff1a; 目标函数&#xff08;Objective Function&#xff09;&#xff1a;这个术语通常指的是整个优化问题中需要最小化&#xff08;或最大化&#xff09;的函数。在机器学习和优化中&#xff0c;目标函数可以包括损失函数以及正则化项等。目标函数的最优化过…
阅读更多...
Python程序设计 列表

Python程序设计 列表

教学案例八 列表 1. 计算并显示斐波那契数列 输入n,计算并显示斐波那契数列前n项.一行打印5项&#xff0c;每项显示宽度为6 什么是斐波那契数列 斐波那契数列&#xff08;Fibonacci sequence&#xff09;&#xff0c;又称黄金分割数列、 因数学家莱昂纳多斐波那契&#xff…
阅读更多...
基于SSM+Jsp+Mysql的农产品供销服务系统

基于SSM+Jsp+Mysql的农产品供销服务系统

开发语言&#xff1a;Java框架&#xff1a;ssm技术&#xff1a;JSPJDK版本&#xff1a;JDK1.8服务器&#xff1a;tomcat7数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09;数据库工具&#xff1a;Navicat11开发软件&#xff1a;eclipse/myeclipse/ideaMaven包…
阅读更多...
最新文章

Copyright @ 2022~2023