Android平台下VR头显如何低延迟播放4K以上超高分辨率RTSP|RTMP流

技术背景

VR头显需要更高的分辨率以提供更清晰的视觉体验、满足沉浸感的要求、适应透镜放大效应以及适应更广泛的可视角度，超高分辨率的优势如下：

  1. 提供更清晰的视觉体验：VR头显的分辨率直接决定了用户所看到的图像的清晰度。更高的分辨率意味着更多的像素数，可以呈现更细腻、更逼真的图像，从而提升用户的视觉体验，更高的分辨率可以进一步减少图像中的颗粒感和纱窗效应，让用户感受到更加真实的虚拟世界。
  2. 满足沉浸感的要求：VR头显的主要目的是为用户提供沉浸式的体验，使用户感觉自己完全置身于虚拟环境中。为了达到这种效果，头显需要能够呈现足够清晰、细腻的图像，以便用户能够清晰地看到虚拟环境中的各种细节。更高的分辨率可以确保用户在头部移动或转动时，依然能够保持画面的清晰度和稳定性，从而增强沉浸感。
  3. 适应透镜放大效应：VR头显通过透镜将小屏幕放大至用户眼前，以模拟大屏幕的效果。然而，这种放大效应会导致图像的像素密度降低，使得图像看起来相对模糊。因此，为了保持放大后的图像依然清晰，VR头显需要更高的分辨率来弥补透镜放大带来的像素密度降低问题。
  4. 适应更广泛的可视角度：一些VR头显设计倾向于在画质可以接受的情况下，尽量增大可视角度，以便用户能够更自然地观察虚拟环境。然而，这也会导致图像在边缘区域出现拉伸和变形。为了保持这些区域依然清晰可辨，VR头显需要更高的分辨率来确保整个画面的清晰度和稳定性。

技术实现

实际上，大牛直播SDK在2018年就发布了Unity的RTSP|RTMP的播放模块，平台陆续覆盖了Windows、Android、iOS和Linux，Unity下播放RTSP|RTMP流，原理很简单，底层原生模块，把RTSP|RTMP流拉过来，做解析解码回调YUV或RGB数据到上层，Unity环境下，做绘制即可。说来容易，难点在于，如果需要更好的解码效率、资源占用和低延迟，需要确保每个环节都做到极致，总体延迟可以达到200-400ms。

目前我们实现的功能如下：

  •  [支持播放协议]高稳定、超低延迟（毫秒级延迟，行业内几无效果接近的播放端）、业内首屈一指的RTMP、RTSP直播播放SDK；
  •  [多实例播放]支持多实例播放；
  •  [事件回调]支持网络状态、buffer状态等回调；
  •  [视频格式]支持RTMP扩展H.265，H.264；
  •  [音频格式]支持AAC/PCMA/PCMU/Speex；
  •  [H.264/H.265软解码]支持H.264/H.265软解；
  •  [H.264硬解码]Android/iOS支持H.264特定机型硬解；
  •  [H.265硬解]Android/iOS支持H.265特定机型硬解；
  •  [RTSP模式设置]支持RTSP TCP/UDP模式设置；
  •  [RTSP TCP/UDP自动切换]支持RTSP TCP、UDP模式自动切换；
  •  [RTSP超时设置]支持RTSP超时时间设置，单位：秒；
  •  [RTSP 401认证处理]支持上报RTSP 401事件，如URL携带鉴权信息，会自动处理；
  •  [缓冲时间设置]支持buffer time设置；
  •  [首屏秒开]支持首屏秒开模式；
  •  [低延迟模式]支持超低延迟模式设置；
  •  [复杂网络处理]支持断网重连等各种网络环境自动适配；
  •  [快速切换URL]支持播放过程中，快速切换其他URL，内容切换更快；
  •  [实时静音]支持播放过程中，实时静音/取消静音；
  •  [实时快照]支持播放过程中截取当前播放画面；
  •  [渲染角度]支持0°，90°，180°和270°四个视频画面渲染角度设置；
  •  [渲染镜像]支持水平反转、垂直反转模式设置；
  •  [实时下载速度更新]支持当前下载速度实时回调(支持设置回调时间间隔)；
  •  [音视频自适应]支持播放过程中，音视频信息改变后自适应播放；
  •  [扩展录像功能]完美支持和录像模块组合使用。

废话不多说，上代码，先说开始播放：

/*
 * SmartPlayerAndroidMono.cs
 * Author: daniusdk.com
 * Created on 2018/05/10.
 */
public void Play()
{
	if (is_running)
	{
		Debug.Log("已经在播放。。");   
		return;
	}

	//获取输入框的url
	string url = input_url_.text.Trim();

	OpenPlayer();

	if ( player_handle_ == 0 )
		return;

	NT_U3D_Set_Game_Object(player_handle_, game_object_);

	/* ++ 播放前参数配置可加在此处 ++ */
	int is_using_tcp = 0;        //TCP/UDP模式设置
	NT_U3D_SetRTSPTcpMode(player_handle_, is_using_tcp);

	int is_report = 0;
	int report_interval = 1;
	NT_U3D_SetReportDownloadSpeed(player_handle_, is_report, report_interval);  //下载速度回调

	NT_U3D_SetBuffer(player_handle_, play_buffer_time_);                        //设置buffer time

	NT_U3D_SetPlayerLowLatencyMode(player_handle_, is_low_latency_ ? 1 : 0);    //设置是否启用低延迟模式

	NT_U3D_SetMute(player_handle_, is_mute_ ? 1 : 0);                           //是否启动播放的时候静音

	NT_U3D_SetAudioVolume(player_handle_, cur_audio_volume_);                   //设置播放音量

	NT_U3D_SetVideoDecoderMode(player_handle_, is_hw_decode_ ? 1 : 0);          //设置H.264软硬解模式

	NT_U3D_SetVideoHevcDecoderMode(player_handle_, is_hw_decode_ ? 1 : 0);          //设置H.265软硬解模式

	int is_output = 1;
	int disable_use_image_planes = 0;
	bool is_supports_texture_format = SystemInfo.SupportsTextureFormat(TextureFormat.RG16);
	Debug.Log("is_supports_texture_format: " + is_supports_texture_format);
	int is_supported_multiple_format = is_supports_texture_format? 1:0;
	int max_images = 3;
	int buffer_pool_max_size = 0;
	NT_U3D_SetImageReaderOutput(player_handle_, is_output, disable_use_image_planes, is_supported_multiple_format, max_images, buffer_pool_max_size);  //硬解码image reader

	int is_fast_startup = 1;
	NT_U3D_SetFastStartup(player_handle_, is_fast_startup);                     //设置快速启动模式

	int rtsp_timeout = 10;
	NT_U3D_SetRTSPTimeout(player_handle_, rtsp_timeout);                        //设置RTSP超时时间

	int is_auto_switch_tcp_udp = 1;
	NT_U3D_SetRTSPAutoSwitchTcpUdp(player_handle_, is_auto_switch_tcp_udp);    //设置TCP/UDP模式自动切换

	int is_audiotrack = 1;
	NT_U3D_SetAudioOutputType(player_handle_, is_audiotrack);                   //设置音频输出模式: if 0: 自动选择; if with 1: audiotrack模式

	NT_U3D_SetUrl(player_handle_, videoUrl);
	/* -- 播放前参数配置可加在此处 -- */

	int flag = NT_U3D_StartPlay(player_handle_);

	if (flag  == DANIULIVE_RETURN_OK)
	{
		is_need_get_frame_ = true;
		Debug.Log("播放成功");
	}
	else
	{
		is_need_get_frame_ = false;
		Debug.LogError("播放失败");
	}

	is_running = true;  
}

对应的OpenPlayer实现如下：

private void OpenPlayer()
{
	if ( java_obj_cur_activity_ == null )
	{
		Debug.LogError("getApplicationContext is null");
		return;
	}

	player_handle_ = NT_U3D_Open();

	if (player_handle_ != 0)
		Debug.Log("open success");
	else
		Debug.LogError("open fail");
}

ClosePlayer实现如下：

private void ClosePlayer()
{
	is_need_get_frame_ = false;
	is_need_init_texture_ = false;

	int flag = NT_U3D_StopPlay(player_handle_);
	if (flag == DANIULIVE_RETURN_OK)
	{
		Debug.Log("停止成功");
	}
	else
	{
		Debug.LogError("停止失败");
	}

	flag = NT_U3D_Close(player_handle_);
	if (flag == DANIULIVE_RETURN_OK)
	{
		Debug.Log("关闭成功");
	}
	else
	{
		Debug.LogError("关闭失败");
	}

	player_handle_ = 0;

	NT_U3D_UnInit();

	is_running = false;
	video_format_ = VideoFrame.FORMAT_UNKNOWN;
	video_width_ = 0;
	video_height_ = 0;
}

总结

VR头显下播放超高分辨率的RTSP或RTMP，实现低延迟的播放，意义很大，比如平衡操控场景下，可以远程操控挖掘机等危险设备，提高工作效率、改善工作环境、降低安全风险、节约人力成本。在虚拟仿真、无人机操控等场景下也意义重大，感兴趣的开发者，可以单独跟我交流。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/732312.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

微服务改造启动多个 SpringBoot 的陷阱与解决方案

微服务改造启动多个 SpringBoot 的陷阱与解决方案

在系统运行了一段时间后，业务量上升后，生产上发现java应用内存占用过高，服务器总共64G，发现每个SpringBoot占用近12G的内存，我们项目采用微服务架构，有多个springboot应用。 一下子内存就不够用了&#xf…
阅读更多...
基于SpringBoot+Vue在线考试报名系统设计和实现(源码+LW+调试文档+讲解等)

基于SpringBoot+Vue在线考试报名系统设计和实现(源码+LW+调试文档+讲解等)

💗博主介绍：✌全网粉丝10W,CSDN作者、博客专家、全栈领域优质创作者，博客之星、平台优质作者、专注于Java、小程序技术领域和毕业项目实战✌💗 🌟文末获取源码数据库🌟 感兴趣的可以先收藏起来，…
阅读更多...
＜Rust＞＜iced＞基于rust使用iced构建GUI实例：如何将svg格式转为ico格式图片？

＜Rust＞＜iced＞基于rust使用iced构建GUI实例：如何将svg格式转为ico格式图片？

前言 本专栏是Rust实例应用。 环境配置 平台：windows 软件：vscode 语言：rust 库：iced、iced_aw 概述 本文是专栏第4篇实例，依旧是一个图像格式转换程序，基于rust的svg库resvg、图像处理库image以及文件处…
阅读更多...
Python xlwt库：写excel表格

Python xlwt库：写excel表格

💝💝💝欢迎莅临我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:「stormsha的主页」…
阅读更多...
电路仿真实战设计教程--平均电流控制原理与仿真实战教程

电路仿真实战设计教程--平均电流控制原理与仿真实战教程

1.平均电流控制原理： 平均电流控制的方块图如下，其由外电路电压误差放大器作电压调整器产生电感电流命令信号，再利用电感电流与电流信号的误差经过一个电流误差放大器产生PWM所需的控制电压，最后由控制电压与三角波比较生成开关管的驱动信号。 2.电流环设计： 根据状态平…
阅读更多...
C语言：生命周期和作用域，static和extern

C语言：生命周期和作用域，static和extern

关键字static与extern 1.作用域（scope）：代码中能够访问到变量的范围（变量可以被使用的文本区间）。（分为全局作用域和局部作用域） ☺全局作用域：在整个程序中都能访问的变量。通常…
阅读更多...
【数据结构】第十九弹---C语言实现冒泡排序算法

【数据结构】第十九弹---C语言实现冒泡排序算法

✨个人主页： 熬夜学编程的小林 💗系列专栏： 【C语言详解】 【数据结构详解】【C详解】 目录 1、冒泡排序基本思想 2、代码的初步实现 3、代码的优化 4、代码的测试 5、时空复杂度分析 6、模拟实现qsort 6.1、冒泡排序函数 6.2、交换数…
阅读更多...
【PyTorch】【机器学习】图片张量、通道分解合成和裁剪

【PyTorch】【机器学习】图片张量、通道分解合成和裁剪

一、导入所需库 from PIL import Image import torch import numpy as np import matplotlib.pyplot as plt二、读取图片 pic np.array(Image.open(venice-boat.jpg))上述代码解释：先用Image.open()方法读取jpg格式图片，再用np.array()方法将图片转成…
阅读更多...
STM32单片机-BKP和RTC

STM32单片机-BKP和RTC

STM32单片机-BKP和RTC 一、Unix时间戳1.1 时间戳转换 二、BKP(备份寄存器)三、RTC(实时时钟)3.1 RTC工作原理 四、代码部分4.1 BKP备份寄存器4.2 RTC实时时钟 一、Unix时间戳 Unix时间戳定义为从伦敦时间的1970年1月1日0时0分0秒开始所经过的秒数，不考虑闰秒时间戳…
阅读更多...
Django集成OpenAI

Django集成OpenAI

Django集成OpenAI 通过前面 django 框架的基本开发知识，我们现在可以开始在 django 上做稍微深一点当然应用开发了。 这一章开始编写怎么集成调用 openai ，设置环境以及 openai 的基础知识。 大家都知道 ai 的多模态逐渐扩大，各种应用层出…
阅读更多...
【LeetCode:2663. 字典序最小的美丽字符串 + 贪心】

【LeetCode:2663. 字典序最小的美丽字符串 + 贪心】

🚀 算法题 🚀 🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀 🌲 越难的东西,越要努力坚持，因为它具有很高的价值，算法就是这样✨ 🌲 作者简介：硕风和炜，…
阅读更多...
性能工具之 JMeter 常用组件介绍（五）

性能工具之 JMeter 常用组件介绍（五）

文章目录 一、Jmeter中参数取值1、Test Plan中添加变量2、User Defined Variables 二、Jmeter中CSV Data Set Config三、Timer:定时器4、Gaussian Random Timer 高斯随机定时器5、JSR223 Timer JSR223定时器6、Poisson Random Timer 泊松随机定时器7、Synchronizing Timer 同步…
阅读更多...
复分析——第4章——Fourier变换(E.M. Stein R. Shakarchi)

复分析——第4章——Fourier变换(E.M. Stein R. Shakarchi)

第4章 Fouier变换 Raymond Edward Alan Christopher Paley, Fellow of Trinity College, Cambridge, and International Research Fellow at the Massachusetts Institute of Technology and at Harvard University, was killed by an avalanche on April 7, 1933, whi…
阅读更多...
记某模版菠菜管理后台登录思路

记某模版菠菜管理后台登录思路

1.前言 由于小程序的便捷性，越来越多的应用迁移到了了小程序上，由此伴随着小程序上线前的日常渗透测试工作也开始增加。但小程序的测试中经常会遇到数据包被加密了，导致无法进行改包测试。和测试网页数据包加密一样，就需要找到小…
阅读更多...
Stable Diffusion 3 文本生成图像 在线体验 原理分析

Stable Diffusion 3 文本生成图像 在线体验 原理分析

前言 本文分享使用Stable Diffusion 3实现文本生成图像，可以通过在线网页中免费使用的，也有API等方式访问。 同时结合论文和开源代码进行分析，理解其原理。 Stable Diffusion 3是Stability AI开发的最新、最先进的文本生成图像模型&#x…
阅读更多...
Linux中部署MySQL环境方法（仓库安装）

Linux中部署MySQL环境方法（仓库安装）

1.进入MySQL官网 2.进入MySQL社区版下载 3.使用yum方式下载MySQL 4.使找到对应系统的对应包的链接 复制 5.linux命令行中使用命令通过对应链接下载该软件包 rpm -i https://repo.mysql.com//mysql80-community-release-el9-1.noarch.rpm 警告：/var/tmp/rpm-tmp.so…
阅读更多...
45、基于深度学习的螃蟹性别分类(matlab)

45、基于深度学习的螃蟹性别分类(matlab)

1、基于深度学习的螃蟹性别分类原理及流程 基于深度学习的螃蟹性别分类原理是利用深度学习模型对螃蟹的图像进行训练和识别，从而实现对螃蟹性别的自动分类。整个流程可以分为数据准备、模型构建、模型训练和性别分类四个步骤。 数据准备： 首先需要收集包…
阅读更多...
分享一个 Fail2ban 过滤规则

分享一个 Fail2ban 过滤规则

今天明月给大家分享个 Fail2ban 的过滤（Filter）规则，有关 Fail2ban 的文章大家可以参考【服务器全面使用 Fail2Ban 初见成效】和【使用 Fail2ban 禁止垃圾采集爬虫，保护 Nginx 服务器】等文了解，总之 Fail2ban 是 Linu…
阅读更多...
如何跳出认知偏差，个人认知能力升级

如何跳出认知偏差，个人认知能力升级

一、教程描述 什么是认知力？认知力（cognitive ability），实际上就是指一个人的认知能力，是指人的大脑加工、储存和提取信息的能力，或者主观对非主观的事物的反映能力，如果变成大白话&#xff0c…
阅读更多...
力扣SQL 即时食物配送 II min函数 嵌套查询

力扣SQL 即时食物配送 II min函数 嵌套查询

Problem: 1174. 即时食物配送 II 👨‍🏫 参考题解 Code -- 计算立即配送的订单百分比 select round (-- 计算订单日期与客户偏好配送日期相同的订单数量sum(case when order_date customer_pref_delivery_date then 1 else 0 end) * 100 /-- 计算总订…
阅读更多...
最新文章

Copyright @ 2022~2023