技术分享| anyRTC低延时直播优化

直播系统就是把活动现场的音频或视频信号经数字压缩后,传送到直播多媒体服务器(CDN)上,在互联网上供广大网友或授权特定人群收听或收看。而随着技术的日益更新,人民对于直播的互动性,实时性要求更高了,传统的直播少则几十秒,多则几分钟的时延很难满足现在的很多直播场景。今天我们就从播放器端来聊一下anyRTC是如何在端侧做到更低时延的播放效果的。

一.播放器工作原理

在这里插入图片描述

播放器的模块大致分为:解封装,数据包队列,解码,帧队列,渲染等几大模块,然后组成一套播放逻辑,基本上所有的播放器的功能实现也都大同小异。

1.解封装即Demuxer,我们通常使用FFMpeg来做。

2.数据包队列,这里是延时优化的重点区域,因为此队列中可能会缓存大量的数据,我们可以通过音视频包的PTS或者Duration来计算出队列中的总时长,从而进行播放器的时延优化。

3.解码,通常在端侧使用软件或硬件解码,二者的效率差异更多的是在Cpu的消耗,主要影响的是机器的发热,播放的流畅性。

4.帧队列,是解码之后的图像或音频数据,等待渲染。

5.渲染,是将图像或音频数据丢入系统,由系统进行对应的输出。

二.如何降低时延

在播放端,对于延时影响最大的是数据包队列。只要网络有抖动或者卡顿,播放器端的累积延迟会逐步加大。

很多的技术文章说直播优化延迟的都是丢帧策略,最直接的:清缓存数据队列,虽然这个方法可以短时间内降低延迟,但是强行跳帧,直播内容强行被跳过,严重影响体验;如果丢Gop里面的B帧,非参考帧或者序列里面最后几个P帧等;或者丢部分音频数据包,视频帧时间戳同步音频来达到数据的加速消耗等。但是实际效果均对用户体验产生一定影响。

所以一个好的追帧策略,对于低延时播放非常的重要,对于播放器来说,越多的缓存就意味着更低的卡顿率,如果缓存一直保持的低位,卡顿率则会明显提高。如何平衡低时延和卡顿率之间的关系,是我们需要重点考量的。以下是我们提出的是一个追帧简易模型,以一个参数进行举例:

在这里插入图片描述

1.当缓冲区时长大于5s时,进行1.1倍加速。

2.当缓冲区时长大于2s时,进行1.05倍加速。

3.当缓冲区时长小于等于1s时,正常速度播放。

4.对卡顿进行统计,如果一定时间内,比如3分钟内,卡顿了5次,进行线路切换。

三.总结

经过anyRTC大量的测试和线上真实环境运行,可以验证基于追帧模型的播放器可以在卡顿率和低时延上找到一个相对平衡点,有效的提升了用户的体验。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/109624.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Spring Boot中配置默认的HikariCP数据源

在了解HiKari之前,我们需要先了解关于数据访问的相关概念: 什么是JDBC JDBC(Java Database Connectivity)是Java编程语言用于与数据库进行交互的标准API。它提供了一组类和接口,用于执行数据库操作,如连接…

JVM虚拟机:从结构到指令让你对栈有足够的认识

本文重点 在前面的课程中,我们学习了运行时数据区的大概情况,从本文开始,我们将对一些组件进行详细的介绍,本文我们将学习栈。栈内存主管java的运行,是在线程创建时创建的,它是线程私有的,它的生命周期是跟随线程的生命期,也就是说线程结束栈内存就释放了,对于栈来说…

Elasticsearch:标量量化 101 - scalar quantization 101

作者:BENJAMIN TRENT 什么是标量量化以及它是如何工作的? 大多数嵌入模型输出 float32 向量值。 虽然这提供了最高的保真度,但考虑到向量中实际重要的信息,这是浪费的。 在给定的数据集中,嵌入永远不需要每个单独维度…

java项目之驾校预约管理系统(ssm框架)

项目简介 校预约管理系统实现了以下功能: 管理员:首页、个人中心、学员管理、驾校教练管理、驾校车辆管理、预约管理、取消预约管理、驾校公告管理、系统管理。驾校教练:首页、个人中心、驾校教练管理、预约管理、取消预约管理。学员&#…

编译环境里存在yaml-cpp的多个版本时可能引起的问题

有时要编译的程序自带了特定版本的yaml-cpp,同时系统目录下也安装了更高版本的yaml-cpp,这时可能引起编译错误,就是某些yaml-cpp的API不认识,例如: 出现这种问题倒好办,正常情况下不可能,肯定能…

【Unity PlasticSCM】记录:从介绍 下载 到拉取项目

实习的时候项目是svn管理的,这次mini的项目管理最后选择了美术策划友好的plasticSCM,但之前没有接触过,所以决定花费一点时间去了解,然后记录一下中间遇到的一些问题。 了解及下载Plastic b站很详细介绍PlasticSCM:Un…

电力巡检/电力抢修行业解决方案:AI+视频技术助力解决巡检监管难题

一、行业背景 随着国民经济的蓬勃发展,工业用电和居民用电需求迅速增加,电厂、变电站、输电线路高负荷运转,一旦某个节点发生故障,对生产、生活造成巨大的影响。目前电力行业生产现场人员、设备较多,而生产监督员有限…

JMeter简单使用

JMeter是一个功能强大的开源性能测试工具,用于对各种应用程序、协议和服务器进行性能和负载测试。它被广泛用于测试Web应用程序的性能,并可以模拟多种负载条件和行为。 JMeter使用 添加线程组 设置线程组的配置 设置请求 配置请求 添加监听器 查看压…

【网络安全】Seeker内网穿透追踪定位

Seeker追踪定位对方精确位置 前言一、kali安装二、seeker定位1、ngrok平台注册2、获取一次性邮箱地址3、ngrok平台登录4、ngrok下载5、ngrok令牌授权6、seeker下载7、运行seeker定位8、运行隧道开启监听9、伪装链接10、用户点击(获取定位成功)11、利用经…

2023年N1叉车司机证模拟考试题库及N1叉车司机理论考试试题

题库来源:安全生产模拟考试一点通公众号小程序 2023年N1叉车司机证模拟考试题库及N1叉车司机理论考试试题是由安全生产模拟考试一点通提供,N1叉车司机证模拟考试题库是根据N1叉车司机最新版教材,N1叉车司机大纲整理而成(含2023年…

蓝凌EIS智慧协同平台saveImg接口存在任意文件上传漏洞

蓝凌EIS智慧协同平台saveImg接口存在任意文件上传漏洞 一、蓝凌EIS简介二、漏洞描述三、影响版本四、fofa查询语句五、漏洞复现六、深度复现1、发送如花2、哥斯拉直连 免责声明:请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息或者…

一文教你解决git请求github时候超时的问题

前言 这是我在这个网站整理的笔记,有错误的地方请指出,关注我,接下来还会持续更新。 作者:神的孩子都在歌唱 一文教你解决git请求github的时候超时问题 一. 问题二. 当前 ssh 实现原理三. 创建ssh key3.1 将ssh key加入github配置中3.2 测试连…

如何在 Mac 上切换用户?

如果您想与其他人共享您的 Mac,创建一个独立于您的个人帐户的新用户帐户可能会有所帮助。然而,不利的一面是,时不时地在不同的用户帐户之间切换可能是一件耗时的事情。幸运的是,我创建了本指南,解释如何在 Mac 上快速切…

使用 Pyro 和 PyTorch 的贝叶斯神经网络

一、说明 构建图像分类器已成为新的“hello world”。还记得当你第一次接触 Python 时,你的打印“hello world”感觉很神奇吗?几个月前,当我按照PyTorch 官方教程并为自己构建了一个运行良好的简单分类器时,我也有同样的感觉。 我…

Android应用:实现网络加载商品数据【OKHttp、Glide、Gson】

实现网络加载商品数据的功能: 1、在AndroidManifest.xml中声明网络权限; 2、在app/build.gradle中添加okhttp, glide, gson等必需的第3方库; 3、在MainActivity中通过OkHttpClient连接给定的Web服务,获取商品数据;对…

RISC-V IDE MRS无感远程协助模块详解

RISC-V IDE MRS无感远程协助模块详解 一、说明 1.1 概述 针对RISC-V/ARM等内核MCU的嵌入式集成开发环境MRS(MounRiver Studio)从V1.90版本开始内置无感远程协助模块(Sensorless Remote Assistant Module,以下简称SRA模块)。SRA模块是一款支…

Leetcode刷题详解——按摩师

1. 题目链接:面试题 17.16. 按摩师 2. 题目描述: 一个有名的按摩师会收到源源不断的预约请求,每个预约都可以选择接或不接。在每次预约服务之间要有休息时间,因此她不能接受相邻的预约。给定一个预约请求序列,替按摩师…

无线渗透|Wi-Fi渗透思路

对于WPA2 WPA3的一些渗透思路 0x00 进行渗透时需知晓的基础知识 1.WPA2:是WPA的升级版,是针对保护无线网络安全而设计的无线网络保护系统,引入了PSK(预共享密钥模式)秘钥,加强了WPA的不足之处,但是因为使…

技术栈 业务架构 插件库

大前端 技术栈 业务架构 插件库