WebRTC:真正了解 RTP 和 RTCP

介绍

        近年来,通过互联网进行实时通信变得越来越流行,而 WebRTC 已成为通过网络实现实时通信的领先技术之一。WebRTC 使用多种协议,包括实时传输协议 (RTP) 和实时控制协议 (RTCP)。

        RTP负责通过网络传输音频和视频数据,而RTCP负责监控网络状况并向发送方提供反馈。RTP和RTCP在同一网络上通信,RTP使用偶数端口,RTCP使用奇数端口。这允许两种协议使用相同的网络资源而不会互相干扰。在这篇文章中,我们将讨论 RTP 和 RTCP 是什么以及它们如何协同工作以在 WebRTC 中实现实时通信。

实时传输协议 (RTP)

        实时传输协议(RTP)是一种设计用于通过互联网传输音频和视频数据的协议。RTP 用于实时传输媒体流,例如语音和视频。

        RTP 负责将媒体数据打包成小数据包并通过网络传输。每个RTP数据包都包含一个序列号时间戳,用于确保数据包以正确的顺序和在正确的时间传送。RTP 数据包通过 UDP 传输,延迟低,非常适合实时通信。

实时控制协议 (RTCP)

        实时控制协议 (RTCP) 是一种旨在提供 RTP 流量服务质量 (QoS) 反馈的协议。RTCP 用于监视网络状况,例如数据包丢失和延迟,并向发送方提供反馈。RTCP 数据包定期发送,以提供有关 RTP 流质量的反馈。它们包含有关 RTP 流的统计信息,包括发送和接收的数据包数量、丢失的数据包数量以及数据包之间的延迟。此信息可用于调整 RTP 流以提高音频或视频的质量。

了解视频压缩

        我们不会深入研究视频压缩,但我们会足够了解为什么 RTP 是这样设计的。视频压缩将视频编码为一种新的格式,需要更少的比特来表示相同的视频。

有损和无损压缩

        视频可以编码为无损(没有信息丢失)或有损(信息可能丢失)。RTP 通常使用有损压缩来防止高延迟流和更多丢包,即使视频质量不太好。

帧内和帧间压缩

        视频压缩有两种类型:帧内压缩和帧间压缩。帧内压缩减少了用于描述单个视频帧的位数。相同的技术也用于压缩静态图片,例如 JPEG 压缩方法。另一方面,帧间压缩寻找不两次发送相同信息的方法,因为视频是由许多图片组成的。

帧间类型

帧间压缩共有三种帧类型:

  • I 帧- 无需任何其他内容即可解码的完整图片。
  • P 帧- 仅包含与前一张图片相比的变化的部分图片。
  • B 帧- 部分图片,是对先前和未来图片的修改。

以下是三种帧类型的可视化。

rtp 和 rtcp

        显然,视频压缩是一个有状态的过程,在通过互联网传输时会带来挑战。这让我们想知道,如果 I 帧的一部分丢失会发生什么?P 帧如何确定要修改的内容?随着视频压缩方法变得更加复杂,这些问题变得更加紧迫。尽管如此,RTP 和 RTCP 提供了一个解决方案。

RTP数据包结构

每个 RTP 数据包都具有以下结构,如RFC中所定义:

 0                   1                   2                   3
 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|V=2|P|X|  CC   |M|     PT      |       sequence number         |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                           Timestamp                           |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|           Synchronization Source (SSRC) identifier            |
+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
|            Contributing Source (CSRC) identifiers             |
|                             ....                              |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                            Payload                            |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

Version (V)

Version始终设置为2

Padding (P)

Padding是一个布尔值,用于确定有效负载是否有填充。

有效负载的最后一个字节指示添加的填充字节数。

Extension (X)

        如果设置,RTP 标头将包含扩展。

CSRC Count (CC)

        指的是有效负载之后和之前的标识符CSRC Count的数量。CSRCSSRC

Marker

        该Marker位没有预定含义,可以根据用户的需要使用。

        在某些情况下,它可能指示用户何时说话,或者可能指示关键帧。

Payload Type (PT)

        这Payload Type是该数据包携带的编解码器的唯一标识符。

        对于 WebRTC,Payload Type是动态的,这意味着Payload Type一次调用中 VP8 的 可能与另一次调用中的 VP8 不同。Payload Types调用中的提供者确定到编解码器的映射Session Description

Sequence Number

       用于Sequence Number对流中的数据包进行排序。每发送一个数据包,Sequence Number就会加一,RTP 是被设计为在有损网络上有用,这为接收方提供了一种检测数据包何时丢失的方法。

Timestamp

    Timestamp是该数据包的采样时刻。它不是一个全局时钟,而是代表媒体流中已经过去了多少时间。例如,如果多个 RTP 数据包都是同一视频帧的一部分,则它们可以具有相同的时间戳。

Synchronization Source(SSRC)

        An SSRC是该流的唯一标识符。这允许多个媒体流在单个 RTP 流上运行。

Contributing Source (CSRC)

        这是一个列表,用于传达哪些 SSRC 对此数据包做出了贡献。

        这通常用于谈话指标。例如,如果多个音频源在服务器端组合成单个 RTP 流,则该字段可用于指示哪些输入流在给定时刻处于活动状态。

Payload

        该字段包含实际的有效负载数据,如果设置了填充标志,则该数据可能以添加了多少填充字节的计数结束。

RTCP数据包结构

每个 RTCP 数据包都有以下结构:

0                   1                   2                   3
 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|V=2|P|    RC   |       PT      |             length            |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|                            Payload                            |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

Version (V)

Version始终是2

Padding (P)

    Padding是一个布尔值,用于控制有效负载中是否包含填充。

        有效负载的最后一个字节包括添加的填充字节的计数。

Reception Report Count (RC)

        这表示此数据包中包含的报告数量。单个 RTCP 数据包可能包含多个事件。

Packet Type (PT)

        这是 RTCP 数据包类型的唯一标识符。虽然 WebRTC 代理不一定需要支持所有这些类型,但代理之间的支持可能存在差异。一些常见的数据包类型包括:

  • 192- 完整帧内请求 ( FIR)
  • 193- 否定确认 ( NACK)
  • 200- 发件人报告
  • 201- 接收者报告
  • 205- 通用 RTP 反馈
  • 206- 有效负载特定反馈(包括PLI

RTCP数据包类型详细信息

        RTCP 是一种灵活的协议,支持多种类型的数据包。下面详细介绍了一些最常用的数据包类型。

PLI(图像丢失指示)/FIR(完整帧内请求)

    FIR和消息都有PLI类似的目的,向发送者请求完整的关键帧。然而,PLI当解码器无法解码部分帧时专门使用,这可能是由于数据包丢失或解码器崩溃造成的。

        根据 RFC 5104,FIR当数据包或帧丢失时不应使用;这就是 的工作PLIFIR用于出于其他原因请求关键帧,例如当新成员进入视频会议并需要完整关键帧来开始解码视频流时。解码器将丢弃帧,直到关键帧到达。

        然而,在实践中,处理PLIFIR数据包的软件将向编码器发送信号,以在这两种情况下生成新的完整关键帧。

        通常,接收器会在连接后立即请求完整的关键帧,以最大限度地缩短第一帧出现在用户屏幕上的时间。

    PLI数据包是有效负载特定反馈消息的一部分。

NACK(Negative Acknowledgement

        当接收方发出 时NACK,它会请求发送方重新传输单个 RTP 数据包。这通常是在数据包丢失或延迟时完成的。NACK比请求重新发送整个帧更好,因为 RTP 将数据包分成小块,并且接收方通常只丢失一小块。为了请求丢失的片段,接收器创建带有 SSRC 和序列号的 RTCP 消息。如果发送方没有重新发送所请求的 RTP 数据包,它将简单地忽略该消息。

发送者和接收者报告

        这些报告对于在代理之间传输统计数据至关重要。它们有效地传达接收到的数据包的确切数量以及抖动级别。

        此功能提供有价值的诊断信息并实现有效的拥塞控制。我们将在下面详细了解如何使用这些报告来克服不可靠的网络条件。

克服不可靠的网络

        实时通信严重依赖网络。在理想的情况下,带宽将是无限的,并且数据包将立即到达。不幸的是,网络是有限的,并且条件可能会发生意外变化,因此很难测量和观察网络性能。此外,不同的硬件、软件和配置可能会导致不可预测的行为。

        RTP/RTCP 运行在许多不同类型的网络上,因此发送方和接收方之间的某些通信丢失是很常见的。由于它建立在 UDP 之上,因此没有内置方法来重传数据包或处理拥塞控制。

测量和传达网络状态

        RTP/RTCP 在各种网络类型和拓扑上运行,因此发送方到接收方可能会发生通信丢失。由于它们建立在 UDP 之上,因此没有数据包重传或拥塞控制的固有机制。

        为了获得最佳的用户体验,我们必须评估网络路径质量并适应其随时间的变化。要监控的关键特征是可用带宽(在每个方向上,可能不对称)、往返时间抖动(往返时间的变化)。我们的系统必须考虑数据包丢失,并随着网络条件的变化传达这些属性的变化。

该协议有两个主要目标:

  1. 估计网络支持的可用带宽(在每个方向)。
  2. 在发送方和接收方之间传达网络特征。

接收者报告/发送者报告

        接收方报告和发送方报告通过 RTCP 发送,并在RFC 3550中定义。它们在端点之间传递网络状态。接收器报告传达网络质量,包括数据包丢失、往返时间和抖动。这些报告与根据网络质量估计可用带宽的其他算法配合使用。

        发送方和接收方报告(SR 和 RR)共同描绘了网络质量。它们按每个 SSRC 的时间表发送,并用于估计可用带宽。发送方收到RR数据后估计可用带宽,其中包含以下字段:

  • 丢失分数- 自上次接收器报告以来丢失的数据包百分比。
  • 丢失数据包的累积数量- 整个呼叫期间丢失的数据包数量。
  • 接收到的扩展最高序列号- 最后接收到的序列号以及已滚动的次数。
  • 到达间隔抖动- 整个呼叫的滚动抖动。
  • 最后发件人报告时间戳- 发件人的最后已知时间,用于计算往返时间。

        这些统计数据进一步输入带宽估计算法,例如 GCC(Google 拥塞控制),该算法估计可用带宽,进而驱动编码比特率和帧分辨率。

结论

        总之,RTP 和 RTCP 是 WebRTC 中实现实时通信的基本协议。RTP负责通过网络传输音频和视频数据,而RTCP负责监控网络状况并向发送方提供反馈。这些协议共同实现了互联网上的高质量实时通信。对于任何有兴趣使用 WebRTC 开发实时通信应用程序的人来说,了解 RTP 和 RTCP 如何协同工作至关重要。

参考

  • RFC3550(RTP:实时应用传输协议)
  • RFC5104(带反馈的 RTP 视听配置文件中的编解码器控制消息)
  • RFC8888(用于拥塞控制的 RTP 控制协议 (RTCP) 反馈)

关于转载

转载此文请注明出处,“引用于新睿云.弘电脑”,否则请回避。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/465082.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Uibot (RPA设计软件)RPA基础培训-财务会计Web应用自动化(批量开票机器人)

Uibot (RPA设计软件)Mage AI智能识别(发票识别)———机器人的小项目友友们可以参考小北的课前材料五博客~ (本博客中会有部分课程ppt截屏,如有侵权请及请及时与小北我取得联系~) 紧接着小北的前两篇博客,友友们我们…

【全面了解自然语言处理三大特征提取器】RNN(LSTM)、transformer(注意力机制)、CNN

目录 一 、RNN1.RNN单个cell的结构2.RNN工作原理3.RNN优缺点 二、LSTM1.LSTM单个cell的结构2. LSTM工作原理 三、transformer1 Encoder(1)position encoding(2)multi-head-attention(3)add&norm 残差链…

PyCharm实现一个简单的注册登录Django项目

之前已经实现了一个简单的Django项目,今天我们j基于之前的项目来实现注册、登录以及登录成功之后跳转到StuList页面。 1、连接数据库 1.1 配置数据库信息: 首先在myweb的settings.py 文件中设置MySQL数据库连接信息: DATABASES {default…

在线疫苗预约小程序|基于微信小程序的在线疫苗预约小程序设计与实现(源码+数据库+文档)

在线疫苗预约小程序目录 目录 基于微信小程序的在线疫苗预约小程序设计与实现 一、前言 二、系统设计 三、系统功能设计 1、疫苗管理 2、疫苗订单管理 3、论坛管理 4、公告管理 四、数据库设计 五、核心代码 六、论文参考 七、最新计算机毕设选题推荐 八、源…

html5cssjs代码 022 表单输入类型示例

html5&css&js代码 022 表单输入类型示例 一、代码二、解释 这段HTML代码定义了一个网页&#xff0c;展示了表单输入类型示例。 一、代码 <!DOCTYPE html> <html lang"zh-cn"> <head><title>编程笔记 html5&css&js 表单输入…

SpringBoot整合JPA

一 运行效果如下 二 项目结构图 三 代码 pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance&qu…

2024 年(第 12 届)“泰迪杯”数据挖掘挑战赛——A 题:生产线的故障自动识别与人员配置具体思路以及源代码分析

一、问题背景 随着新兴信息技术的大规模应用&#xff0c;工业生产线的智能化控制技术日益成熟。自动生产线 可以自动完成物品传送、物料填装、产品包装和质量检测等过程&#xff0c;极大地提高了生产效率和 产品质量&#xff0c;减少了生产成本。自动生产线融入故障智能报警…

【Spring Boot 源码学习】深入应用上下文初始化器实现

《Spring Boot 源码学习系列》 深入应用上下文初始化器实现 一、引言二、往期内容三、主要内容3.1 spring-boot 子模块中内置的实现类3.1.1 ConfigurationWarningsApplicationContextInitializer3.1.2 ContextIdApplicationContextInitializer3.1.3 DelegatingApplicationConte…

FFmpeg-aac、h264封装flv及时间转换

文章目录 时间概念流程api核心代码 时间概念 dts: 解码时间戳, 表示压缩帧的解码时间 pts: 显示时间戳, 表示将压缩帧解码后得到的原始帧的显示时间 时间基: time_base &#xff0c; 通常以ms为单位 时间戳: timestamp , 多少个时间基 真实时间&#xff1a;time_base * timest…

email + celery+django 异步发送邮件功能的实现

主要流程&#xff1a; django通过发件服务器到收件服务器&#xff0c;最后到收件人 邮件配置设置需要打开SMTP/IMAP并获的授权码&#xff0c;完成授权功能实现发送给收件人 邮件配置请参考另一博客https://blog.csdn.net/qq_44238024/article/details/136277821 项目结构树…

mac下Appuim环境安装

参考资料 Mac安装Appium_mac电脑安装appium-CSDN博客 安卓测试工具&#xff1a;Appium 环境安装&#xff08;mac版本&#xff09;_安卓自动化测试mac环境搭建-CSDN博客 1. 基本环境依赖 1 node.js 2 JDK&#xff08;Java JDK&#xff09; 3 Android SDK 4 Appium&#x…

数据分析 | Matplotlib

Matplotlib 是 Python 中常用的 2D 绘图库&#xff0c;它能轻松地将数据进行可视化&#xff0c;作出精美的图表。 绘制折线图&#xff1a; import matplotlib.pyplot as plt #时间 x[周一,周二,周三,周四,周五,周六,周日] #能量值 y[61,72,66,79,80,88,85] # 用来设置字体样式…

Linux进程管理:(六)SMP负载均衡

文章说明&#xff1a; Linux内核版本&#xff1a;5.0 架构&#xff1a;ARM64 参考资料及图片来源&#xff1a;《奔跑吧Linux内核》 Linux 5.0内核源码注释仓库地址&#xff1a; zhangzihengya/LinuxSourceCode_v5.0_study (github.com) 1. 前置知识 1.1 CPU管理位图 内核…

如何用Selenium通过Xpath,精准定位到“多个相同属性值以及多个相同元素”中的目标属性值

前言 本文是该专栏的第21篇,后面会持续分享python爬虫干货知识,记得关注。 相信很多同学,都有使用selenium来写爬虫项目或者自动化页面操作项目。同样,也相信很多同学在使用selenium来定位目标元素的时候,或多或少遇见到这样的情况,就是用Xpath定位目标元素的时候,页面…

Mysql主从之keepalive+MySQL高可用

一、Keepalived概述 keepalived 是集群管理中保证集群高可用的一个服务软件&#xff0c;用来防止单点故障。 keepalived 是以VRRP 协议为实现基础的&#xff0c;VRRP 全称VirtualRouter Redundancy Protocol&#xff0c;即虚拟路由冗余协议。虚拟路由冗余协议&#xff0c;可以…

launchctl及其配置、使用、示例

文章目录 launchctl 是什么Unix / Linux类似的工具有什么哪个更常用配置使用常用子命令示例加载一个 launch agent:卸载一个 launch daemon:列出所有已加载的服务:启动一个服务:停止一个服务:禁用一个服务:启用一个服务: 附com.example.myagent.plist内容有趣的例子参考 launch…

力扣L15--- 67.二进制求和(JAVA版)-2024年3月17日

1.题目描述 2.知识点 注1&#xff1a; 二进制用 %2 /2 3.思路和例子 采用竖位相加的方法 4.代码实现 class Solution {public String addBinary(String a, String b) {StringBuilder sbnew StringBuilder();int ia.length()-1;int jb.length()-1;int jinwei0;int digit1,d…

快速排序(数据结构)

1. 前言&#xff1a; 这两种排序经常使用&#xff0c;且在算法题中经常遇见。 这里我们简单分析讨论一下。 1. 快速排序 平均时间复杂度&#xff1a;O&#xff08;nlogn&#xff09; 最坏时间复杂度&#xff1a; O&#xff08;n^2&#xff09; 1.1. 左右向中遍历: 取最右侧4…

Multiplicity - 用一个键盘和鼠标控制多台电脑

Multiplicity 是一款用于多台电脑间控制的软件。通过这个工具&#xff0c;用户可以轻松地在多个计算机之间共享剪贴板、鼠标、键盘和显示屏幕。这样&#xff0c;无需每台电脑之间频繁切换&#xff0c;工作效率也会大大提高。 特征 远程PC访问 无缝控制过渡 兼容所有显示类型…

【Linux杂货铺】进程的基本概念

目录 &#x1f308;前言&#x1f308; &#x1f4c1;进程的概念 &#x1f4c2;描述进程-PCB &#x1f4c2; 查看进程 &#x1f4c2; 查看正在运行的程序 &#x1f4c2;杀死进程 &#x1f4c2;通过系统调用获取进程标识符 &#x1f4c2;通过系统调用创建进程 &#x1f…