WebRTC音视频会议底层支撑技术

WebRTC允许应用使用P2P通信。WebRTC是一个广泛的话题,在本文中,我们将重点讨以下问题。

为什么Web RTC 如此受欢迎?

在P2P连接过程中会发生什么

信号传递

NATs和ICE

STUN & TURN服务器

VP9视频编解码器

WebRTC APIs

安全

1.为什么Web RTC 如此受欢迎?
开放源代码 它为浏览器提供了端到端的通信,并且很容易使用。

速度提升 不需要通过服务器进行路由,它减少了延迟和带宽消耗。直接通信提高了数据传输&文件共享的速度。

不需要第三方应用程序 不需要额外的软件、插件或服务器持续参与(仅在初始的时候需要)。可以轻松嵌入到任何网站中,就可以连接互联网上的Peer。

易于实现 使用P2P(点对点)连接更加容易。所有的功能都可以通过客户端完成。开发者只需要下载一个与WebRTC兼容的浏览器。

兼容性 支持大多数流行的浏览器。Microsoft Edge、Google Chrome、Mozilla Firefox、Safari、Safari、Opera、Vivaldi。支持Android、Chrome OS、Firefox OS、黑莓10、iOS、Tizen。

提供跨多种浏览器的安全连接 所有的WebRTC组件都必须进行加密。由于它不是一个插件,所以它运行在浏览器的沙盒内,不需要创建一个新的进程,这样就不会有任何恶意软件进入用户操作系统。无需跟踪更新。它会随着浏览器版本的自动更新。

2.在P2P连接期间会发生什么?

要连接两个浏览器,Web RTC需要执行五个步骤来建立P2P连接。

信号处理,以去除音频或视频中的环境噪声。

编解码器处理,以压缩和解压音频或视频。

通过防火墙、(NAT)和中继器建立从一个Peer 到另一个Peer的路由,以创建一个ICE(交互式链接建立)。

用户数据在进行连接传输前都会进行加密。

管理带宽,给每个Peer的带宽不同

2.1信号传递
浏览器中的P2P连接由服务器建立,以确保所有Peer同意建立会话。

Peer之间共享会话密钥、错误信息、媒体元数据、编解码器、带宽、公共IP地址和端口等信息以创建连接。 服务器向两个Peer发出信号,以确定使用什么媒体格式以及每个Peer要向对方发送什么。

2.2网络地址转换(NAT)和ICE
NATs将家庭路由器等设备上的私有IP地址转换为公网IP地址。防火墙和NATs通过阻止特定的协议或端口来减慢这一过程。WebRTC使用的解决方案是ICE框架。

ICE通过并行尝试所有连接并选择最有效的路径,在互联网上建立P2P连接。有两种类型的连接可选 STUN & TURN

2.3STUN服务器
它首先连接到STUN(Session Traversal Utilities for NAT)服务器,获得直接连接。

STUN服务器为请求者提供了公网IP地址,以便与他人进行通信。其目的是帮助请求者回答 "我的IP地址是啥 "这个问题。

STUN服务器如何工作

 

 

要建立与其他Peer的连接,需要终端知道自己的公网IP才能与他人共享。

当一个Peer(Calvin)在NAT/防火墙后面时,它只能识别它的私有IP地址,而另一个Peer(Elana)由于防火墙的安全性,无法连接到本地IP。

这个Peer会向STUN服务器请求,获取它的公网IP地址和一种可用NAT类型。

另一个Peer(Elana)可以使用STUN服务器给定的公网IP地址尝试进行连接。

如果成功,数据将通过点对点网络传输,而不需要第三方或其他服务器。

为了安全起见,所有STUN服务器将被丢弃并等待下一次查询。

限制 - 对称NAT

但是,上述情况有时可能会失败,IP地址和端口会发生变化。 这种情况称为 "对称NAT",STUN服务器的公网IP地址没有足够的能力在这里建立连接,因为端口也需要转换。

有些路由器使用对称NAT,是为了使终端设备更加安全,或者说避免很多陌生人连到你的设备上。对称NAT不仅可以将IP地址从私有地址转换成公共地址,还可以转换端口。

换句话说,路由器只会接受用户已经有过的连接。因此,另一种确保两个Peer之间连接的解决方案是通过TURN服务器。

为什么STUN服务器如此有用

作为一种协议,STUN具有超快、轻量的特点。它可以在很短的时间内将数据直接传送给对方。STUN有利于加快连接速度,更快地获取结果。

当用户使用LAN局域网传输数据时,场景类似,比使用Wi-Fi传输更快。最重要的是,可以直接在两个Peer之间传输数据。

TURN 服务器

TURN(Traversal Using Relays around NAT)服务器作为中继服务器,以防P2P连接中断。当STUN服务器用于建立连接时,TURN服务器在整个连接过程中保持活跃。

TURN服务器在WebRTC Peer之间不断中继数据。这就是为什么用 "中继 "一词来定义TURN。

TURN 服务器如何工作

这个中继服务器是在STUN服务器出现故障时用来中继流量的,同时也具有STUN的功能。

TURN服务器是一个内置传输功能的STUN服务器。更具体地说,TURN是用来中继Peer之间的音视频/数据流,而不是信令数据。

按照上文STUN服务器的步骤运行

如果STUN失败,终端用户会与TURN服务器建立连接,通知所有Peer向服务器发送数据,服务器负责向第一个终端用户传输数据。

为什么总是先使用STUN服务器,主要原因是TURN服务器成本太高,如果在线传输高清视频的话,会消耗大量带宽。

2.4VP9视频编解码器
为什么很多人开始使用WebRTC,其中一个主要原因就是因为视频。随着视频直播越来越成为主流,视频质量的要求也越来越高,这就要求数据传输的速度要快,或者数据包的大小要小,才能方便传输速度高。

VP9视频编解码器用于对音频或视频进行压缩和解压。音视频数据压缩后大大减小体积,因此VP9可以帮助流媒体视频更快传输。Safari 12.1(通过支持VP8)可以与其他Peer进行在线实时视频。

VP9是在VP8的基础上改进而来的,是谷歌旗下的由On2科技公司创建的视频压缩格式。主要功能是隐藏丢包和清理嘈杂的图像,以及多平台的采集和播放功能。

通过VP9,用户可以使用WebRTC传输720p视频,而不会出现丢包或延迟。同时,它还可以在同样的带宽下支持1080p视频通话,并帮助优化连接和数据使用,避免带宽成本过于高昂。

3.JS APIs
有三个主要的Javascript API可以处理音频捕获、视频会议和数据传输。

MediaStream

使用用户的摄像头和麦克风来获取和传输音频和视频。使用这个API可以让你获得麦克风和网络摄像头等设备的访问权限。

当开发人员将WebRTC集成到他们的网站中时,他们可以对他们想要的音频和视频流的参数进行设置,比如帧率、视频帧的大小、分辨率等。

这个API是作为HTML 5的一部分提供的,而其他两个API是专门为WebRTC提供的。

RTCPeerConnection

将采集到的音视频流实时发送至另一个WebRTC Peer。使用该API,用户可以将getUserMedia捕获的音频和视频传输给其他Peer。

该API具有连接到远程Peer,维护和监控连接,并在完成后关闭连接等功能。

RTCDataChannel

传输任意数据。每个数据通道都与一个RTCPeerConnection相关联。内置安全(DTLS)和拥塞控制。

4.安全
在实时通信的数据传输过程中可能会产生很多安全风险。因此,加密是WebRTC的强制性功能,并在所有组件上强制执行。

WebRTC使用两种标准加密协议。

数据报传输层安全协议(DTLS)

一种建立在浏览器中的标准化协议。它用于加密数据流。它基于传输层协议(TLP)。

保留了传输语义,DTLS使用用户数据协议(UDP)。

它是安全套接字层(SSL)的扩展;任何SSL协议都可以用来保护WebRTC数据的安全,允许端到端加密。

安全实时传输协议(SRTP)

用于加密媒体流。

它是实时传输协议(RTP)的扩展,RTP没有任何内置的安全机制。

在RTP的基础上增加了保护、完整性检查和消息认证。

缺点是 虽然它为RTP数据包提供了加密,但它并没有对报头进行加密。

确保2个Peer之间连接安全的步骤

启动信令过程在两个Peer之间交换元数据。

执行ICE检查,ICE在双方之间建立通道。

进行DTLS握手。如果有多媒体传输,SRTP使用DTLS握手步骤中导出的密钥。

所有Peer都有安全通道。

Peer之间交换密钥。

使用WebRTC的应用

Google Meet/ Google Hangout

Facebook Messenger

Discord

Amazon Chime

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/32384.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

物联网到底如何实现万物互联?

前言:作为计算机相关专业的你,绝对听说过物联网这个词,它的解释相比你也听过,叫万物互联,也就是所谓的IOT,但是说实话它到底如何实现的万物互联的你可能还真不知道。不是每个物体都有一个网络接口或者实体接…

C++primer(第五版)第三章(字符串、向量和数组)

本章主要介绍了字符串和vector以及数组,但是vector和数组差不多甚至比数组更加强大,完全可以用vector来代替数组,所以尽管书中有介绍数组,但我也不过多记录,有兴趣的小伙伴可以自行查看原书。 3.1命名空间的using声明…

FreeRTOS_列表和列表项

目录 1. 什么是列表和列表项? 1.1 列表 1.2 列表项 1.3 迷你列表项 2. 列表和列表项初始化 2.1 列表初始化 2.2 列表项初始化 3. 列表项插入 3.1 列表项插入函数分析 3.2 列表项插入过程图示 3.2.1 插入值为 40 的列表项 3.2.2 插入值为 60 的列表项 3…

【二】构造函数和原型

ES6(ECMAScript 6.0)之前js没有引入类的概念 在ES6之前,对象不是基于类创建的,而是用一种称为构建函数的特殊函数来定义对象和它们的特征 ES6之前创建对象可以通过以下三种方式创建对象: 对象字面量: v…

【Spring AOP】面向切面编程,面向切面编程是面向对象编程的孪生兄弟嘛?且听我细细道来! ! !

前言: 大家好,我是良辰丫,面向切面编程和面向对象编程是两种几乎不同的编程方式,并不是所谓的孪生兄弟,但是我们可以说面向切面编程是面向对象编程的一种补充和完善,到底是什么意思呢?请跟随良辰的步伐往下瞧! ! !💌💌💌 🧑个人主…

TypeScript ~ 掌握基本类型 ①

作者 : SYFStrive 博客首页 : HomePage 📜: TypeScript ~ TS 📌:个人社区(欢迎大佬们加入) 👉:社区链接🔗 📌:觉得文章不错可以点点关注 &…

Redis原理 - IO详解

原文首更地址,阅读效果更佳! Redis原理 - IO详解 | CoderMast编程桅杆https://www.codermast.com/database/redis/redis-IO.html 用户空间与内核空间 任何Linux 系统的发行版,其系统内核都是 Linux 。我们的应用都需要通过 Linux 内核与硬…

怎么给PDF添加图片水印?其实很简单,看这篇就会了!

许多人都意识到版权问题的重要性,尽管在日常生活中我们可能很少遇到,但在办公和学习中却经常涉及到此类问题。例如,我们辛辛苦苦制作的PDF文件,如何确保不被他人盗用呢?这就涉及到如何为PDF添加图片水印的问题,相当于…

经典基于外观的SLAM框架-RTABMAP(RGBD视觉输入方案)

经典基于外观的SLAM框架-RTABMAP 文章目录 经典基于外观的SLAM框架-RTABMAP1. RTABMAP整体框架2.RTABMAP的内存管理机制3. 视觉里程计4. 局部地图5. 回环检测与图优化6. 代码工程实践 1. RTABMAP整体框架 RTABMAP是采用优化算法的方式求解SLAM问题的SLAM框架,本赛题…

【python 第三方库安装换源】

换源: pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/其他国内第三方库的下载源地址: 阿里云:http://mirrors.aliyun.com/pypi/simple/ 科技大学:https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣&a…

Vue实例知识点分享

文章目录 导文下面是创建 Vue 实例的基本步骤 常用的 Vue 实例方法和属性总结 导文 Vue的实例是用来创建 Vue 应用程序的对象。通过实例化 Vue 构造函数,我们可以创建一个具有响应式数据、计算属性、方法和生命周期钩子等特性的 Vue 实例。 下面是创建 Vue 实例的基…

python技术分享

文章目录 python介绍应用领域环境搭建基础知识编程工具变量基本数据类型容器数据类型程序结构运算符函数类 技巧总结python内存管理python常用技术python的缺陷优化python的编码规范提升性能总结 python介绍 弱类型的语言 声明一个变量,直接赋值即可,简…

Android强大的原生调试工具adb的常用命令

文章目录 ADB简介常用命令列出链接的设备进入设备的shell环境设备日志安装应用程序卸载应用程序将本地文件复制到调试设备上将设备上的文件拉取到本地启动程序强制停止程序运行截图屏幕录制列出调试设备所有的应用的报名 结语 ADB简介 ADB(Android Debug Bridge&am…

【从零开始学习JAVA | 第二十一篇】常见API介绍 System

目录 前言: System: System类中静态方法: 总结: 前言: system 是一个很底层的 API,是一个工具类,提供了一些与系统相关的方法。他在我们写项目的时候提供了一些非常实用的方法,本…

量子机器学习Variational Quantum Classifier (VQC)简介

变分量子分类器(Variational Quantum Classifier,简称VQC)是一种利用量子计算技术进行分类任务的机器学习算法。它属于量子机器学习算法家族,旨在利用量子计算机的计算能力,潜在地提升经典机器学习方法的性能。 VQC的…

优化--分类树,我从2s优化到0.1s

1.前言 分类树查询功能,在各个业务系统中可以说随处可见,特别是在电商系统中。 但就是这样一个简单的分类树查询功能,我们却优化了5次。 到底是怎么回事呢? 2.背景 我们的网站使用了SpringBoot推荐的模板引擎:Thym…

【Python实战】Python采集情感音频

成年人的世界真不容易啊 总是悲伤大于欢喜 爱情因为懵懂而快乐 却走进了复杂和困惑的婚姻 前言 我最近喜欢去听情感类的节目,比如说,婚姻类,我可能老了吧。我就想着怎么把音乐下载下来了,保存到手机上,方便我们业余时…

Jnpf低代码开发平台

一、写在前面 低代码开发平台,一个号称能在几分钟的时间里开发出一套公司内部都可使用的应用系统开发工具。 很多人或许都隐隐听说过低代码,因为低代码不仅远名国外,国内的腾讯、阿里、华为、网易、百度等科技巨头也纷纷入局,足以…

URL到页面: 探索网页加载的神秘过程

当我们从浏览器的地址栏输入 URL, 按下回车, 再到最后出现需要的网页界面, 这中间究竟发生了什么, 接下来就一步步进行解析. 主要是如下过程: 输入网址DNS 解析客户端发送 HTTP 请求建立 TCP 连接服务器处理请求, 计算响应, 返回响应浏览器渲染页面关闭连接 本篇中只是概述整…

docker 操作手册

名词解释 images:封装了应用程序的镜像 tag:镜像的标记,一个镜像可以创建多个标记 container:装载镜像并运行 常用命令 查看容器 docker ps -a //查看全部镜像 启动容器 docker start mysql //启动mysql容器 停止容器 doc…