如何打造“面向体验”的音视频能力——对话火山引擎王悦

编者按:随着全行业视频化的演进,我们置身于一个充满创新与变革的时代。在这个数字化的浪潮中,视频已经不再只是传递信息的媒介,更是重塑了我们的交互方式和体验感知。作为字节跳动的“能力溢出”,火山引擎正在飞速奔跑。根据2023《中国视频云市场跟踪,2023上半年》报告显示,在视频云解决方案市场上,火山引擎的市场占有率排在第五位。

从在北京创业时听着路演写代码,到成为火山引擎视频云架构的技术总监,王悦的经历横跨了几代视频编解码标准的长度,而他的每一步都不偏不倚地踩在了视频发展的重要节点。这次的LiveVideoStackCon上,他将带领火山引擎带来「抖音背后的体验增长」的实战揭秘。他所在的火山引擎视频云部门期望借助海量的富媒体内容带来更顺畅的画质体验、更优质的交互体验、更流畅的播放体验和更佳的性能体验,再通过火山,给整个行业去提供整个端到端的视频云的解决方案。以下是LiveVideoStack与王悦的对话——

视频,重塑了我们的生活方式

LiveVideoSatck:2018年加入字节跳动(以下简称字节),如今已经五年了。这五年的时间里,你都经历了哪些变化和成长,其中让你印象最深刻的是什么?

王悦:整体上都是围绕多媒体技术和架构,职责和工作重心随着业务的增长和组织的需求持续有些调整。印象最深刻的应该还是随着公司业务的成长,我们的技术、业务和组织理念逐步实现了一个比较大的转变,从一个偏解决方案、技术支撑的部门角色演进到了围绕云上的商品和服务来建设,因此大家看到了今天的火山引擎,今天的视频云。

LiveVideoStack:过去十年是飞速发展的十年。从传统互联网到移动互联网再到现在一个相对平稳的状态,你怎么总结上个十年的行业的变化,或者说它在你身上产生的投影?

王悦:其实我们可以算一下,你每天刷抖音、短视频多长时间,每天是不是要开几个视频会议,这些典型的场景在行业上又催生出多少个像抖音、腾讯或Zoom这样的公司。从另外一个角度讲,我们每天面对这些太司空见惯了,所以去回顾当时的产品可能没有那么深的感触。但我记得十年前第一次出现 UGC 直播创业的公司、第一次用 Zoom 开会、第一次看到桌面共享居然可以做到这么丝滑。在看到那些场景的时候你会觉得这种创新变革是非常巨大的,那个时候的兴奋感是非常强的。总体来说,视频编解码的标准虽然一直在变,但基本框架这20年来几乎没怎么变过,用户对于超高清、低延时、强交互的体验需求也一直存在,我们也在根据行业和用户场景的需求不断地适应、迭代和改进。

抖音背后,用户体验提升的秘诀

LiveVideoStack:你之前有提到过,目前视频编码的迭代的速度已经追赶不上这个视频数量增长速度,火山引擎是如何解决这一问题的?

王悦简单来讲就是提升算力的密度和规模。在并行计算方面,摩尔定律还没失效,这也是为什么现在NVIDIA还是能持续高速地增长。首先就是挖掘一个场景,在这个场景下,确保算力能够指数级地跟上业务的需求。另外就是专芯专用,就是专用的芯片去做专业的事情。因为通用计算做编解码效率并没有那么高。为什么现在大家都在做专用的视频编码芯片,它就是可以把单位芯片面积的算力发挥到极致。所以综合这两点,一个是这个专业计算,一个是极致密度,我们通过异构计算的矩阵,充分保障了我们视频转码和处理的效率。

LiveVideoStack:提到NVIDIA,你们一同合作的视频处理框架(BMF)在今年8月份正式发布,目前,实践起来情况如何,对抖音、西瓜等带来了怎样的帮助?

王悦:我们与NVIDIA合作的视频处理框架BMF在抖音、西瓜等内部业务上经过了充分应用和验证。对于量更大、处理链路更复杂的点播转码场景,BMF已经全量上线了,包括了视频检测、增强、转码等各个环节,过程中BMF的性能和稳定性,以及对于开发效率的提升已经被充分验证。除此之外,BMF在内部的审核抽帧、云编辑、直播转码、移动端增强等场景都有广泛的应用。我们自己主要的收益点还是提升了开发效率,降低维护成本和出错概率,加快新业务、新功能的接入和上线速度。

LiveVideoStack:拿视频云团队来说,你们对于降本增效有压力吗?

王悦:目前来看的话其实还好,未来多媒体的的增量空间还有多少我们可能都会考虑。现在看来起码两三年内还是比较乐观的,我们自己做ToB虽然很难,但是从0到1还是有很多去发力的空间。对于火山引擎自己的经验来说的话,之前一直要给大家剖析一个非常详细的方法论,这次在深圳站结束之后,我们联合抖音撰写了一份面向体验的白皮书,比如“体验、成本和技术三者的均衡,抖音是怎么做的?火山又是通过什么技术驱动的手段实现的?” 、“沉浸上的体验、画质的体验和交互的体验在点播、RTC和架构上怎样实现的”,以上这些内容我们都会详细阐述。

关于危机、机会和未来

LiveVideoStack:目前,我们能看到的主流的流媒体公司都在增效、减员、压缩。下一个时代看上去是属于人工智能的时代,是不是证明流媒体的时代就结束了,或者说暂时告一段落了?

王悦:首先,我觉得不能叫结束吧,只能说现在整个行业渗透到了一个相对平稳的时期了,但这并不意味着这个行业的人就失业了,只是像十年前那样从0到1 的机会和空间越来越少。但回想我10年前博士毕业的时候,当时的音视频从业者也非常少,我硕士毕业的时候,9个同学有8个去了银行,那个时候做视频编解码的公司几乎没有,只有外企去做标准,国内你会用ffMPEG,会做基本的一些开源方案的使用或维护就够了。现在看我们整个国内的音视频流媒体的从业人员有多少?这其实已经是十年以前不可比拟的。所以从这个角度讲我觉得不能说是停滞了,只是无法保持像上个十年一样的增速。

LiveVideoStack:其实流媒体的从业者,无论从智商还是能力上来讲,都是非常出色的人。你觉得面临人工智能这样的一个新兴的技术革新的危机,我们应该怎么面对或者拥抱它?

王悦:其实我觉得不止流媒体,所有技术人都会面临技术被革新的难题。你需要去学新的语言、新的开发框架。但是未来是否AI就取代了流媒体?我觉得这不是两个冲突的概念。流媒体的本质是帮助我们获取信息、分享信息和传递信息的载体,但AI本身是一个工具,它能做的是帮助我们提升分享内容的效率,或者是提升内容本身的丰富度。我们完全可以用 AI 的工具帮助我们把流媒体这个空间打开的更大一些。因为技术本身是没有边界的,我们做流媒体的人跨界去学点 AI 的东西,完全没有任何问题。

大模型会释放出很多机会,一些偏机械化的开发工作可能不需要人去做,并且整个行业还在持续聚集。马太效应还在一直往前走,就像刚才说的,可能最早做直播的有上百家上千家,但现在会相对更精专化。未来如果持续集中的话,这些底层的技术资源也会相应的集中。

LiveVideoSatck:单个人创造的价值可能会更大。

王悦:是的。

LiveVideoSatck:抛开这种内部的优化升级,你觉得未来新的增量机会在哪?

王悦:虽然整体上大家觉得可能该挖掘的都被挖掘了,但我们还是要保持乐观。10年前甚至20年前,我们第一次用VCD的时候,我们是想象不到会有今天这样一个场景的。目前行业确实比较饱和,大家看不到新的增量空间。但市场是为未来买单的,说不定未来我们还是能挖掘到一些新的场景,能够让我们获取信息或者分享模式上有一些变革。可能我给不出一些明确的答案,但是一定不排除市场上有一些新的创业公司,或者一些新的突发事件能够带给这个行业一些新的变革。

LiveVideoStack:这次11月24-25日的LiveVideoStack Con 大会上,火山引擎会重点分享抖音的体验优化,给我们介绍一下其中的方法吧。

:之前关于体验优化关于这方面已经分享了很多,简单归纳的话,首先明确数据指标,找到指北针,关键的业务目标是什么,要优化的QoE和QoS指标什么,这些指标之间有怎样的量化和內联关系;然后,要让数据体系正向运转起来,需要一套完善、稳定的工程系统和数据工具,如AB test、智能分析工具等;最后,这套优化体系的原动力,还是来自于一系列的算法和策略,如何提升画质、降低延时和卡顿,这就主要依靠技术同学的技术能力和洞察力了。


c89d392fbbd440727c23005978d74f84.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/187991.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

openpnp - 丝杠安装调整的总结

文章目录 openpnp - 丝杠安装调整的总结概述笔记发现的问题 - X轴有回差发现的问题 - 丝杠两边的轴承座中心有高差(不同轴)备注END openpnp - 丝杠安装调整的总结 概述 设备定制回来后, 丝杠没敢动(开始是小白, 也没发现丝杠的相关问题. 因为看到同学自己安装丝杠那么痛苦, 最…

P12 C++静态关键字static

目录 01 前言 02 静态变量static 03 extern关键字 04 静态函数 最后的话 01 前言 static 关键字在 C 中有两个意思,这个取决于上下文。 第一种情况是在类或结构体外部使用 static 关键字,另一种是在类或者结构体内部使用 static。 类外面的 static…

【DP】mobiusp正在创作乐曲

输入样例1&#xff1a; 5 2 1 7 7 1 3 输出样例1&#xff1a; 2 输入样例2&#xff1a; 10 3 2 5 6 4 4 5 7 3 5 6 输出样例2&#xff1a; 1 #include<iostream> #include<cstring> #include<algorithm> #include<vector> using namespace std; typede…

jpom学习

jpom学习 整理jpom 一键安装 部署会需要 mvn跟jdk环境 # 安装服务端和 jdk、maven 环境 yum install -y wget && \ wget -O install.sh https://jpom.top/docs/install.sh && \ bash install.sh Server jdkmvndocker安装 安装docker挂载方式安装 docker …

【Docker】Docker 仓库管理和Docker Dockerfile

作者简介&#xff1a; 辭七七&#xff0c;目前大二&#xff0c;正在学习C/C&#xff0c;Java&#xff0c;Python等 作者主页&#xff1a; 七七的个人主页 文章收录专栏&#xff1a; 七七的闲谈 欢迎大家点赞 &#x1f44d; 收藏 ⭐ 加关注哦&#xff01;&#x1f496;&#x1f…

php订单发起退款(余额和微信支付)

index.html <a class="btn btn-danger btn-change btn-tuikuan btn-disabled" href="javascript:;"><i class="fa fa-tuikuan"></i> 订单退款</a>-->order.js // 为表格绑定事件Table.api.bindevent(table);//退款…

基于指数分布算法优化概率神经网络PNN的分类预测 - 附代码

基于指数分布算法优化概率神经网络PNN的分类预测 - 附代码 文章目录 基于指数分布算法优化概率神经网络PNN的分类预测 - 附代码1.PNN网络概述2.变压器故障诊街系统相关背景2.1 模型建立 3.基于指数分布优化的PNN网络5.测试结果6.参考文献7.Matlab代码 摘要&#xff1a;针对PNN神…

【docker】docker安装与优化

目录 一、安装Docker 1、关闭防火墙 2、安装依赖包 3、设置阿里云镜像源 4、安装Docker-CE社区版并设置为开机自启动 5、查看Docker信息 二、设置镜像加速 1、申请加速地址 2、实现加速操作 三、网络优化 1、如何网络优化 2、具体操作 四、docker-server端配置文件…

3.读取字符串【2023.11.25】

1.问题描述 请使用 input 函数读取一串字符串&#xff0c;然后将其输出。 2.解决思路 输入一行字符串。 将读入的变量输出。 3.代码实现 strinput("请输入一个字符串") print(str)4.运行结果

Word打印模板,打印效果更出众丨三叠云

Word打印模板 路径 表单设置 >> 打印设置 功能简介 新增「Word打印模板」(beta版)。 Word 打印模板是指&#xff0c;在 Word 文档的基础上插入表单中的字段代码&#xff0c;打印时即可根据 Word 文档的格式&#xff0c;对表单数据进行个性化打印。 Word 打印模板能…

knime 中没有column expressions,怎么下载

knime 中没有column expressions&#xff0c;怎么下载 1、打开view&#xff0c;然后找到knime hub&#xff0c;column expression 2、往里面拖动&#xff0c;就可以安装了 3、然后会出现重启&#xff0c;搜索就可以出现啦

10.打印楼梯图案和笑脸【2023.11.25】

1.问题描述 打印楼梯图案和笑脸 2.解决思路 3.代码实现 #include<stdio.h> int main(){printf("11\n");for(int i0;i<10;i){for(int j0;j<i;j){printf("FF"); }printf("\n");} return 0; }4.运行结果

springboot项目同时启动web服务和grpc服务

springboot项目同时启动web服务和grpc服务 一. 创建项目二. 引入依赖三. 测试3.1 http服务3.2 grpc服务 四. 整体代码结构 前言 这是我在这个网站整理的笔记,有错误的地方请指出&#xff0c;关注我&#xff0c;接下来还会持续更新。 作者&#xff1a;神的孩子都在歌唱 一. 创建…

力扣二叉树--总结篇(1)

前言 七天写了二十道题&#xff0c;前面感觉不错&#xff0c;后面越来越写不出来&#xff0c;刷题的心境和效果已然发生了变化。写个阶段总结&#xff0c;及时调整。 内容 先是二叉树的遍历 前序&#xff0c;中序&#xff0c;后序&#xff0c;即对应的递归&#xff0c;迭代…

科研/比赛必备工具及系列笔记集合

科研/比赛必备工具及系列笔记集合 零、前言一、常用工具系列1.1 笔记平台使用感受系列1.2 常用开发平台系列 二、论文系列2.1 检索工具系列2.2 投稿调研系列2.3 常见国际期刊/会议2.4 常见中文核心期刊/会议 三、文献系列3.1 画图工具系列3.2 翻译工具系列3.3 英文纠正系列3.4 …

Mysql基础操作(命令行)

文章目录 Mysql基础操作&#xff08;命令行&#xff09;背景创建数据库选择数据库查看所有表查看表结构向表插入数据插入第一条插入第二条插入第三条 查询表数据修改表数据删除表数据 Mysql基础操作&#xff08;命令行&#xff09; 背景 docker安装mysql8&#xff0c;映射本地…

【Spring源码】Spring Event事件

目录 1、前言 2、什么是Spring Event&#xff1f; 3、基本使用 3.1、定义事件 3.2、发布事件 3.3、监听事件 3.3.1、继承ApplicationListener 3.3.2、使用EventListener注解 4、Spring Event是同步还是异步&#xff1f; 4.1、源码实现 4.2、如何实现异步 4.2.1、使用…

台球厅计时软件收费怎么设置时间,佳易王桌球计时计费灯控系统

台球厅计时软件收费怎么设置时间&#xff0c;佳易王桌球计时计费灯控系统 软件可以连接配套的灯控设备&#xff0c;点击计时开灯&#xff0c;则灯打开&#xff0c;结账后关灯。 一、佳易王桌球棋牌计时计费软件部分功能简介&#xff1a; 1、计时计费功能 &#xff1a;开台时间…

论文阅读_生成式Agent

英文名称: Generative Agents: Interactive Simulacra of Human Behavior 中文名称: 生成代理&#xff1a;**人类行为的交互式模拟** 文章: http://arxiv.org/abs/2304.03442 代码: https://github.com/joonspk-research/generative_agents 作者: Joon Sung Park 机构: 斯坦福大…

如何评估一个论坛或峰会值不值得参加?

现在的论坛和峰会非常多&#xff0c;且都宣传的非常高端&#xff0c;很多人为了不错过机会像赶场一样总在参会路上。但究竟什么样的论坛或峰会才值得一去呢&#xff1f; 评估一个论坛或峰会是否值得参加&#xff0c;需要考虑多个因素。 1、主题与你的兴趣或职业相关性&#xf…