百度视频搜索架构演进

导读

随着信息技术的迅猛发展，搜索引擎作为人们获取信息的主要途径，其背后的技术架构也在不断演进。本文详细阐述了近年来视频搜索排序框架的重大变革，特别是在大模型技术需求驱动下，如何从传统的多阶段级联框架逐步演变为更加高效、灵活的端到端排序框架。

01 背景

过去近十年，搜索引擎的主流框架为多阶段级联框架，分为召回，粗排，精排几个阶段。在每个阶段中，系统会基于相关性、质量、时效性和点击率等维度独立建模，然后通过模型融合这些信号进行排序和截断，最终产出检索结果。随着以BERT、ERNIE和GPT为代表的预训练大模型技术的逐渐成熟，利用一套端到端框架解决信息检索问题变得越来越可行。同时，用户差异化，多样化，深层次信息需求越来越强烈，为了满足这些需求，系统的算力需求也在不断增加。在这种技术及需求趋势的引导下，传统视频搜索排序架构如何演变，已经成为视频搜索最重要课题，同时也对排序架构提出了重大的挑战。

02 目标

以大模型技术为主线，打造高性能，扩展灵活的视频搜索排序框架，同时完成存量排序系统的熵减治理，从而来大幅度提升排序系统的系统能力，降级系统长期运营治理成本。

03 问题与挑战

架构功能如何解耦：视频搜索排序架构经历了多年的积累和发展，已经形成了策略、架构和产品逻辑高度耦合的局面。这种耦合导致排序模块承担了过多且复杂的功能，直接影响了研发效率，并频繁引发稳定性问题。此外，模块功能定位模糊，严重制约了新产品和业务的快速落地与迭代。面对这些挑战，我们亟需打破现有的陈旧框架，从更底层进行架构优化，以实现理想的业务和架构收益。
系统效能如何提升: 目前核心排序模块缺少灵活高效的并行计算框架，制约系统资源使用率的提升。与此同时，系统流量低峰时段会存在大量空闲资源，没有得到充分使用，如何充分，高效挖掘这部分空闲资源资源，来满足业务对资源大量需求。
端到端架构如何演进：在端到端大模型技术的引导下，排序策略的复杂性将逐步被模型内部化，现有策略实现可以得到极大的简化。传统多阶段级联排序架构如何演进升级，以适应这种新的排序模式，也是一个需要深入研究和探索的重要课题。

04 整体思路

对上述问题和挑战，我们采取了一系列综合措施来加以解决。首先，为了解决架构耦合与复杂性问题，我们对核心排序模块进行了深度重构，将原本集成在其中的召回处理与摘要计算功能独立出来，从而实现系统分层的合理化。其次，采用支持串行、并行和数据并行的灵活框架，提升视频排序流程的可视化管理和并行计算能力，并基于弹性算力分配控制中心，高效利用系统空闲资源，最大化搜索视频业务收益。最后，在大模型端到端排序模式下，推动多阶段级联框架向单阶段端到端框架转变升级。下面详细介绍以上解决方案的设计思想：

核心排序功能解耦：
视频核心排序模块是在线检索核心模块之一，之前承接排序和部分召回功能。累积了大量的视频独有的策略和业务逻辑，支持了视频搜索业务的不断发展。随着越来越多的策略、架构功能迭代，核心排序模块也越来越臃肿，接手、开发、维护等成本不断攀升。同时也面临例如不支持云原生、整体框架设计老旧、功能耦合严重等问题。

将排序模块中召回处理阶段独立分拆，整体功能迁移至新的视频召回模块。
利用图引擎将多Query串行执行升级至Query全并行执行，包含请求构建，Cache读取，结果解析。
常用架构，策略功能组件化，插件化，易于理解、开发和维护。

△新召回模块

为满足用户差异化，多样化查询需求，每次请求都需要重新进行召回，排序计算，摘要处理等阶段。如果全量穿透系统缓存，会带来巨大的资源，耗时增长，系统成本无法承担，所以需要考虑目前视频搜系统分层设计是否合理，是否需要重新设计。为解决视频个性化带来的资源，速度问题，我们对视频搜索核心排序功能进行重新分层设计：

核心排序系统结果返回和摘要获取解耦，视频排序系统有能力提供更多量结果集，弥补之前机制能力缺失的短板。
新增个性化排序模块，优化传输协议，在核心排序模块返回更多结果基础上，同时穿透更多基础排序，供个性化排序使用。
根据最终个性化排序结果集合，对Top N进行摘要处理计算，最后返回给上游模块。

△视频个性化排序演进

系统效能提升：
当前的视频搜索排序框架采用单线多策略管理器的串行执行模式。这种单线程串行处理方式在吞吐量和延迟方面表现不佳。此外，框架缺乏灵活的并行化配置能力，依靠人工经验引入各种omp，bthread等并行组件，并且存在历史遗留的冗余计算逻辑，架构组件较为陈旧。为了设计出能实际解决业务需求的现代引擎框架，我们对主流图引擎的特性进行了调研总结：

驱动方式：排序层当有大量算子，上千维特征时，无论数据驱动，还是人工编排，可读性都很差。这种复杂性不仅增加了理解整个排序层架构的难度，还进一步影响了项目的研发效率。
并行方式：目前主流job/processer算子并行方式，没有办法很好去支撑算子job内部并行，排序列队list/item-wise并行。排序数据通常含有多list, list内包含成百上千个item数据，这样数据处理模式需要job内部灵活的并行计算方案。

△驱动&并行方式

事实上，我们发现没有一套图引擎能够完全满足排序业务场景的需求。因此，我们提出了一种图框架引擎主张，灵活的支持搜索排序各个场景。

除了支持serial，paralle模式，常见的job 间的串，并行模式，框架还支持data_parallel模式。召回返回数据通常包含多list队列，list队列间要做排序，list内有成百上千个item，同样需要排序，常见并行模式不能很好解决这种排序需求，所以我们在框架层做了data_paralllel模式设计，让它契我们当前排序模式，支持list+item的混合排序模式，同时能满足各种并行场景使用需求。
对业务阶段进行清晰的stage，sub_stage抽象，相对传统图引擎算子推导，缺少很好可读的效果，我们做了stage抽象，配置可读性更好，配置即可读，排序全流程可视化管理易读易接手，这也就是我们做编排配置及推导的主要目的。

△Rankflow框架

我们不仅要提升现有系统的并行计算能力，还优化资源的分配和使用方式，因为搜索系统的输入流量、资源消耗、响应时间等系统状态存在着周期性的波峰-波谷变动，而系统资源已经预先分配好。在波谷期，由于用户输入流量的减少，系统资源不会得到充分利用；而波峰期，随着用户输入流量的增多，系统往往面临着资源紧缺甚至不足的情况。于此同时，搜索系统的业务链路复杂，时常还会遭受某一中间节点的故障甚至是外部流量徒增等稳定性问题。
架构方案：
构建全局视角的弹性算力分配控制中心。
通过对集群各种维度指标的获取、策略分析及周期性执行最适合当前机器负载状态的策略组合参数，实现其核心弹性算力分配决策。
业务应用：
目前支持视频搜索短小视频扩触发，高峰减载，系统异常处置等功能。

△智能弹性算力系统

端到端排序架构升级：
视频核心排序模块主要分为粗排，精排级联两阶段，排序策略是依据这两阶段排序模式进行迭代升级，如粗排阶段完成初步相关性计算用于初步筛选，减少精排阶段系统计算量，精排阶段少量优质结果进行复杂计算。以大模型排序为核心的排序框架打破了原来多阶段级联模式，端到端排序框架需要对计算和数据方案进行重新设计。