精通推荐算法7：多任务学习 -- 总体架构

1 多任务学习的总体架构

目前的互联网主流推荐场景在大多数情况下需要优化多个业务目标。例如在淘宝商品推荐中，需要兼顾点击率和转化率。在抖音短视频推荐中，需要考虑完播率、播放时长、点赞率、评论率、关注率等目标。为了提升各项业务目标，并降低维护成本，它们大多采用了多任务学习（Multi-Task Learning，MTL），并取得了非常不错的业务效果。

推荐算法多任务学习主要包括多任务建模和多任务融合两部分。多任务建模主要解决如何同时学习多个任务的表征的问题，其核心在于需要平衡任务间的相关性和差异性，从而提升整体性能。多任务融合则主要解决如何利用多个预估值进行最终排序的问题，通常有融合公式、排序模型、强化学习等解决方案。推荐算法多任务学习的知识框架如图1所示。

图1 多任务学习知识框架

多任务学习在我的新书《精通推荐算法：核心模块+经典模型+代码详解》第7章中有详细讲解。包括ESSM、MMOE和PLE等面试常考的模型。详细请参见

《精通推荐算法：核心模块+经典模型+代码详解》(谢杨易)【摘要书评试读】- 京东图书

2 为什么需要多任务学习

多任务学习目前被广泛应用于搜索、推荐和广告等场景中。相比单任务学习，它的优点主要如下。

降低训练、部署和维护成本。多任务学习利用一个模型联合训练和优化多个业务目标，进行模型训练、部署和维护。同时，任务间共享一部分参数，缩小了模型整体体积，并降低了内存开销。特别是Embedding层，拥有模型绝大部分参数。多任务学习通过共享Embedding的方式，可以显著缩小模型体积，节省离线和在线资源。
数据增强。在某些情况下，一些任务的数据较难获得，例如电商中的购买行为，单独训练模型容易欠拟合，影响表达能力和业务效果。通过共享参数的方式，可以让模型学习到其他任务的特征和数据，例如电商中的点击行为，从而缓解该任务的数据稀疏问题，相当于一定程度的数据增强。
减少过拟合。多任务模型需要同时优化所有子任务，尽量让它们都达到最优。对于某个特定子任务，其他任务相当于它的正则项，有利于降低过拟合风险。
提升泛化能力。多任务学习可以让模型学到更多的任务和知识，在各个子任务上均表现良好。这有利于提升模型泛化能力，在处理新的子任务时鲁棒性更好。

3 多任务学习的基本框架

多任务学习主要有硬参数共享（Hard Parameter Sharing）和软参数共享（Soft Parameter Sharing）两大类。硬参数共享直接让多个子任务共享某些模型结构和参数，目前仍然是主流方法。最常见的硬参数共享方法是共享底层（Share Bottom），它让子任务共享模型底层，例如Embedding层和前几层DNN。而模型上层，例如后几层DNN和输出层，则是相互独立的。硬参数共享的模型结构如图2所示。

图2 硬参数共享的模型结构

软参数共享的每个任务都拥有独立的模型，通过在各子任务模型参数的距离中加入正则化约束来保证任务间的相关性和模型间的相似性。常用的正则化方法有L1正则和L2正则等。软参数共享的模型结构如图3所示。

图3 软参数共享的模型结构

相比于软参数共享，硬参数共享模型的参数更少，结构更为紧凑和简单，训练和维护成本更低，是目前推荐算法多任务学习的主流范式。ESMM、MMOE和PLE等经典多任务模型，均属于硬参数共享模型。ESMM利用用户行为顺序关系，建立了曝光、点击、转化三者之间的关联，有效解决了传统CVR任务的样本选择偏差和数据稀疏问题，取得了非常不错的效果。其模型结构如图4所示。

图4 ESSM的模型结构

MMOE 构建了多个底层专家（Experts）网络，可以抽取不同信息。每个子任务有一个独立门控（Gate）单元，将多个专家的输出融合到该子任务中。得益于采用了多个专家网络和门控单元，MMOE建模子任务差别较大的场景时，仍能取得不错的效果。目前它已被广泛应用于搜索、推荐和广告的各大业务场景中。MMOE模型结构如图5所示。

图5 MMOE的模型结构

PLE将由所有子任务共享的底层网络，拆解成共享部分和独立部分，从而平衡任务间的相关性和差异性。同时通过堆叠多层底层网络，渐进式分离出各子任务的深层语义信息。PLE在子任务相关性高和相关性低的场景，均表现良好，并成功应用在腾讯视频推荐场景，取得了非常不错的业务效果。PLE模型结构如图6所示。

图6 PLE的模型结构

4 多任务学习的难点和挑战

多任务学习具有维护成本低、数据增强、减少过拟合和提升泛化能力等优点，可以提升各项业务水平。多任务学习要解决的主要问题如下。

1）如何平衡子任务间的相关性和差异性。子任务间有一定的相似性和相关性，同时具备一定的差异性，甚至冲突。例如，淘宝商品推荐中的点击率和转化率。通过共享底层等硬参数共享方法，可以学习到各子任务间的相关性，但也容易带来信息串扰，导致子任务间差异较大时效果不佳，某些子任务的执行效果甚至不如单任务建模，这就是负迁移现象。MMOE模型在底层构建了多个专家（Experts）网络，用来提取多种不同信息，同时利用每个子任务独有的门控（Gate）单元，融合多个专家的输出，兼顾子任务间的相关性和差异性。PLE模型则更进一步，将专家网络拆分为子任务共享的和独占的，进一步缓解了负迁移问题。

2）如何融合子任务的损失。一般采用加权求和方式，如式（1）所示。

其中，L为模型总损失，是多任务学习的最终优化目标。w为融合权重，用来平衡各个子任务的影响，防止总损失被某些任务主导。 n 为子任务个数。损失函数融合的难点在于难以确定合适的融合权重，而且在训练过程中可能还需要动态调节。

3）如何融合子任务的输出。多任务模型的每个子任务均会有一个输出，需要将它们融合成一个输出，作为最终的排序分数。最为简便的方法是使用融合公式，PLE便采用了这一方法。但融合公式缺点明显，一方面基于非监督学习，难以获得准确的权重；另一方面难以随着数据分布的变化而动态更新。网格搜索、排序模型和强化学习等多种方案可以对其进行优化。其中BatchRL-MTF模型利用强化学习，将多模型融合看作一个马尔科夫决策过程，并在推荐会话中提出了一种基于批量强化学习的多任务融合框架。并通过对用户行为的全面研究，从用户粘性和用户活跃度两个方面，运用启发式算法对用户满意度反馈进行了建模。