EMT-LTR–学习任务间关系的多目标多任务优化
title: Learning Task Relationships in Evolutionary Multitasking for Multiobjective Continuous Optimization
author: Zefeng Chen, Yuren Zhou, Xiaoyu He, and Jun Zhang.
journal: IEEE TRANSACTIONS ON CYBERNETICS (TCYB)
DOI:10.1109/TCYB.2020.3029176
code: GitHub - youle921/MultiTask
1.主要贡献:
1)提出了一种学习任务间关系的多目标多任务优化算法(EMT-LTR);
2)采用领域自适应技术将每个任务的决策空间视为一个流形,并将不同任务的所有决策空间联合建模为一个联合流形。
3)将联合流形投影到隐层空间,同时保留所有任务的必要特征和每个流形的拓扑结构。
4)任务关系表示为由多个映射函数组成的联合映射矩阵,学习到的任务关系用于进化过程中不同决策空间之间的信息传递。
2.问题提出:
1)在MTO领域,利用任务间关系的研究很少。
2)当任务数量特别多时,现有的研究通过学习任意两个任务间的映射关系的方式会很复杂。
因此,如何联合建模所有任务之间的关系(而不仅仅是两个任务之间的关系)并有效地利用这些关系,是文章的研究目标。
3.EMT-LTR:
3.1 算法框架
1)对于给定的 K K K个任务 T 1 , T 2 , . . . , T K T_1,T_2,...,T_K T1,T2,...,TK,设置采样集 S 1 , S 2 , . . . , S K S_1,S_2,...,S_K S1,S2,...,SK
2)对这些采样集进行LTR,得到联合映射矩阵 M M M(不同任务间关系),它包含K个映射函数和一个隐层空间。
3)接下来EMT-LTR的步骤跟MO-MFEA相同,不同的是MOMFEA是发生在统一搜索空间中,而EMT-LTR则是隐层空间。
注意:在每一代中,从采样集中学习到的任务关系被用于子代产生和评估阶段,使用下一代种群的个体更新采样集。知识迁移是通过将来自其他任务的精英个体注入到当前任务或交配。
3.2 学习任务间关系(LTR)
LTR的总体想法:使用 K K K个采样集 S 1 , S 2 , . . . , S K S_1,S_2,...,S_K S1,S2,...,SK来学习 K K K个优化任务 T 1 , T 2 , . . . , T K T_1,T_2,...,T_K T1,T2,...,TK间的关系。先根据Pareto支配关系与不同目标函数之和两个准则将每个采样集 S k , k = 1 , 2 , . . . , K S_k,k=1,2,...,K Sk,k=1,2,...,K都分成如下四类(此处的分类方式并不唯一)。第一类:前50%非支配解;第二类:后50%非支配解;第三类:前50%支配解;第四类:后50%支配解。
为了更真实地反映这些任务之间地关系,所构造地映射函数应该满足如下几个重要地属性:1)同一类样本点映射到隐层空间的相似位置;2)不同类样本点映射到隐层空间的不同位置且容易区分;3)每个样本集的拓扑结构也需要保留在隐层空间中。
文章使用拉普拉斯矩阵来表示每一个流形(公式3和6),并以此来反映属性1和2;对于属性3,则使用了降维后的联合流形(公式11);并设计了一个包含三个子函数的损失函数。具体细节请查阅原文,LTR的算法伪代码如下所示。
3.3 知识迁移
1)任务间的表示转换:
如下图所示,假设 Ω a , Ω b \Omega_a,\Omega_b Ωa,Ωb是任务 T a , T b T_a,T_b Ta,Tb的决策空间,通过LTR构建映射函数 M a , M b M_a,M_b Ma,Mb。然后,从决策空间到隐层空间的映射可以通过如下规则执行:
X i ∈ Ω a X^i\in \Omega_a Xi∈Ωa在隐层空间的表示为 M a T X i M^T_aX^i MaTXi, X j ∈ Ω b X^j\in \Omega_b Xj∈Ωb在隐层空间的表示为 M b T X j M^T_bX^j MbTXj.
从隐层空间到决策空间的映射可以通过如下规则执行:
X i ∈ Ω a X^i\in \Omega_a Xi∈Ωa在隐层空间的表示为 ( M a M b + ) T X i {(M_aM_b^+)}^TX^i (MaMb+)TXi, X j ∈ Ω b X^j\in \Omega_b Xj∈Ωb在隐层空间的表示为 ( M b M a + ) T X j {(M_bM_a^+)}^TX^j (MbMa+)TXj.
2)任务间知识迁移:首先,从 T a T_a Ta的当前种群中选择一个非支配个体(位于 Ω a \Omega_a Ωa中);然后,通过上述的任务间转换将这个个体转换到 Ω b \Omega_b Ωb中。
注意:从任务 T a T_a Ta中得到的这个转换个体可以注入到任务 T b T_b Tb中,也可以与 T b T_b Tb中的个体进行交配。
3.4 采样集更新
1)预设定一个更新周期 u p up up来表示采样集更新的频率。
2)当更新周期满足时,将任务 T k T_k Tk中通过环境选择保存到下一代种群的个体放入采样集 S k S_k Sk中。如果这些个体不足以填满 S k S_k Sk,则从之前的采样集 S k S_k Sk中随机选择个体补充到 S k S_k Sk中;如果这些个体数目超过了 S k S_k Sk,则随机删除某些个体直到 S k S_k Sk的大小为 S N k SN_k SNk.
4.思考
1)相比于其他直接使用领域自适应的MTO算法,EMT-LTR中提出了将所有任务的决策空间映射到隐层空间,并保留所有任务的必要特征和拓扑结构。假设我们可以通过某种方式找到相似任务,那么EMT-LTR则可以通过所建立的联合流形解决该迁移哪些个体的问题。
2)根据信息论的基础知识我们可以得到,领域自适应方式在映射的过程中会对原始任务造成一些信息损失,如何在保证映射的前提下,减少信息损失也是我们要考虑的一个问题,不仅是多任务优化领域,也包括迁移学习领域。而EMT-LTR则考虑了每个任务的必要特征和拓扑结构等信息,在一定程度上考虑到了映射后的信息损失。