Latent-OFER: Detect, Mask, and Reconstruct with Latent Vectors for Occluded Facial Expression Recognition

一、创新点

        （1）提出了一种与表情相关的特征提取器，它使用空间注意力为特定的面部特征分配更高的权重，从而使我们能够识别 FER 的关键位置，可以从 ViT 潜在空间检索与表达相关的潜在向量，以使用这些位置作为关键值来提取有价值的信息。

        （2）提出ViT-SVDD，一种针对基于ViT 的网络进行优化的基于补丁的遮挡检测模块，作为自监督局部分类器，ViT-SVDD 模块仅针对未遮挡面部图像的潜在向量进行训练，该方法准确地对看不见的物体造成的遮挡进行分类，以便后续重建。

        （3）提出了一种混合重建网络，它将 ViT 和 CNN 架构的优点与自组装层和语义一致性损失相结合，以生成自然且表情丰富的面部图像，这种方法提高了去遮挡图像的质量，并提高了在挑战性条件下 FER 的准确性。

二、模型

        如图 2 所示，我们提出了多阶段方法来解决 OFER，包括检测、屏蔽和重建遮挡以识别面部表情。该方法通过协作学习从图像重建过程中提取的 ViT 潜在向量和现有的 CNN 特征来提高识别精度。我们将面部图像划分为多个块，将每个块分类为遮挡或未遮挡，并重建被遮挡的块以进行去遮挡。随后，我们利用重建的图像和表情相关的潜在向量来预测面部表情。

        Latent-OFER 的框架，用于创建消除遮挡的去遮挡图像。在此过程中，通过映射视觉变换器（ViT）潜在向量和卷积神经网络（CNN）类激活图来提取与表达相关的潜在向量。 Latent-OFER 将基于 CNN 的特征与特定的基于 VIT 的潜在向量相结合来预测面部表情。

（1）遮挡检测模块：ViT-SVDD

        提出了一种专门针对 ViT 优化的中级异常检测器，划分图像以匹配 ViT 补丁的大小并创建 ViT 潜在向量。这些补丁使用信息特征进行编码，以产生 ViT 潜在向量。为了生成未遮挡补丁的最小特征空间，使用了深度 SVDD 算法。一类深度 SVDD 采用二次损失来惩罚每个网络表示的距离。该目标定义为

        其中n表示训练数据的数量，L表示层数，W表示权重集W = w1，...，wL，c表示以中心为特征的超球面。第一项使所有正常图像的特征收敛于中心点 c，而最后一项是超参数 λ > 0 的网络参数 W 上的权重衰减正则化器，其中 ∥·∥F 表示 Frobenius 范数。方程简单地采用二次损失来惩罚每个网络表示 Φ (xi;W) 到 c ∈ F 的距离，其中 F 是输出特征空间。网络学习参数 W，使得数据点紧密映射到超球面的 c。为了确定补丁是否被遮挡，我们计算了每个补丁的新输入信息与特征空间中心 c 之间的距离。如果距离超过预定义的半径，则相应的块被分类为被遮挡和被遮挡。半径的最佳值在 SVDD 过程中自动确定。通过这个过程，可以对看不见的物体进行遮挡斑块检测。所提出的 ViT-SVDD 方法允许使用遮挡补丁注释来验证合成图像的性能。通过检测遮挡斑块，我们可以提高重建方法的准确性，使其更适合实际应用。

（2）图像重建模块：混合重建网络

        面部图像重建过程采用遮挡检测器生成的遮挡遮蔽图像。混合重建网络旨在通过融合基于 ViT 和基于 CNN 的网络进行协作。通过这种机制，我们充分利用了 ViT 和 CNN 的优势。基于ViT的方法采用16×16块作为输入图像；然而，我们使用遮挡检测器的输出作为输入，因为图像已经被遮挡检测器分割成块单元。

        基于 ViT 的方法对输入补丁进行编码并积极嵌入所有标记。被遮挡的斑块重建是通过与其他斑块的相关来实现的。ViT 具有低归纳偏差和高自由度，使其能够在不同的遮挡形状、位置和面部姿势的情况下生成可靠的图像.基于 ViT 的方法有时可能无法提供详细的结果。为了解决这个限制，我们结合了 ViT 和 CNN。该网络由 U-Net 架构组成。此外，在编码器内部添加了一个自组装层来生成详细的表示。这种多结构方法有效地结合了 ViT 和基于 CNN 的网络的优势，生成能够很好地表示面部表情的高质量面部图像重建。

        实现了自组装层来改进 FER 的图像重建。我们重建了像[17]这样的屏蔽区域，但针对面部图像进行了增强。基于人脸左右特征对称的概念[42,48,67]，我们在重建遮蔽区域时使用了水平翻转图像对应位置中存在的特征信息。我们通过合并来自三个来源的信息来扩展生成过程中使用的候选补丁的范围：先前生成的补丁、未遮蔽区域中最相似的补丁以及位于水平翻转图像的相应位置的补丁。在这个过程中，被遮蔽的区域包含了ViT网络的重建结果。我们根据与当前补丁的相似度值为每个分配权重。权重计算基于互相关度量：

        其中p表示遮罩区域中的补丁，补丁px是比较目标。 p和px之间的相似度值用S表示。

        自组装操作生成补丁值pi。图3描述了操作过程，其中ps表示相对于p对称定位的补丁值，并通过考虑外围补丁进行平均。pk是最相似的补丁到未屏蔽区域中的 p ，并且 Sknown 计算为 S(pi, pki )。进一步地，pi-1表示先前生成的patch，Si-1由S(pi,pi-1)获得。将相似度值S标准化后作为权重。

        在图 3 中，(a) 中的红色补丁是 pi，它是 pk（橙色补丁）、pi−1（黄色补丁）和 ps（(b) 中的蓝色补丁）的组合结果。因为 p1 没有先前生成的补丁，所以 S0 为零。在某些情况下，例如侧面图像，对称位置的面片可能与生成面片无关。因此，在这种情况下 Ssym 的值很小，并且很少用于生成补丁。

        自组装操作示意图。 (a) 自组装层中的特征图。 (b) (a) 的翻转。屏蔽区域中的补丁是通过组合三个补丁信息生成的。

（3）损失函数

        图像重建的目的是填充被遮蔽的部分，为FER提供补充信息。为了实现这一目标，引入了语义一致性损失，可以在保持重建损失 Lre、一致性 Lc 、特征补丁鉴别器 Ldf 和补丁鉴别器 Ld  的同时优化任务。

        语义一致性损失Lsc强调面部表情属性。 Lsc具有减少组内变异性的作用，可以定义为：

        其中c代表七个基本表达式，pc(zgt)表示c在ground-truth图像中的预测概率，pc(zrec)表示c在重建结果中的预测概率。预测的概率分布是通过预训练的 FER 网络获得的。

        训练过程中，总体损失函数定义为：

        其中，λre、λc、λsc、λd分别表示重建、一致性、语义一致性、鉴别器损失的权衡参数。此外，FER 网络使用相同的特征提取架构进行训练，使用有关真实标签的概率分布和 FER 的预测。

（4）面部表情识别网络

        所提出的 FER 网络被设计为基于注意力的模型，用于预测面部表情，采用了空间和通道注意机制。

        使用基于注意力的模型获得了细化的特征图和 CAM。此外，使用 CAM 从 ViT 获得了表达相关的潜在载体。如图 2 所示，Latent-OFER 协同使用基于 CNN 的特征和基于 ViT 的潜在向量。因此，该模型表现更好。

        表达相关的 ViT 潜在载体。所提出的方法仅采用与表达相关的潜在向量而不是整个潜在空间来提高 FER 性能。在重建过程中，通过嵌入输入图像来提取基于 ViT 的潜在向量。我们使用 CAM 来识别 FER 图像中的空间重要区域，并通过 CNN 生成类激活图。

        该区域的位置被存储为键，并且记录每个空间的注意力权重。使用空间注意力权重超过前50%的区域的关键。从整个 ViT 潜在向量中检索该密钥，并读取相应的值。激活图用于识别与表达相关的潜在向量，如图 4 所示。该过程可以选择与 FER 相关的位置，同时避免无关的细节，例如与表达无关的外观信息，这可以增加类间差异差异性并导致更准确和有效的学习结果。

        在补丁检测失败的情况下，被遮挡的补丁的潜在向量用于训练和推理。然而，空间注意力并不集中在遮挡区域，并且遮挡斑块的潜在向量既不被搜索也不用于训练和推理。所提出的提取器在这种情况下不会受到显着影响。

三、总结

        所提出的方法 LatentOFER 可以检测遮挡，将面部被遮挡的部分恢复为未被遮挡的部分，并识别它们，从而提高 FER 准确性。该方法涉及三个步骤：首先，基于视觉变换器 (ViT) 的遮挡块检测器通过使用支持向量数据描述算法仅训练来自未遮挡块的潜在向量来掩盖遮挡位置。其次，混合重建网络使用基于视觉变换器ViT和卷积神经网络 (CNN) 将遮蔽位置生成为完整图像。最后，表达相关的潜在向量提取器通过应用基于 CNN 的类激活图来检索并使用来自所有潜在向量的表达相关信息。

        在本研究中，使用两种类型的遮挡来评估典型模型在识别面部表情方面的鲁棒性：随机采样遮挡和梯度遮挡。随机采样遮挡将整个图像分为196个patch，并按照比例随机屏蔽它们。梯度遮挡使用梯度加权类激活映射 (Grad-CAM) 处理具有影响 FER 的有意遮挡区域的图像。这项研究揭示了第二种类型的遮挡导致性能大幅下降，特别是当遮挡区域对于准确的 FER 至关重要时。