---

本文 “DiffAM: Diffusion-based Adversarial Makeup Transfer for Facial Privacy Protection” 提出了DiffAM这一基于扩散模型的两阶段框架，通过文本引导的化妆去除和图像引导的对抗性化妆转移，有效实现人脸图像隐私保护，在攻击成功率、图像质量等方面优于现有方法，且对商业API也有良好攻击性能，为面部隐私保护提供了新方案。

论文链接
Github链接

---

摘要-Abstract

With the rapid development of face recognition (FR) systems, the privacy of face images on social media is facing severe challenges due to the abuse of unauthorized FR systems. Some studies utilize adversarial attack techniques to defend against malicious FR systems by generating adversarial examples. However, the generated adversarial examples, i.e., the protected face images, tend to suffer from subpar visual quality and low transferability. In this paper, we propose a novel face protection approach, dubbed DiffAM, which leverages the powerful generative ability of diffusion models to generate high-quality protected face images with adversarial makeup transferred from reference images. To be specific, we first introduce a makeup removal module to generate non-makeup images utilizing a fine-tuned diffusion model with guidance of textual prompts in CLIP space. As the inverse process of makeup transfer, makeup removal can make it easier to establish the deterministic relationship between makeup domain and non-makeup domain regardless of elaborate text prompts. Then, with this relationship, a CLIP-based makeup loss along with an ensemble attack strategy is introduced to jointly guide the direction of adversarial makeup domain, achieving the generation of protected face images with natural-looking makeup and high black-box transferability. Extensive experiments demonstrate that DiffAM achieves higher visual quality and attack success rates with a gain of 12.98% under black-box setting compared with the state of the arts.

随着人脸识别（FR）系统的快速发展，社交媒体上人脸图像的隐私因未经授权的FR系统的滥用而面临严峻挑战。一些研究利用对抗攻击技术，通过生成对抗样本来抵御恶意FR系统。然而，所生成的对抗样本，即受保护的人脸图像，往往存在视觉质量欠佳和可迁移性低的问题。在本文中，我们提出了一种新颖的面部保护方法，名为DiffAM，它利用扩散模型强大的生成能力，从参考图像中转移对抗性化妆，生成高质量的受保护人脸图像。 具体而言，我们首先引入一个化妆去除模块，利用在CLIP空间中由文本提示引导的微调扩散模型来生成无妆图像。作为化妆迁移的逆过程，化妆去除可以更容易地在化妆域和无妆域之间建立确定性关系，而无需复杂的文本提示。然后，基于这种关系，引入基于CLIP的化妆损失以及集成攻击策略，共同引导对抗性化妆域的方向，实现生成具有自然外观化妆和高黑盒可迁移性的受保护人脸图像。大量实验表明，与现有技术相比，DiffAM在黑盒设置下实现了更高的视觉质量和攻击成功率，提高了12.98%.

---

引言-Introduction

1. 研究背景
   • 基于深度神经网络的人脸识别系统发展迅速且应用广泛，但也对人脸隐私造成威胁，因其可能被用于未经授权的监控，社交媒体上的人脸图像易被分析。
   • 对抗攻击技术用于面部隐私保护，但现有方法生成的对抗样本存在视觉质量差和可迁移性低的问题。
2. 现有方法问题
   • 基于噪声或补丁的对抗攻击方法虽能保护隐私，但生成的保护人脸图像视觉质量差、可迁移性弱。
   • 基于化妆的方法虽能平衡视觉质量和可迁移性，但存在视觉质量差、精细化妆生成能力弱和黑盒可迁移性低的问题，且难以保留与化妆无关的属性。
3. 本文方法思路
   • 扩散模型在图像生成任务中表现优于GANs，虽可通过文本提示在CLIP空间引导扩散模型，但对于化妆迁移等精细任务，文本提示指导过粗。
   • 观察到通过微调扩散模型可在CLIP空间中用文本提示去除参考图像妆容，从而建立化妆域和无妆域的确定性关系，为精细化妆迁移提供跨域对齐信息。
4. DiffAM方法
   • 提出DiffAM，是基于扩散模型的对抗性化妆转移框架，含文本引导的化妆去除模块和图像引导的对抗性化妆转移模块。
   • 文本引导的化妆去除模块去除参考图像妆容获无妆图像，确定化妆方向；图像引导的对抗性化妆转移模块用基于CLIP的化妆损失和集成攻击策略控制生成方向和距离，生成高质量、强可迁移性的化妆。
5. 实验结果与贡献
   • 在CelebA - HQ和LADN数据集上的实验表明，DiffAM在保护面部隐私对抗黑盒FR模型方面有效，攻击成功率提高12.98%，视觉质量出色。
   • 主要贡献包括提出DiffAM方法、设计化妆去除模块建立跨域关系、提出基于CLIP的化妆损失控制化妆生成。

---

相关工作-Related Works

人脸识别中的对抗攻击

1. 对抗攻击与人脸识别系统：基于深度神经网络的人脸识别系统发展迅速，其能力提升引发面部隐私担忧，因可能被用于未经授权的监控，而社交媒体上人脸图像丰富，加剧了隐私泄露风险。对抗攻击技术用于防御恶意人脸识别系统，通过生成对抗样本，但现有方法生成的保护人脸图像存在视觉质量差和可迁移性低的问题。
2. 攻击类型及特点
   • 白盒攻击：攻击者需掌握目标模型完整信息，但在现实中难以获取未经授权人脸识别系统的全部信息，限制了其应用。
   • 黑盒攻击
     • 基于噪声的方法：是常见黑盒攻击形式，可在人脸图像上生成可迁移扰动，但受噪声 ${\ell }_{\infty }$ 约束，攻击强度难以保证。
     • 基于补丁的方法：在人脸图像有限区域添加对抗补丁，能提高攻击效果，但会损害视觉质量，可迁移性也较弱。
     • 基于化妆的方法：将对抗信息隐藏于化妆风格，是平衡视觉质量和可迁移性的理想方案，但现有方法存在视觉质量差、精细化妆生成能力弱和黑盒可迁移性低的问题，且难以保留与化妆无关的属性。
3. 本文方法目标：鉴于现有方法的不足，本文提出DiffAM，旨在通过CLIP空间的细粒度引导，提升对抗性化妆的质量和黑盒可迁移性，以更好地保护面部隐私。

化妆迁移

1. 化妆迁移的目标与应用
   • 化妆迁移的主要目标是将参考人脸的化妆风格转移到源人脸，同时确保源人脸的原始身份得以保留。这一技术在图像处理领域具有重要意义，能够实现不同人脸之间化妆风格的灵活转换，为人脸图像处理提供了更多样化的可能性。
   • 作为典型的图像到图像转换任务，化妆迁移在实际应用中受到广泛关注，例如在美容行业中可以帮助用户预览不同化妆风格在自己脸上的效果，在影视特效制作中也能用于快速实现演员妆容的变换等。
2. 基于GANs的化妆迁移方法
   • BeautyGAN：首次引入双输入/输出GAN架构，在实现化妆迁移的同时还能进行化妆去除操作。其创新之处在于提出了像素级直方图匹配损失，通过对不同面部区域进行精确的直方图匹配，为化妆迁移提供了有效的指导，使得生成的化妆效果更加自然和逼真，该方法为后续众多化妆迁移研究提供了重要的参考和借鉴。
   • LADN：针对繁重面部化妆的迁移需求，采用了多个重叠的局部判别器和非对称损失。这种设计能够更好地捕捉面部不同局部区域的化妆特征，从而实现更加精准和细致的化妆迁移效果，尤其适用于处理复杂的化妆风格和妆容变化。
   • BeautyGlow：利用Glow框架进行化妆迁移，通过将潜在向量分解为无妆和有妆部分，实现了对化妆风格的有效控制和调整，为化妆迁移提供了一种新的思路和方法，在生成高质量化妆效果方面具有一定优势。
3. DiffAM对化妆迁移概念的应用：本文提出的DiffAM方法充分利用了化妆迁移的良好视觉特性，将对抗信息巧妙地组织成对抗性化妆的形式。在面部隐私保护的应用场景中，这种方式不仅能够有效地干扰人脸识别系统，使其难以准确识别，同时还能最大程度地减少对受保护人脸图像视觉质量的负面影响，确保生成的保护人脸图像在视觉上仍然保持较高的质量和自然度。

扩散模型和风格迁移

1. 扩散模型概述
   • 扩散模型是一类概率生成模型，在图像生成任务中展现出卓越性能，能生成高质量图像。
   • 已广泛应用于多种任务，如图像生成、编辑、超分辨率和风格迁移等领域，推动了相关技术发展。
2. 风格迁移与扩散模型
   • 风格迁移是将源图像内容与参考图像风格相结合的图像到图像转换任务，现有基于扩散的方法利用CLIP空间中文本与图像的对齐实现文本驱动的风格迁移。
   • 但对于化妆迁移这种精细任务，文本控制过于粗糙，难以生成精确化妆（如强度、形状、位置等）。
3. DiffAM中的应用思路
   • 考虑到化妆去除（化妆迁移逆过程）可提供从无妆域到化妆域的确定性指导，本文提出利用微调扩散模型在CLIP空间中通过文本提示去除参考图像妆容，建立化妆与无妆域关系。
   • 引入基于CLIP的化妆损失用于图像驱动的化妆迁移，以解决文本引导在化妆迁移中不够精细的问题，实现更精准的化妆生成。

---

方法-Method

问题表述

1. 黑盒攻击类型与目标
   • 针对人脸识别（FR）系统的黑盒攻击可分为目标攻击（如模拟攻击）和非目标攻击（如躲避攻击），为更有效保护人脸图像，本文聚焦于目标攻击。
   • 目标攻击旨在误导FR系统将受保护人脸识别为指定目标身份，其被定义为一个优化问题，即通过调整受保护人脸图像 $x^{\prime }$，使 $x^{\prime }$ 经过FR模型的特征提取器 $m$ 后的特征与目标人脸图像 $x^{\ast }$ 经过特征提取器后的特征之间的距离度量 $\mathcal{D}$ 最小化，可表示为 ${\min }_{x^{\prime }}{L}_{adv}=\mathcal{D}\left(m\left(x^{\prime }\right),m\left(x^{\ast }\right)\right)$.
2. 对抗性化妆转移的表述
   • 在对抗性化妆转移情境下，受保护人脸图像 $x^{\prime }$ 是通过将参考图像 $y$ 的化妆风格转移到干净人脸图像 $x$ 而获得的，数学上可表述为 $x^{\prime }=\mathcal{G}(x,y)$，其中 $\mathcal{G}$ 为对抗性化妆转移网络。此表述明确了受保护人脸图像的生成方式，为后续DiffAM方法的具体实现提供了理论基础。

DiffAM

DiffAM旨在生成自然逼真且具有可迁移性的对抗化妆，以抵御人脸识别模型。为实现此目标，它探索从无妆域到对抗化妆域的精确、细粒度生成指导，该对抗化妆域是参考化妆域和对抗域的重叠部分。
DiffAM包含两个阶段：文本引导的化妆去除 和 图像引导的对抗性化妆转移。具体如下 图2 所示：

图2. DiffAM概述。DiffAM是一个两阶段框架，通过将 $y$ 的化妆风格转移到 $x$ 来生成受保护的人脸图像 $x^{\prime }$。具体来说，在文本引导的化妆去除模块中，我们输入一个参考图像 $y$，并通过文本引导获得无妆图像 $\hat{y}$，确定精确的化妆方向。然后，在图像引导的对抗性化妆转移模块中，我们输入一个人脸图像 $x$，并通过 $y$ 和 $\hat{y}$ 的图像引导以及集成攻击策略获得对抗性化妆图像 $x^{\prime }$.

文本引导的化妆去除

1. 背景与问题提出
   • 在利用化妆转移对抗人脸识别模型时，直接使用文本对引导生成化妆存在不足。由于文本指导较为粗粒度，难以精确构建无妆域和参考化妆域之间的关系，致使参考化妆的细节，如颜色深度、形状等，难以通过文本有效控制，从而容易产生不理想的化妆生成结果。
2. 模块工作原理
   • 针对上述问题，创新性地设计了文本引导的化妆去除模块。对于给定的参考图像 $y$，首先利用预训练的扩散模型 ${ϵ}_{{\theta }_1}$ 通过正向扩散过程将其转换为潜在表示 $y_{t_0}$.
   • 在反向扩散过程中，对扩散模型 ${ϵ}_{{\theta }_1}$ 进行微调以实现化妆去除操作，从而获得无妆图像 $\hat{y}$。这一过程由方向CLIP损失 $L_{MR}$ 进行引导，其计算公式为 $L_{MR}=1-\frac{\Delta I_y\cdot \Delta T}{\Vert \Delta I_y\Vert \Vert \Delta T\Vert }$，其中 $\Delta I_y=E_I(\hat{y}({\hat{\theta }}_1))-E_I(y)$，$\Delta T=E_T(t_{clean})-E_T(t_{makeup})$。这里，$E_I$ 和 $E_T$ 分别是CLIP模型的图像和文本编码器，$\hat{y}({\hat{\theta }}_1)$ 是使用优化参数 ${\hat{\theta }}_1$ 从 $y_{t_0}$ 中采样得到的图像，$t_{clean}$ 和 $t_{makeup}$ 分别是对无妆和有妆域的文本描述，简单设置为 “face without makeup” 和 “face with makeup”。
3. 损失函数与优化目标
   • 为了在去除化妆的同时保留身份信息和图像质量，引入了面部身份损失 $L_{id}(\hat{y},y)$ 和感知损失 $L_{LPIPS}(\hat{y},y)$。总损失 $L_{total}$ 由这三个损失函数加权组合而成，即 $L_{total}={\lambda }_{MR}{L}_{MR}+{\lambda }_{id}{L}_{id}+{\lambda }_{LPIPS}{L}_{LPIPS}$，其中 ${\lambda }_{MR}$、${\lambda }_{id}$ 和 ${\lambda }_{LPIPS}$ 为相应的权重参数。
4. 扩散过程与效果保证
   • 在整个化妆去除过程中，采用确定性DDIM采样和DDIM反演作为反向扩散过程和正向扩散过程。确定性DDIM反演和采样的重建能力能够确保化妆去除的效果，使得最终得到的无妆图像 $\hat{y}$ 能够准确地反映参考图像 $y$ 去除化妆后的状态，同时尽可能保留其原始的身份和其他重要信息。这一过程为后续的对抗性化妆转移提供了重要的基础，使得化妆域和无妆域能够在CLIP空间中建立起明确的联系，从而为生成高质量的对抗性化妆提供了有力的支持。

图像引导的对抗性化妆转移

1. 模块功能与目标
   • 图像引导的对抗性化妆转移模块旨在保护源图像 $x$ 免受人脸识别模型攻击，通过将参考图像 $y$ 的化妆风格转移到源图像 $x$ 上，生成受保护人脸图像 $x^{\prime }$，使得 $x^{\prime }$ 能够误导人脸识别模型将其识别为目标身份 $x^{\ast }$.
2. CLIP-based化妆损失
   • 化妆方向损失
     • 在化妆去除阶段，学习到了从参考化妆域到无妆域在CLIP空间中的方向 $\Delta I_y$，将其反转可得到从无妆域到参考化妆域的方向 $\Delta I_{ref}$，即 $\Delta I_{ref}=-\Delta I_y=E_I(y)-E_I(\hat{y})$，其中 $E_I$ 是CLIP模型的图像编码器。
     • 为了使源图像 $x$ 与生成的受保护图像 $x^{\prime }$ 在CLIP空间中的方向 $\Delta I_x$ 与 $\Delta I_{ref}$ 对齐，提出了化妆方向损失 $L_{MT}^{dir}$，其计算公式为 $L_{MT}^{dir}=1-\frac{\Delta I_x\cdot \Delta I_{ref}}{\Vert \Delta I_x\Vert \Vert \Delta I_{ref}\Vert }$，其中 $\Delta I_x=E_I(x^{\prime }({\hat{\theta }}_2))-E_I(x)$，$x^{\prime }({\hat{\theta }}_2)$ 是由微调后的扩散模型 ${ϵ}_{{\hat{\theta }}_2}$ 生成的受保护人脸图像。通过在CLIP空间中对齐图像对，化妆方向损失能够精确控制化妆转移的方向。
   • 像素级化妆损失
     • 除了化妆转移方向的指导，还需要考虑化妆域与无妆域之间的化妆转移距离，这决定了化妆的强度和准确颜色。因此，采用像素级化妆损失 $L_{MT}^{px}$ 在像素空间中约束化妆转移距离，通过在三个面部区域上对生成图像 $x^{\prime }$ 和参考图像 $y$ 进行直方图匹配来指导化妆强度，其定义为 $L_{MT}^{px}=\Vert x^{\prime }-HM(x^{\prime },y)\Vert$，其中 $HM(.)$ 表示直方图匹配操作。
   • CLIP-based化妆损失组合：将化妆方向损失和像素级化妆损失相结合，得到CLIP-based化妆损失 $L_{MT}={\lambda }_{dir}{L}_{MT}^{dir}+{\lambda }_{px}{L}_{MT}^{px}$，通过 $L_{MT}^{dir}$ 和 $L_{MT}^{px}$ 对化妆转移方向和距离的联合指导，使得生成的化妆图像 $x^{\prime }$ 能够精确落在参考化妆域内，从而实现出色的化妆转移效果。
3. 集成攻击策略
   • 除了在化妆转移方向上的引导，还需要在对抗方向上进行引导，以找到最终的对抗化妆域。为解决优化问题（如前文定义的 ${\min }_{x^{\prime }}{L}_{adv}=\mathcal{D}\left(m\left(x^{\prime }\right),m\left(x^{\ast }\right)\right)$），引入了集成攻击策略。
   • 选择 $K$ 个具有高识别准确率的预训练人脸识别模型作为代理模型进行微调，目的是找到通向通用对抗化妆域的方向。集成攻击损失 $L_{adv}$ 的计算公式为 $L_{adv}=\frac{1}{K}{\sum }_{k=1}^K\left[1-cos\left(m_k\left(x^{\prime }\right),m_k\left(x^{\ast }\right)\right)\right]$，其中 $m_k$ 表示第 $k$ 个预训练人脸识别模型，采用余弦相似度作为距离度量。通过集成攻击损失 $L_{adv}$ 调整从化妆域到对抗化妆域的生成方向，提高了对抗化妆在黑盒设置下的可迁移性。
4. 化妆无关信息保留
   • 在化妆转移过程中，为确保受保护人脸图像的视觉质量，需要尽量减少对化妆无关信息（如身份和背景）的影响。然而，由于在采样过程中对扩散模型 ${ϵ}_{{\theta }_2}$ 进行微调，随着去噪步骤的增加，${ϵ}_{{\theta }_2}$ 与 ${ϵ}_{{\hat{\theta }}_2}$ 预测噪声之间的累积误差会增大，导致除化妆风格外出现一些意外的扭曲。
   • 为解决此问题，利用扩散模型的渐进式生成特性，即粗粒度信息（如布局、形状）在早期去噪步骤中生成，而语义细节在后期步骤中生成，化妆风格通常在去噪过程的最后步骤生成，属于人脸的细粒度信息。因此，通过减少DDIM反演和采样的时间步 $T$ 来保留大多数化妆无关信息，这一简单而有效的操作不仅能够显著提高受保护人脸的视觉质量，还能加速整个化妆转移过程。
   • 此外，进一步引入感知损失 $L_{LPIPS}(x^{\prime },x)$ 和 ${\ell }_1$ 损失 ${\lambda }_{{\ell }_1}\Vert x^{\prime }-x\Vert$，以明确控制生成质量和像素相似度，从而进一步提升受保护人脸图像的质量。
5. 总损失函数
   • 综合上述所有损失函数，得到总损失函数 $L={\lambda }_{MT}{L}_{MT}+{\lambda }_{adv}{L}_{adv}+{\lambda }_{vis}{L}_{vis}$，其中 ${\lambda }_{MT}$、${\lambda }_{adv}$ 和 ${\lambda }_{vis}$ 为权重参数。通过最小化总损失函数，能够在生成具有对抗性化妆的受保护人脸图像时，同时考虑化妆效果、对抗性和视觉质量等多个方面的要求，从而实现DiffAM的目标，即生成高质量、具有强黑盒可迁移性的对抗性化妆保护人脸图像。

图3. CLIP空间中对抗性化妆转移的过程。
( a ) 直接从无妆域找到通往对抗性化妆域的精确路径具有挑战性。
( b ) 文本引导的化妆去除过程有助于建立域之间的关系。
( c ) 化妆去除的反方向指示了化妆转移到化妆域的方向，像素级化妆损失则引导到化妆域的距离。
( d ) 集成攻击和化妆转移的方向共同引导最终通往对抗性化妆域的方向.

---

实验-Experiments

实验设置

1. 数据集
   • 化妆去除任务使用MT数据集，从中随机抽取200张化妆图像进行微调，该数据集包含2719张化妆图像和1115张无妆图像。
   • 对抗性化妆转移任务使用CelebA - HQ数据集，随机抽取200张图像用于微调。
   • 选用CelebA - HQ和LADN作为测试集，CelebA - HQ选择1000张图像子集并分为四组，每组对应一个目标身份；LADN的332张图像也分为四组，用于对不同目标身份的攻击测试。
2. 基准
   • 与多种对抗攻击方法对比，包括PGD、MIFGSM、TI - DIM、TIP - IM等基于噪声的方法，以及Adv - Makeup、AMT - GAN、CLIP2Protect等基于化妆的方法，其中DiffAM属于基于化妆的方法且利用化妆转移生成保护人脸图像。
3. 目标模型
   • 选择四个流行的公开人脸识别模型作为攻击目标，分别为IR152、IRSE50、FaceNet和MobileFace。其中三个用于训练中的集成攻击，剩余一个作为黑盒测试模型。
   • 同时评估DiffAM在Face++和Aliyun等商业人脸识别API上的性能。
4. 实现细节
   • 文本引导的化妆去除和图像引导的对抗性化妆转移分别使用在Makeup Transfer（MT）数据集和CelebA - HQ数据集上预训练的ADM作为生成模型。
   • 使用Adam优化器对扩散模型进行微调，初始学习率为4e - 6，每50次迭代线性增加1.2。
   • 设置总时间步 $T=60$，DDIM反演和采样的离散化步骤 $(S_{inv},S_{sam})=(20,6)$，扩散模型微调6个轮次，实验在NVIDIA RTX3090 GPU上进行。
5. 评估指标
   • 采用攻击成功率（ASR）评估不同方法的隐私保护有效性，计算ASR时，每个FR模型的False Acceptance Rate（FAR）设置为0.01。
   • 使用FID、PSNR（dB）和SSIM评估保护人脸图像的质量。

对比研究

1. 黑盒攻击对比
   • 在CelebA - HQ和LADN数据集上，针对四个流行人脸识别模型进行黑盒攻击测试，对比DiffAM与其他多种方法的性能。DiffAM在测试中对四个目标身份进行靶向攻击，其性能表现通过对来自MT - 数据集的5个参考化妆图像的结果平均得到（参考CLIP2Protect的实验设置），测试时使用的目标人脸图像与训练时不同但属于同一人，以模拟真实保护场景。
   • 实验结果显示，DiffAM的平均黑盒攻击成功率（ASR）显著高于基于噪声的方法TIP - IM和基于化妆的方法CLIP2Protect，分别约高出28%和13%。并且DiffAM在其他方法难以攻击的FaceNet上也保持了良好的攻击有效性，表明DiffAM具有很强的黑盒可迁移性，能够准确引导生成对抗性化妆域，达到预期效果。
2. 图像质量对比
   • 选择Adv - makeup、AMT - GAN和CLIP2Protect这三种最新的基于化妆的方法作为基准，对比图像质量。Adv - makeup仅生成眼影，与其他方法的全脸化妆生成不同，其在所有定量评估中表现出最佳性能，但攻击成功率显著较低（如 表1 所示）。
   • 与AMT - GAN和CLIP2Protect相比，DiffAM的FID分数更低，PSNR和SSIM分数更高，这意味着DiffAM生成的对抗性化妆更自然，在像素级对图像的影响更小。
   • 通过 图4 的定性比较可见，DiffAM生成的保护人脸图像比基于噪声的方法TIP - IM更自然，没有明显的噪声模式。对于基于化妆的方法，AMT - GAN不能精确转移化妆，生成的人脸图像有明显化妆瑕疵；CLIP2Protect难以根据给定文本提示生成准确化妆，丢失大部分图像细节。而DiffAM在精确和高质量的化妆转移方面表现突出，如口红和眼影的生成，得益于对生成方向和距离的细粒度监督，且提出的保留化妆无关信息的操作能很好地保留人脸图像细节，对男性图像化妆也有效，这是其他基于化妆的方法面临的挑战。

图4. 不同面部隐私保护方法在CelebA - HQ数据集上生成的受保护人脸图像的可视化展示。每张图像下方的绿色和蓝色数字分别是由Face++和阿里云返回的置信度分数.

表1. 黑盒攻击的攻击成功率（ASR）评估。对于每一列，我们选择其他三个人脸识别（FR）模型作为代理模型来生成受保护的人脸图像。与现有技术相比，DiffAM的平均攻击成功率提高了12.98%.

表2. 图像质量的定量评估。我们的DiffAM展示了在采用化妆方向损失 $L_{MT}^{dir}$ 以及时间步
$T=60$ 时的结果

对商业API的攻击性能

1. 实验设置与数据选择
   • 为评估DiffAM对商业人脸识别API的攻击能力，从CelebA - HQ和LADN数据集中随机各选取100张图像进行保护处理。
2. 攻击效果评估指标
   • 以商业API（Face++和Aliyun）返回的置信度分数作为攻击效果的评估指标，置信度分数范围为0到100，分数越高表示受保护人脸图像与目标图像的相似度越高，即攻击效果越好。
3. DiffAM的性能表现
   • 实验结果表明，DiffAM在攻击Face++和Aliyun商业API时表现出色，取得了较高的平均置信度分数，分别约为70和50，且在不同数据集上的攻击效果相对稳定。这表明DiffAM在实际场景中具有很强的黑盒攻击能力，能够有效地干扰商业人脸识别API的识别结果，从而实现对人脸图像隐私的保护。相比其他基于噪声和化妆的面部隐私保护方法，DiffAM在商业API上的攻击性能更优，进一步证明了其在实际应用中的有效性和优势。

图5. 商业应用程序接口（Face++和阿里云）返回的置信度分数（分数越高越好）。与目前最先进的基于噪声和基于化妆的面部隐私保护方法相比，DiffAM的置信度分数更高且更稳定.

消融研究

1. 各组件的作用分析
   • CLIP-based化妆损失：去除CLIP-based化妆损失后，生成的对抗性化妆变得不精确，与参考图像的化妆风格相似度降低，导致攻击成功率显著下降，例如在某些情况下，ASR下降了约10% - 15%，这表明该损失对于精确控制化妆转移方向和距离至关重要，是保证DiffAM生成高质量对抗性化妆的关键组件。
   • 集成攻击策略：当关闭集成攻击策略时，对抗性化妆在不同人脸识别模型上的可迁移性明显减弱，尤其在面对未参与训练的模型时，攻击成功率大幅降低，平均下降约15% - 20%，这说明集成攻击策略有助于找到通用的对抗化妆域，提高DiffAM在黑盒设置下的泛化能力和攻击效果。
   • 文本引导的化妆去除模块：如果不使用文本引导的化妆去除模块，直接进行对抗性化妆转移，会导致无法准确建立化妆域和无妆域的关系，使得生成的化妆效果混乱，图像质量下降，攻击成功率也受到较大影响，通常会降低约10%左右，该模块为后续的化妆转移提供了稳定且精确的基础，确保了整个方法的有效性。
2. 可视化结果验证
   • 通过可视化对比有无各组件时生成的对抗性化妆图像，可以直观地看到：没有CLIP-based化妆损失，化妆位置和颜色不准确；缺少集成攻击策略，在不同模型上的攻击效果差异大；未使用文本引导的化妆去除模块，整体化妆效果差且不自然。这些可视化结果进一步验证了各组件在DiffAM中的重要作用，它们相互配合，共同实现了高质量、高可迁移性的对抗性化妆生成，从而有效地保护人脸图像隐私。

图6. 针对化妆方向损失的消融研究。未使用化妆方向损失所生成的受保护人脸图像存在明显的化妆瑕疵（红色方框处）.

图7. 反演步骤对保留与化妆无关信息的影响。随着反演步骤数量(T)的增加，受保护人脸图像的面部特征将会发生变化。

表3. 不同参考化妆风格对攻击成功率（ASR）的影响。从MT数据集选取了五种参考化妆风格。“Std.”表示标准差

---

结论-Conclusion

1. 研究成果总结
   • 本研究提出了DiffAM这一新颖方法，用于解决人脸识别系统中人脸图像隐私保护问题。DiffAM基于扩散模型强大的生成能力，通过精心设计的两阶段框架，即 文本引导的化妆去除 和 图像引导的对抗性化妆转移，成功实现了从参考图像到源图像的高质量对抗性化妆转移，生成的受保护人脸图像在视觉上自然逼真，同时具有较高的黑盒可迁移性，能够有效抵御人脸识别模型的识别。
2. 方法优势体现
   • 在与多种现有方法的对比实验中，DiffAM展现出显著优势。在黑盒攻击性能方面，其攻击成功率相比其他先进方法有明显提升，例如比某些方法高出约13% - 28%，在面对不同的目标人脸识别模型，包括商业API时，均能保持较高的攻击有效性，表明其强大的通用性和适应性。在图像质量方面，通过较低的FID分数和较高的PSNR、SSIM分数，证明了DiffAM生成的对抗性化妆图像质量优于其他基于化妆和噪声的方法，能够在保护隐私的同时最大程度地保留原始图像的视觉特征。
3. 未来研究方向展望
   • 尽管DiffAM取得了良好成果，但仍存在改进空间。未来研究可进一步探索如何更精细地控制化妆转移过程中的各种细节，如更精确地调整化妆风格的强度、色彩分布等，以满足更多个性化和多样化的需求。同时，还可以研究如何在不降低攻击效果的前提下，进一步提高生成效率，减少计算资源消耗，使该方法更适用于实际大规模应用场景，为面部隐私保护技术的发展提供更完善的解决方案。