图2：Adversarial Content Attack的流程。首先使用Image Latent Mapping将图像映射到潜变量空间。然后，用Adversarial Latent Optimization生成对抗性样本。最后，生成的对抗性样本可以欺骗到目标分类模型。

3.1 Image Latent Mapping

对于扩散模型，最简单的图像映射是DDIM采样的逆过程，使用prompt $\mathcal{P}$的条件嵌入$\mathcal{C}=\psi (\mathcal{P})$，基于常微分方程过程可以在小步长限制下反转：
$$z_{t+1}=\sqrt{\frac{{\alpha }_{t+1}}{{\alpha }_t}}{z}_t+\sqrt{{\alpha }_{t+1}}(\sqrt{\frac{1}{{\alpha }_{t+1}}-1}-\sqrt{\frac{1}{{\alpha }_t}-1})\cdot {ϵ}_{\theta }(z_t,t,\mathcal{C})\text{\hspace{1em}(2)}$$
其中$z_0$是给定的真实图像。图像的描述prompt通常由图像描述模型（如BLIP v2）自动生成。

给定$w$作为引导比例参数，$\varnothing =\psi \text{("")}$是空文本的嵌入表示，无分类器引导(classifier-free guidance)预测可以表示为：
$${\widetilde{ϵ}}_{\theta }(z_t,t,\mathcal{C},\varnothing )=w\cdot {ϵ}_{\theta }(z_t,t,\mathcal{C})+(1-w)\cdot {ϵ}_{\theta }(z_t,t,\varnothing )\text{\hspace{1em}(3)}$$
Stable Diffusion中$w=7.5$。噪声是通过${ϵ}_{\theta }$预测出来的，用于去噪过程，因此每一步都会有细微的误差，随着许多步去噪，导致误差累积越来越大，破坏了噪声的高斯分布，诱发不真实的视觉效果。

为减小累计误差，对每一步$t$优化空文本嵌入$\varnothing$。首先使用$w=1$在DDIM的逆过程输出一系列潜变量表示 { z 0 ∗ , ⋯   , z T ∗ } \{z_0^*,\cdots,z_T^*\} {z0∗​,⋯,zT∗​}，其中$z_0^{\ast }=z_0$。然后对于时间戳 { T , ⋯   , 1 } \{T,\cdots,1\} {T,⋯,1}，使用$w=7.5$，${\bar{z}}_T=z_t$在$N$次迭代中进行了如下优化：
$$\underset{{\varnothing }_t}{\min }||z_{t-1}^{\ast }-z_{t-1}({\bar{z}}_t,t,\mathcal{C},\varnothing )|{|}_2^2\text{\hspace{1em}(4)}$$
$$z_{t-1}({\bar{z}}_t,t,\mathcal{C},\varnothing )=\sqrt{\frac{{\alpha }_{t-1}}{{\alpha }_t}}{\bar{z}}_t+\sqrt{{\alpha }_{t-1}}(\sqrt{\frac{1}{{\alpha }_{t-1}}-1}-\sqrt{\frac{1}{{\alpha }_t}-1})\cdot {\widetilde{ϵ}}_{\theta }(z_t,t,\mathcal{C},\varnothing )\text{\hspace{1em}(5)}$$
在每一步的最后，将${\bar{z}}_{t-1}$更新为$z_{t-1}({\bar{z}}_t,t,\mathcal{C},{\varnothing }_t)$。最后得到原始图像在潜变量空间内的表示，包含噪声${\bar{z}}_T$，空文本嵌入${\varnothing }_t$和文本嵌入$\mathcal{C}=\psi (\mathcal{P})$。

3.2 Adversarial Latent Optimization

本节提出了一种针对潜变量的优化方法，最大化在非限制对抗样本上的攻击性能。经过image latent mapping后得到的潜变量空间中，空文本嵌入${\varnothing }_t$确保了重建的图像的质量，条件嵌入$\mathcal{C}$保证了图像的语义信息。同时优化两种嵌入并不现实，考虑到噪声${\bar{z}}_T$很大程度上表示了潜变量空间中图像的信息，因此选择优化噪声${\bar{z}}_T$。但是这种优化的复杂梯度计算和取值范围溢出的问题仍然是挑战。

基于image latent mapping生成的潜变量，将扩散模型中的去噪过程Eq.5定义为$\Omega (\cdot )$，其包含$T$次迭代：
Ω ( z T , T , C , { ∅ t } t = 1 T ) = z 0 ( z 1 ( ⋯   , ( z T − 1 , T − 1 , C , ∅ T − 1 ) , ⋯   , 1 , C , ∅ 1 ) , 0 , C , ∅ 0 ) (6) \Omega(z_T,T,\mathcal{C},\{\varnothing_t\}_{t=1}^T)=z_0(z_1(\cdots,(z_{T-1},T-1,\mathcal{C},\varnothing_{T-1}),\cdots,1,\mathcal{C},\varnothing_1),0,\mathcal{C},\varnothing_0)\tag{6} Ω(zT​,T,C,{∅t​}t=1T​)=z0​(z1​(⋯,(zT−1​,T−1,C,∅T−1​),⋯,1,C,∅1​),0,C,∅0​)(6)
由此，重新构建的模型可表示为 z ˉ 0 = Ω ( z T , T , C , { ∅ t } ) \bar{z}_0=\Omega(z_T,T,\mathcal{C},\{\varnothing_t\}) zˉ0​=Ω(zT​,T,C,{∅t​})。结合Eq.7，对抗性目标优化可以表示为：
max ⁡ δ L ( F θ ( z ˉ 0 , y ) ) ,   s . t . ∣ ∣ δ ∣ ∣ ∞ ≤ κ ,   z ˉ 0 = Ω ( z T + δ , T , C , { ∅ t } ) (7) \max_\delta \mathcal{L}(\mathcal{F}_\theta(\bar{z}_0,y)),\ s.t.||\delta||_\infty\leq\kappa,\ \bar{z}_0=\Omega(z_T+\delta,T,\mathcal{C},\{\varnothing_t\})\tag{7} δmax​L(Fθ​(zˉ0​,y)), s.t.∣∣δ∣∣∞​≤κ, zˉ0​=Ω(zT​+δ,T,C,{∅t​})(7)
其中${\bar{z}}_0$是自然图像，$\delta$是潜变量空间中的对抗性扰动。

损失函数包含两部分：

• 交叉熵损失${\mathcal{L}}_{ce}$，用于引导对抗性样本误导分类器；
• 均方误差损失${\mathcal{L}}_{mse}$，用于引导对抗性样本在$l_2$距离上尽可能接近真实的干净样本。
  由此，完整的损失函数$\mathcal{L}$可以表示为：

$$\mathcal{L}({\mathcal{F}}_{\theta }({\bar{z}}_0),y,z_0)={\mathcal{L}}_{ce}({\mathcal{F}}_{\theta }({\bar{z}}_0),y)-\beta \cdot {\mathcal{L}}_{mse}({\bar{z}}_0,z_0)$$
本文中$\beta =0.1$，损失函数的目标是最大化交叉熵损失冰最小化和干净样本的$l_2$距离。为保证$z_0$和${\bar{z}}_0$的一致性，假设当$\delta$很小时（即$||\delta |{|}_{\infty }\le \kappa$时），$\delta$不会改变$z_0$和${\bar{z}}_0$的一致性，关键在于产生最大分类损失的$\delta$。

类似于传统的对抗攻击，使用基于梯度的技术，通过$\delta \simeq \eta {\nabla }_{z_T}\mathcal{L}({\mathcal{F}}_{\theta }({\bar{z}}_0),y)$来估计噪声$\delta$，其中$\eta$是发生在梯度方向上的扰动量。利用链式规则对${\nabla }_{z_T}\mathcal{L}({\mathcal{F}}_{\theta }({\bar{z}}_0),y)$进行展开，可以得到如下的导数项：
$${\nabla }_{z_T}\mathcal{L}({\mathcal{F}}_{\theta }({\bar{z}}_0),y)=\frac{\partial \mathcal{L}}{\partial {\bar{z}}_0}\cdot \frac{\partial {\bar{z}}_0}{\partial z_1}\cdot \frac{\partial z_1}{\partial z_2}\cdots \frac{\partial z_{T-1}}{\partial z_T}\text{\hspace{1em}(9)}$$

Skip Gradient
尽管梯度是可导的，通过此式推导出完整的计算图是不可行的。

• $\frac{\partial \mathcal{L}}{\partial {\bar{z}}_0}$是分类器关于重构图像${\bar{z}}_0$的导数，并提供对抗梯度方向。
• $\frac{\partial z_t}{\partial z_{t+1}}$，每一次导数的计算都代表一次反向传播的计算。
• 一个完整的去噪过程累积了$T$个计算图，导致内存溢出。

本文提出了Skip Gradient来估计$\frac{\partial \mathcal{L}}{\partial {\bar{z}}_0}\cdot \frac{\partial {\bar{z}}_0}{\partial z_1}\cdot \frac{\partial z_1}{\partial z_2}\cdots \frac{\partial z_{T-1}}{\partial z_T}$。去噪过程旨在消除DDIM采样中加入的高斯噪声，DDIM利用重参数化技巧，在任意第$t$步下进行闭式采样：
$$z_t=\sqrt{{\alpha }_t}{z}_0+\sqrt{1-{\alpha }_t}\epsilon ,\epsilon \sim \mathcal{N}(0,I)\text{\hspace{1em}(10)}$$
对Eq.10变形，得到$z_0=\frac{1}{\sqrt{{\alpha }_t}}{z}_t-\sqrt{\frac{1-{\alpha }_t}{{\alpha }_t}}\epsilon$。由此，得到$\frac{\partial z_0}{\partial z_t}=\frac{1}{\sqrt{{\alpha }_t}}$。Stable Diffusion中，步长$t$最多是1000，因此有${\lim }_{t\to 1000}\frac{\partial z_0}{\partial z_t}={\lim }_{t\to 1000}\frac{1}{\sqrt{{\alpha }_t}}\approx 14.58$。总结而言，$\frac{\partial z_0}{\partial z_t}$可以被看做常数$\rho$，Eq.9可以变为${\nabla }_{z_T}\mathcal{L}({\mathcal{F}}_{\theta }({\bar{z}}_0),y)=\rho \frac{\partial \mathcal{L}}{\partial {\bar{z}}_0}$。综上所述，Skip Gradients估计了去噪过程的梯度，减少了计算和存储需求。

Differentiable Boundary Processing
扩散模型没有严格限制${\bar{z}}_0$的数值取值范围，$z_T$的修改可能会导致其取值范围被超出。由此引入differentiable boundary processing $\varrho (\cdot )$。$\varrho (\cdot )$将超出$[0,1]$范围的数值压缩到$[0,1]$中：
$$\varrho (x)=\{\begin{array}{ll}\tanh (1000x)/10000& x<0\\ x& 0\le x<1\\ \tanh (1000(x-1))/10001& x>1\end{array}\text{\hspace{1em}(11)}$$
接下来定义${\Pi }_{\kappa }$为对抗扰动$\delta$在$\kappa$球面上的投影。引入动量$g$，将优化对抗性潜变量为：
$$g_k\leftarrow \mu \cdot g_{k-1}+\frac{{\nabla }_{z_T}\mathcal{L}({\mathcal{F}}_{\theta }((\varrho ({\bar{z}}_0),y)))}{||{\nabla }_{z_T}\mathcal{L}({\mathcal{F}}_{\theta }((\varrho ({\bar{z}}_0),y)))|{|}_1}\text{\hspace{1em}(12)}$$
$${\delta }_k\leftarrow {\Pi }_{\kappa }({\delta }_{k-1}+\eta \cdot \text{sign}(g_k))\text{\hspace{1em}(13)}$$
综上所述，adversarial latent optimization采用跳跃梯度来确定去噪过程的梯度，结合可微边界处理来调节对抗样本的取值范围，根据梯度进行迭代优化。结合图像潜在映射，算法1中说明了adversarial content attack的详细过程。