10. UNIT-DDPM: UNpaired Image Translation with Denoising Diffusion Probabilistic Models

  该文提出一种基于DDPM的非配对的图像转换方法，称为UNIT-DDPM，能够实现源域的图像到目标域图像的转换，在保留原有图像内容的同时，转换为目标域图像的风格，如RGB图像到红外图像的转换。与DDPM过程类似，在训练过程中需要训练一个噪声估计器${ϵ}_{\theta }$，来估计噪声。再次基础上，本文提出的方法还额外训练一个域转换网络$g_{\varphi }$，来实现源域和目标域图像之间的转换。因此在噪声估计的过程中，不仅需要源域的噪声图像${\mathbf{x}}_t^A$，还需要转换得到的目标域图像${\tilde{\mathbf{x}}}_t^B$。并且这个转换和生成过程是双向的，就是不仅源域向目标域转换，同时目标域也向源域转换。具体的实现方式如下

  先看训练阶段，源域的图像${\mathbf{x}}_0^A$经过域转换网络$g_{{\varphi }^A}^A$转换之后，得到转换后的目标域图像${\tilde{\mathbf{x}}}_0^B$。源域图像${\mathbf{x}}_0^A$和经过转换的目标域图像${\tilde{\mathbf{x}}}_0^B$分别进行扩散，在扩散的过程中我们要对噪声估计器${ϵ}_{{\theta }^A}^A\left({\mathbf{x}}_t\left({\mathbf{x}}_0^A,\mathbf{ϵ}\right),{\tilde{\mathbf{x}}}_t^B,t\right)$进行训练。与一般的DDPM不同的是，估计时需要将转换后的目标域图像${\tilde{\mathbf{x}}}_0^B$作为一个条件一起输入进去。训练的目标函数与DDPM是类似的，如下所示$${\mathcal{L}}_{\theta }\left({\theta }^A,{\theta }^B\right)={\mathbb{E}}_{t,{\mathbf{x}}_0^A,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-{ϵ}_{{\theta }^A}^A\left({\mathbf{x}}_t\left({\mathbf{x}}_0^A,\mathbf{ϵ}\right),{\tilde{\mathbf{x}}}_t^B,t\right)\Vert }^2\right]+{\mathbb{E}}_{t,{\mathbf{x}}_0^B,\mathbf{ϵ}}\left[{\Vert \mathbf{ϵ}-{ϵ}_{{\theta }^B}^B\left({\mathbf{x}}_t\left({\mathbf{x}}_0^B,\mathbf{ϵ}\right),{\tilde{\mathbf{x}}}_t^A,t\right)\Vert }^2\right]$$
  值得注意的是，上面的介绍只介绍了一个方向的转换，也就是从源域到目标域的转换。就如我们前文所述，这个转换过程是双向的，同时也要做从目标域到源域的转换，这一点在上述目标函数中也能体现出来，因为转换过程是完全对称的，我们就不再重复介绍了。此外，在训练过程中不仅要对噪声估计器${ϵ}_{\theta }$进行训练，还需要对域转换网络$g_{\varphi }$进行训练，其目标函数如下$$\begin{array}{l}{\mathcal{L}}_{{ϵ}^{\varphi }}\left({\varphi }^A,{\varphi }^B\right)=\\ {\mathbb{E}}_{t,{\mathbf{x}}_0^B,\mathbf{ϵ}}[{\Vert \mathbf{ϵ}-{ϵ}_{{\theta }^A}^A\left({\mathbf{x}}_t\left(g_{{\varphi }^B}^B\left({\mathbf{x}}_0^B\right),\mathbf{ϵ}\right),{\mathbf{x}}_t\left({\mathbf{x}}_0^B,\mathbf{ϵ}\right),t\right)\Vert }^2\\ +{\Vert \mathbf{ϵ}-{ϵ}_{{\theta }^B}^B\left({\mathbf{x}}_t\left({\mathbf{x}}_0^B,\mathbf{ϵ}\right),g_{{\varphi }^B}^B\left({\mathbf{x}}_t\left({\mathbf{x}}_0^B\right),\mathbf{ϵ}\right),t\right)\Vert }^2]\\ +{\mathbb{E}}_{t,{\mathbf{x}}_0^A,\mathbf{ϵ}}[{\Vert \mathbf{ϵ}-{ϵ}_{{\theta }^B}^B\left({\mathbf{x}}_t\left(g_{{\varphi }^A}^A\left({\mathbf{x}}_0^A\right),\mathbf{ϵ}\right),{\mathbf{x}}_t\left({\mathbf{x}}_0^A,\mathbf{ϵ}\right),t\right)\Vert }^2\\ +{\Vert \mathbf{ϵ}-{ϵ}_{{\theta }^A}^A\left({\mathbf{x}}_t\left({\mathbf{x}}_0^A,\mathbf{ϵ}\right),g_{{\varphi }^A}^A\left({\mathbf{x}}_t\left({\mathbf{x}}_0^A\right),\mathbf{ϵ}\right),t\right)\Vert }^2]\end{array}$$在训练过程中，需要固定噪声估计器的参数${\theta }^A$和${\theta }^B$。在此基础上，作者还引入了CycleGAN中提到的循环一致性损失，来对域转换网络进行监督$$\begin{array}{l}{\mathcal{L}}_{\text{cyc }}\left({\varphi }^A,{\varphi }^B\right)={\mathbb{E}}_{{\mathbf{x}}_0^B}\left[{\Vert g_{{\varphi }^A}^A\left(g_{{\varphi }^B}^B\left({\mathbf{x}}_0^B\right)\right)-{\mathbf{x}}_0^B\Vert }_1\right]+{\mathbb{E}}_{{\mathbf{x}}_0^A}\left[{\Vert g_{{\varphi }^B}^B\left(g_{{\varphi }^A}^A\left({\mathbf{x}}_0^A\right)\right)-{\mathbf{x}}_0^A\Vert }_1\right]\end{array}$$综合后的目标函数如下$${\mathcal{L}}_{\varphi }\left({\varphi }^A,{\varphi }^B\right)={\mathcal{L}}_{{ϵ}^{\varphi }}\left({\varphi }^A,{\varphi }^B\right)+{\lambda }_{\text{cyc }}{\mathcal{L}}_{\text{cyc }}\left({\varphi }^A,{\varphi }^B\right)$$整个训练的流程如下图所示

  完成训练后，我们再来看一下生成过程。

  首先，从源域中采集一个参考图像${\mathbf{x}}_0^A$，从标准正态分布中采集一个噪声${\hat{\mathbf{x}}}_T^B$。然后对参考图像${\mathbf{x}}_0^A$进行逐步的扩散得到噪声${\mathbf{x}}_T^A$，对噪声${\hat{\mathbf{x}}}_T^B$逐步去噪得到目标图像${\hat{\mathbf{x}}}_0^B$。我们上文讲到噪声估计网络${ϵ}_{\theta }$的输入不仅有${\hat{\mathbf{x}}}_t^B$，还需要${\hat{\mathbf{x}}}_t^A$。${\hat{\mathbf{x}}}_t^B$就是上一时刻的去噪结果，$${\hat{\mathbf{x}}}_{t-1}^B={\mu }_{{\theta }^B}\left({\hat{\mathbf{x}}}_t^B,{\hat{\mathbf{x}}}_t^A,t\right)+{\Sigma }_{{\theta }^B}\left({\mathbf{x}}_t,t\right){ϵ}^B$$而${\hat{\mathbf{x}}}_t^A$的计算分成了两个阶段，第一阶段从时刻$T$到时刻$t_r+1$的过程中，${\hat{\mathbf{x}}}_t^A$是由扩散过程得到的$${\hat{\mathbf{x}}}_t^A=\sqrt{{\bar{\alpha }}_{t^A}}{\mathbf{x}}_0^A+\sqrt{1-{\bar{\alpha }}_{t^A}}{\mathbf{ϵ}}^A$$第二阶段从$t_r$到1的过程中，${\hat{\mathbf{x}}}_t^A$是通过去噪的方式计算的$${\hat{\mathbf{x}}}_{t-1}^A=\frac{1}{\sqrt{1-{\alpha }_t}}\left({\hat{\mathbf{x}}}_t^A-\frac{1-{\alpha }_t}{\sqrt{1-\overline{{\alpha }_t}}}{ϵ}_{{\theta }^A}\left({\hat{\mathbf{x}}}_t^A,{\hat{\mathbf{x}}}_t^B,t\right)\right)+{\sigma }_t{\mathbf{ϵ}}^A$$这个时间点$t_r$被称为释放时刻（release time），整体的生成过程如下图所示