13. Pretraining is All You Need for Image-to-Image Translation

  该文提出一种基于预训练扩散模型的图像转换方法，称为PITI。其思想并不复杂，就是借鉴现有视觉和NLP领域中常见的预训练方法，考虑预先在一个大规模的任务无关数据集上对扩散模型进行预训练，使其具备一个高度语义化的空间。然后，再针对特定任务对模型进行微调训练，此时微调过程只需要关注与任务相关的输入信息，而困难的图像生成工作，比如渲染一个合理布局和真实的纹理，将根据预训练时得到的知识来完成。

  在本文中，作者采用GLIDE模型作为基础模型，在一个包含67M个文本-图像对的数据集上进行预训练。使用基础模型进行图像生成的过程，可以看作是对原始输入${\mathbf{x}}_0$和条件$\mathbf{y}$进行编码和解码的过程$${\mathbf{x}}_t=\tilde{\mathcal{D}}\left(\tilde{\mathcal{E}}\left({\mathbf{x}}_0,\mathbf{y}\right)\right)$$其中$\tilde{\mathcal{D}}$和$\tilde{\mathcal{E}}$分别表示解码和编码器。微调训练包含两个阶段，第一阶段时锁定解码器的参数，只对编码器进行训练；第二阶段是对两者进行联合训练。
  由于扩散模型生成的结果通常分辨率较低，如64*64，因此作者也采用了一个基于扩散模型的上采样器，对生成结果进行分辨率提升。然而，作者发现提升的结果存在过度平滑的问题，因此作者又引入了GAN中常见的感知损失和对抗损失，如下式$$\begin{array}{rl}{\mathcal{L}}_{\text{perc }}& ={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\Vert {\mathbf{\psi }}_m\left({\hat{\mathbf{x}}}_0^t\right)-{\mathbf{\psi }}_m\left({\mathbf{x}}_0\right)\Vert ,\\ {\mathcal{L}}_{\mathrm{adv}}& ={\mathbb{E}}_{t,{\mathbf{x}}_0,\mathbf{ϵ}}\left[\log D_{\theta }\left({\hat{\mathbf{x}}}_0^t\right)\right]+{\mathbb{E}}_{{\mathbf{x}}_0}\left[\log \left(1-D_{\theta }\left({\mathbf{x}}_0\right)\right)\right]\end{array}$$其中${\hat{\mathbf{x}}}_0^t=\left({\mathbf{x}}_t-\sqrt{1-{\alpha }_t}{\mathbf{ϵ}}_{\theta }\left({\mathbf{x}}_t,\mathbf{y},t\right)\right)/\sqrt{{\alpha }_t}$表示预测得到的生成结果。
  最后，作者发现在常规的无分类器引导的扩散模型CDM中$${\widehat{\mathbf{ϵ}}}_{\theta }\left({\mathbf{x}}_t\mid \mathbf{y}\right)={\mathbf{ϵ}}_{\theta }\left({\mathbf{x}}_t\mid \mathbf{y}\right)+w\cdot \left({\mathbf{ϵ}}_{\theta }\left({\mathbf{x}}_t\mid \mathbf{y}\right)-{\mathbf{ϵ}}_{\theta }\left({\mathbf{x}}_t\mid \varnothing \right)\right)$$条件的引入会导致估计噪声的均值和方差发生漂移，如下$$\hat{\mu }=\mu +w\left(\mu -{\mu }_{\varnothing }\right)$$$${\hat{\sigma }}^2=(1+w{)}^2{\sigma }^2+w^2{\sigma }_{\varnothing }^2$$并且这个偏移会随着迭代去噪过程逐渐累积，最终导致生成图像过饱和或者过度平滑。为此，作者提出一种规则化处理方式，如下式$${\widetilde{\mathbf{ϵ}}}_{\theta }\left({\mathbf{x}}_t\mid \mathbf{y}\right)=\frac{\sigma }{\hat{\sigma }}\left({\widehat{\mathbf{ϵ}}}_{\theta }\left({\mathbf{x}}_t\mid \mathbf{y}\right)-\hat{\mu }\right)+\mu$$
  作者在"掩码到图像"、"轮廓到图像"和”几何体到图像“等图像转换任务中，对本文提出的方法进行了测试，其效果如下