1. 概述

虽然pix2pix作为风格转换模型被提出，但它依赖于成对的数据集。与之相比，CycleGAN通过引入循环损失，实现了无需配对数据的风格转换。不过，CycleGAN在处理需要大幅几何变化的风格转换时表现不佳，仅在如马和斑马这类颜色变化的场景中有效。

2018年，MUNIT利用变分自编码器（VAE）为两个领域间建立了共享潜在空间。直观上，用单一潜在变量表示两个领域内的目标是直接的，但实际上，捕捉更复杂的领域间几何结构却充满挑战。

本研究提出的模型将图像分解为几何和外观两部分，并将它们分别编码为潜在变量，从而实现了需要显著几何变化的风格转换。此外，与传统方法相比，我们的模型能够生成更自然、更多样化的图像。

论文地址：https://arxiv.org/abs/1904.09571

2.Transgaga

2.1 算法架构

所提出方法的架构图展示如下。目标是围绕中心界线，实现从左至右的域转换。

以架构图为参考，我们将图像分解为几何和外观两部分。由于架构的对称性，x被y替代。首先，让我们阐述图像的几何信息。图像的方向性被编码在一个由$g_x$表示的热图之中。输入图像首先送入$E_{g_x}$，即自动编码器，以产生一个与输入图像分辨率相匹配的热图。该热图拥有30个通道。随后，该热图被送入$E_{c_x}$，也就是编码器，以提取出$c_x$，即几何形状的潜在表示（图中以黄色方块表示）。接下来是外观部分。图像的形状信息被直接送入编码器$E_{a_x}$，以获得其潜在表示$a_x$。将上述得到的$c_x$和$a_x$送入解码器$D_x$，即可重建图像$\hat{x}$。

风格转换是如何进行的呢？风格转换同样包含几何转换${\Phi }_{h_x\to y}$和外观转换${\Phi }_{a_x\to y}$。通过$\Phi$，几何和外观的潜在表征$p_x$和$a_x$被分别转换到另一个域，它们各自拥有一个Transformer。

2.2 损失函数

在文档中提及的损失函数是TransGaGa模型的关键部分，用于实现图像风格转换。以下是对文档中损失函数部分的重新排版和详细解释：

VAE损失函数 (LCVAE)

VAE损失函数结合了KL散度和重构误差，用于确保模型正确编码和解码。公式如下：

$$L_{CVAE}(\pi ,\theta ,\varphi ,\omega )=-KL(q_{\theta }(c|x,g)\Vert p(a|x))+\Vert x-D(E_c(E_g(x)),E_a(x))\Vert$$

• 第一项 $-KL(q_{\theta }(c|x,g)\Vert p(a|x))$ 是KL散度，表示热图中的潜在变量 $c$ 与输入图像中的潜在变量 $a$之间的“距离”。
• 第二项 $\Vert x-D(E_c(E_g(x)),E_a(x))\Vert$ 是重构误差，确保解码器生成的图像与输入图像 $x$ 接近。

几何损失函数 (Lprior)

几何损失函数关注热图中每个通道的值，防止热图集中于中心。公式如下：

$$L_{prior}=\sum _{i\ne j}exp\left(-\frac{\Vert g_i-g_j{\Vert }^2}{2{\sigma }^2}\right)+\frac{Var(g)}{\sigma }$$

• $\sigma$ 是超参数。
• 第一项鼓励每个通道 ( g_i ) 取不同的值。
• 第二项约束通道值的方差，避免取过大的值。

外观损失函数 (Lacon)

外观损失函数处理风格转换后图像的相似性。公式如下：

$$Lacon=\Vert \frac{\zeta (x)-\zeta (D_y({\Phi }_{gx\to y}\cdot E_{gx}(x),{\Phi }_{ax\to y}\cdot E_{ax}(x)))}{\zeta (x)}\Vert$$

• ( \Phi ) 是变换器，将几何和外观的潜在表示转换到目标域。
• ( D_y ) 是解码器，结合了变换后的几何和外观信息来生成图像。
• ( \zeta() ) 是训练后的VGG-16的输出，确保域变换前后图像在形状上的相似性。

总损失函数 (Ltotal)

总损失函数是上述损失函数的结合，加上其他CycleGAN中定义的损失项：

$$L_{total}=L_{CVAE}+L_{prior}+Lacon+L_{acyc}+L_{cyc}+L_{pixcyc}+Laadv+L_{gadv}+L_{pixadv}$$

• $L_{cyc}$ 是CycleGAN中提出的循环损失。
• $L_{adv}$ 类似于传统GAN中的对抗损失函数。

3.实验结果

基线是CycleGAN、UNIT、MUNIT和DRIT。生成的图像以其真实性和多样性作为评价指标。人的主观评价也会进行。

3.1 生成图像

以下是建议方法和基线的实际风格转换结果。

上图显示，所提出的方法具有自然的风格转换，而基线具有不自然的形状和破碎的轮廓。在图5中，我们比较了所提出的方法的多模态。在图5中，我们比较了所提出的方法与基线的多模态。

3.2 主观评价和得分

受试者从两个不同的模型中看到生成的图像。比较了一下，问他们(a)哪一个更真实，(b)哪一个有更好的几何形状。结果如下表所示。在(a)和(b)中，建议的方法比基线的性能高出50%。

接下来，我们使用FID和Diversity评分来评估模型。FID是输入图像和输出图像的分布距离，得分越低越好；Diversity是输出图像的多样性，得分越高越好；Diversity只对多模态模型进行评价。结果如下表所示，我们可以看到，除了猫→人脸和狗→猫的多样性外，其他提出的方法在得分上都有优势。

4.总结

在image2image任务中，我们将输入的图像分为几何图形和外观，并在潜伏空间中为它们分别准备了变换器，这使得我们能够在几何变化较大的情况下变换风格。此外，通过引入新的损失函数，我们使学习比CycleGAN更稳定。