1. FusionGAN论文阅读
abreheret/FusionGAN: Pytorch implementation of "Generating a Fusion Image: One’s Identity and Another’s Shape"
1.1. WHY
在现实世界中，将对象或人物转换为期望的形状是一种常用技术，但现有的图像翻译方法在处理身份和形状时存在不足，如现有图像翻译学习映射函数时缺乏明确的形状匹配损失函数，可能导致形状无法保持。因此需要新的框架来有效处理身份和形状问题，以生成融合图像，例如将一个人的身份与另一个人的姿势相结合，将合成眼图像转换为真实图像并保持形状，或实现不同风格图像（如照片、素描、卡通）之间的转换等。
1.2. HOW
1.2.1. FusionGAN
基于生成对抗网络（GANs）提出新网络，可从多个无标签图像集中获取两个输入图像，生成具有一个输入图像身份和另一个输入图像形状的融合图像，且能同时在多个图像数据集上进行无监督训练。具体地，对于两个输入图像和
，目标是生成融合图像
，即输出图像具有
的身份和
的形状。网络不限于两个图像集之间的转换，可用于多个无标签图像集。这里身份可视为图像集级别的特征（如在 VGG YouTube Pose 数据集里是人物身份），形状为实例级别的特征（如人物姿势）。
1.2.2. 损失函数
身份损失
通过判别器区分输入对是真实对还是生成对，使生成图像的分布与第一个输入图像所属集合的分布相似，以获取图像
的身份。采用
损失替代负对数似然，让生成器
最大化
