论文:SinDDM: A Single Image Denoising Diffusion Model, ICML 2023
去噪扩散模型(DDM)在图像生成、编辑和恢复方面带来了惊人的性能飞跃。然而,现有DDM使用非常大的数据集进行训练。在这里,介绍一个用于在单个图像上训练DDM的框架。SinDDM,通过使用多尺度扩散过程来学习训练图像的内部统计信息。为了驱动反向扩散过程,使用了一个完全卷积的轻量级去噪器,它取决于噪声水平和标度。该体系结构允许以粗略到精细的方式生成任意维度的样本。SinDDM生成各种高质量的样本,并适用于广泛的任务,包括风格转移和哈尔monization。此外,它可以很容易地被引导外部监督。特别地,实验演示了使用预先训练的CLIP模型从单个图像进行文本引导生成。
模型的示意图如下:
训练:
采样:
实验效果对照: