https://www.crosslabs.org//blog/diffusion-with-offset-noise

带有偏移噪声的扩散
针对修改后的噪声进行微调，使得稳定扩散能够轻松生成非常暗或非常亮的图像。
作者：尼古拉斯·古藤伯格
|
2023年1月30日

马里奥兄弟使用稳定扩散挖掘隧道。左图显示了未使用偏移噪声的原始结果，右图使用偏移噪声显示了更丰富的黑色调。

稳定扩散在使用偏移噪声前（左）和使用偏移噪声后（右）

去噪扩散概率模型（Denoising Diffusion Probabilistic Models）是一种相对较新的生成神经网络模型，可以从从数据中学习到的高维概率分布中生成样本。其他解决同类问题的方法包括生成对抗网络（Generative Adversarial Networks）、归一化流（Normalizing Flows）以及各种形式的自回归模型，这些模型一次或分批对维度进行采样。此类模型的主要应用之一是在图像合成中，扩散模型在图像质量方面最近竞争力很强，特别是在生成全局连贯的图像构图方面。稳定扩散（Stable Diffusion）是一个预训练的、公开可用的模型，能够使用这种技术生成一些惊人的结果。然而，它有一个有趣的限制，似乎大多没有被注意到。如果你试图让它生成特别暗或特别亮的图像，它几乎总是生成平均值相对接近0.5的图像（全黑图像为0，全白图像为1）。例如：

左上：暴雨中的黑暗小巷（0.301）；右上：白色背景上的单色线条艺术标志（0.709）；左下：阳光明媚的雪坡（0.641）；右下：仅有火把照亮的广场（0.452）

大多数情况下，这些图像仍然是合理的。但是，这种平均值趋近于0.5的软约束可能导致图像显得淡化、亮雾区域平衡其他暗区域、高频纹理（在标志中）而不是空白区域、灰色背景而不是白色或黑色等。虽然有些可以通过手动后期处理来修正或调整，但这里也存在一个更大的潜在限制，即场景的整体色调可能与表现和构图的其他方面相关，这样扩散模型就无法像其他方法那样自由探索这些方面。但为什么会这样呢？我是想象中的效果还是这些结果是“正确的”？这是训练数据的问题、架构的问题还是扩散模型本身的问题？（事实证明是最后一个）。

不过，首先，为了确保我没有想象出这些效果，我尝试针对一张全黑图像对稳定扩散进行微调。通常，对稳定扩散（SD）进行微调效果很好——有一种称为Dreambooth的技术可以教SD新的特定概念，比如特定的人的脸或特定的猫，几十张图像和几千次梯度更新就足够让模型学会特定对象的样子。将其扩展到一万步，它甚至可以开始记住特定的图像。

但当我针对这张全黑图像进行了3000步微调后，对于“全黑图像”的生成结果仍然如下：

使用提示：“全黑图像”

所以看来不仅SD开箱即用时无法生成过于暗或亮的图像，而且它甚至无法学会这样做。除非对其进行一些修改。

要理解发生了什么，帮助很大的是研究一下扩散模型正在学习反转的内容。通常，扩散模型被公式化为特定前向随机过程的逆过程——重复添加少量“独立同分布”（iid）的高斯噪声。也就是说，每个像素在潜在空间中在每一步都接收自己的随机样本。扩散模型学习在进行了一些步后，从图像中找到返回原始图像的方向。给定这个可以“向真实图像倒退”的模型，你从纯噪声开始，反转噪声过程以得到新的图像。

问题在于，你在前向过程中永远不会完全擦除原始图像，因此，从纯噪声开始的逆过程模型并不能完全回到图像的真实分布。相反，那些噪声最后破坏的特征在逆过程中变化最小——这些特征继承自用于开始过程的潜在噪声样本。乍一看可能不明显，但如果你研究前向过程如何破坏图像，长波长特征需要更长时间才能被噪声破坏：

这就是为什么使用相同的潜在噪声种子但不同提示往往会生成在整体构图上相关但在个体纹理或小尺度图案上不同的图像。扩散过程不知道如何改变这些长波长特征。而最长的波长特征是整个图像的平均值，也是独立样本之间变化最小的特征。这个问题在目标对象的维度越高时越严重，因为独立噪声样本集合的标准差与1/N成比例。因此，如果你生成一个4维向量，这可能不是大问题——你只需要两倍的样本来获得最低频率分量与最高频率分量。但在512x512分辨率的稳定扩散中，你生成的是一个3 x 64^2 = 12288维的对象。所以最长波长变化比最短波长慢大约100倍，意味着你需要考虑成百上千步才能捕捉到，而默认值大约是50（对于一些复杂的采样器，甚至低至20）。

似乎增加采样步数确实可以帮助SD生成更极端的图像，但我们可以做得更好，并提供一个即插即用的解决方案。诀窍在于我们教扩散模型逆转的噪声结构。因为我们使用的是iid样本，我们有这个1/N效应。但如果我们使用的噪声看起来像每个像素的iid样本加上整个图像相同的单个iid样本呢？用代码术语来说，目前的训练循环使用的噪声如下：noise = torch.randn_like(latents)但我可以使用这样的噪声：noise = torch.randn_like(latents) + 0.1 * torch.randn(latents.shape[0], latents.shape[1], 1, 1)这将使模型学习自由改变零频分量，因为该分量现在比基础分布快随机化约10倍（选择0.1在我的有限数据和训练时间内效果很好——如果我设得太大，它会倾向于主导模型的现有行为，但如果设得太小，我不会看到改善）。

用这样的噪声进行约一千步的微调，仅需40张手工标注的图像，就足以显著改变稳定扩散的行为，而不会让它在以前能够生成的东西上变得更糟。以下是文章上方四个提示的对比结果：

右上：暴雨中的黑暗小巷（0.032）；左上：白色背景上的单色线条艺术标志（0.974）；左下：阳光明媚的雪坡（0.858）；右下：仅有火把照亮的广场（0.031）

星空在使用偏移噪声前后

超级英雄在黑暗小巷中与植物怪物战斗前后

结论
有许多论文讨论了改变去噪扩散模型的噪声调度，以及使用不同于高斯分布的噪声，甚至完全去除噪声而使用其他破坏操作如模糊或遮罩。然而，大多数关注点似乎是加速推理过程——能够使用更少的步数。似乎没有太多关注关于噪声（或图像破坏操作）的设计决策如何限制可以轻松合成的图像类型。然而，这对于这些模型的美学和艺术用途来说非常相关。对于深入定制这些模型并进行自己的微调的个别艺术家来说，针对某个项目调整使用这种偏移噪声并不难。你可以使用我们的检查点文件（在访问此文件前请阅读最后的注意事项）。但是，用少量图像进行微调，结果永远不会像大项目可以实现的那样普遍或好。

因此，我想以一个请求结束，向那些参与训练这些大型模型的人：请在下次进行大规模训练时，在训练过程中加入一点这样的偏移噪声。它应该显著增加模型的表现范围，允许在生成标志、剪切图、自然明亮和黑暗的场景、强色彩照明的场景等方面得到更好的结果。这是一个非常简单的技巧！