在个性化生成领域, 微调可能会引起过拟合导致模型无法生成与提示词一致的结果。针对这个问题，北交&字节联合提出ClassDiffusion，来提升个性化生成的一致性。

通过两个重要观察及理论分析提出了新的观点:一致性的损失是个性化概念语义偏移导致的, 还引入了BLIP2-T 来为个性化生成领域提供更公平有效的指标。

一只狗和太阳镜的故事，展示了一只狗是如何获得诺贝尔文学奖的，以及一副太阳镜的命运。

相关链接

项目主页: https://classdiffusion.github.io/

论文地址: https://arxiv.org/abs/2405.17532v1

代码地址:https://github.com/Rbrq03/ClassDiffusion

论文阅读

ClassDiffusion:使用明确的类指导进行更一致的个性化调优

摘要

最近的文本到图像定制工作已被证明能够成功生成给定概念的图像，方法是通过对一些示例微调扩散模型。然而，这些方法往往会过度拟合概念，导致在多种条件下无法创建概念（例如，在生成“戴耳机的狗”时缺少耳机）。

有趣的是，我们注意到微调之前的基础模型表现出将基础概念与其他元素组合的能力（例如，戴耳机的狗），这意味着只有在个性化调整后，组合能力才会消失。

受此观察的启发，我们提出了 ClassDiffusion，这是一种简单的技术，它利用语义保存损失在学习新概念时明确调节概念空间。尽管它很简单，但这有助于避免在对目标概念进行微调时出现语义漂移。

大量的定性和定量实验表明，使用语义保存损失可以有效提高微调模型的组合能力。为了应对 CLIP-T 指标的无效评估，我们引入了 BLIP2-T 指标，这是针对该特定领域的更公平、更有效的评估指标。我们还提供了深入的实证研究和理论分析，以更好地理解所提出的损失的作用。最后，我们还将 ClassDiffusion 扩展到个性化视频生成，展示了其灵活性。

方法概述

ClassDiffusion 概述。我们的语义保存损失 (SPL) 是通过测量从同一文本转换器（使用 EOS 标记作为 CLIP 之后的文本特征）中提取的具有个性化标记的短语和仅具有超类的短语之间的余弦距离来计算的。

实验

单一概念比较

ClassDiffusion方法与具有单一给定概念的基线进行定性比较。

多个概念比较

ClassDiffusion方法与具有多个给定概念的自定义扩散（CD）进行定性比较。

个性化视频

实验分析

（a）每个点代表由形容词和“狗”组合而成的短语的 CLIP 文本嵌入（例如，一只可爱的狗）。经过微调后，定制概念（蓝点代表微调前的概念，红点代表微调后的概念）远离文本特征空间中“狗”分布的中心。

（b）使用提示“一张在游泳池里游泳的狗的照片”时，与狗 token 对应的交叉注意图的可视化结果。

理论分析

在个性化调整过程中，随着狗的分布缩小，狗和耳机的条件分布也会缩小。这逐渐增加了在此分布中采样的难度，导致组合生成能力减弱。我们的 ClassDiffusion 通过结合语义保留损失 (SPL) 来缓解这种情况，以最大限度地减少个性化概念与其超类的语义漂移。

待做事项

• ClassDiffusion的训练代码

• ClassDiffusion的推理代码

• BLIP2-T评分管道

• 用ClassDiffusion生成视频的推理代码

结论

在这项工作中，我们强调了由于个性化而削弱了构图能力的问题并从实验观察微调和信息理论观点中分析了这一问题的原因。 然后，我们引入一种称为ClassDiffusion的新方法，通过还原原始语义空间，减轻了合成能力的弱化。 最后,我们提出了全面的实验结果，展示了ClassDiffusion和它为相互关联的领域提供了新的视角。