- https://proceedings.neurips.cc/paper_files/paper/2023/file/61960fdfda4d4e95fa1c1f6e64bfe8bc-Paper-Conference.pdf
- https://rival-diff.github.io/
- 问题引入
- 针对的是image varation generation这个任务,tuning free的;
- methods
- C C C表示condition, R R R表示exampler image, X X X表示latent feature, G G G表示生成的image variation,即裂变之后的图片;首先基于 R R R进行inversion得到inverted latent feature chain { X R 0 , ⋯ , X R T } \{X^0_R,\cdots,X_R^T\} {XR0,⋯,XRT},之后随机采样 X G T X^T_G XGT作为generation chain的初始latent,操作的就是generation chain中的latent { X G T , ⋯ , X G 0 } \{X^T_G,\cdots,X_G^0\} {XGT,⋯,XG0}
- Cross-Image Self-Attention Injection:针对self attn层进行操作,其中 ⊕ \oplus ⊕表示concat的操作,
- Inverted Latent Chain Alignment:仅仅使用上述方法在面对真实图像时候还是不够的,分为两部分,一部分是initial latent
X
G
T
X_G^T
XGT的初始化,因为inversed的
X
R
T
X_R^T
XRT的分布和预设的标准正态分布不一定一致:
另一部分是CFG导致的inversed的不准确问题,在step的早期进行align操作, C ∗ C^* C∗表示null text: