Meta 刚刚宣布了Fairy——一项快速并行指令引导视频到视频合成的创新技术。这一引入图像编辑扩散模型的简约而强大的改进,极大地增强了其视频编辑应用程序的性能。
他们的方法聚焦于基于锚的跨帧注意力的概念,这是一种隐式跨帧传播扩散特征的机制,以确保卓越的时间一致性和高保真度的合成效果。Fairy不仅成功解决了以前模型在内存和处理速度方面的局限性,而且通过独特的数据增强策略进一步提高了时间一致性。这一策略使得模型能够适应源图像和目标图像中的仿射变换等变化。
Fairy的效率也是其引人注目之处,仅需14秒即可生成120帧512×384分辨率的视频(30 FPS,时长4秒),比之前的作品至少快了44倍。一项全面的用户研究涉及1000个生成样本,证实了他们的方法在质量上表现卓越,明显优于现有方法。这一创新技术的推出标志着Meta在视频合成领域取得了显著的进展。