Diffusion Models专栏文章汇总：入门与实战

前言：街景图生成相当有挑战性，目前的文本到视频的方法仅限于生成有限范围的场景的短视频，文本到3D的方法可以生成单独的对象但不是整个城市。除此之外街景图对一致性的要求相当高，这篇博客介绍如何用Diffusion Models执行街景图生成。

目录

概述

方法详解

基于粗糙场景布局信息的条件方法

自回归生成法

论文

---

概述

通过对被忽视的数据来源(大规模的街景图像集合)进行训练，并对一种新的输入进行条件反射，即跨越多个城市块的场景布局来合成远程一致的街景。为了在长尺度上获得高质量的街景，我们提出了 (i) 布局条件生成方法，(ii) 能够实现一致两帧生成的运动模块，以及 (iii) 一种自回归时间插补技术，在推理时修改预训练的两帧运动模块以实现一致的远程视频生成。通过我们的结果，我们证明了我们的系统自回归地生成覆盖具有一致高质量远程相机轨迹的街景。由于我们对场景布局、相机姿势和场景条件的灵活控制，我们的系统还支持许多创造性的场景生成应用程序。