OpenAI 的大模型 Sora 可以制作一整分钟的高质量视频。他们的工作成果表明,使视频生成模型更大是为现实世界创建多功能模拟器的好方法。Sora 是一种灵活的可视化数据模型。它可以创建不同长度、形状和大小的视频和图片,甚至可以创建长达一分钟的高清视频。我阅读了 OpenAI 的 SORA 技术报告,让每个人都更容易理解。让我们开始吧!
大型语言模型 (LLM) 的灵感:
- 灵感来源:该方法的灵感来自大型语言模型,这些模型通过对大量互联网规模数据的训练来实现通才功能。
- 法学硕士范式:以 LLM 为例的大型语言模型之所以成功,部分原因是使用了标记。标记作为各种文本模式的统一表示,包括代码、数学和各种自然语言。
训练:
Sora 的训练涉及视频压缩、时空潜伏补丁的提取以及缩放变压器以生成视频。让我们分解每个部分:
视频压缩网络:
- 输入:原始视频片段。