2022年末，OpenAI聊天机器人ChatGPT的面世无疑成为了引领人工智能浪潮的标志性事件，宣告了新一轮科技革命的到来。无论是聊天娱乐、教育学习，还是工作生产、医疗健康等领域，人工智能正以前所未有的速度渗透到我们生活的方方面面。

2月16日凌晨，OpenAI再次扔出一枚深水炸弹，发布了首个文生视频模型Sora。据介绍，Sora可以直接输出长达60秒的视频，并且包含高度细致的背景、复杂的多角度镜头，以及富有情感的多个角色。

这意味着，继文本、图像之后，OpenAI将其先进的AI技术拓展到了视频领域。OpenAI亦表示，Sora是能够理解和模拟现实世界的模型的基础，这一能力将是实现AGI（通用人工智能）的重要里程碑。

对于OpenAI视频生成模型的出现，业内其实早有预期，但仍有人评价称“比想象中来得更快”，亦有人振奋地表示“我们真的看到新工业革命来临”。

2月16日，业内分析人士对《每日经济新闻》记者表示，Sora无疑是人工智能领域的一次重大突破，该技术不仅展示了AI在理解和创造复杂视觉内容方面的先进能力，而且对内容创作、娱乐和影视制作行业带来了前所未有的挑战和机遇。

目前官网上已经更新了48个视频demo，在这些demo中，Sora不仅能准确呈现细节，还能理解物体在物理世界中的存在，并生成具有丰富情感的角色。该模型甚至还可以根据提示、静止图像填补现有视频中的缺失帧来生成视频。

人们一直期待GPT-5，但Sora带来的轰动不亚于一次GPT-5的发布。

作为OpenAI 首推的文本转视频模型，Sora能够根据文本指令或静态图像生成长达 1分钟的视频，其中包含精细复杂的场景、生动的角色表情以及复杂的镜头运动。同时也接受现有视频扩展或填补缺失的帧。

每条提示60秒的视频长度与Pika Labs的3秒、Meta Emu Video的4秒、和Runway公司Gen-2的18秒相比，妥妥地铁赢了。并且从官方发布的演示来看，无论从视频流畅度还是细节表现能力上，Sora的效果都相当惊艳。

例如一个Prompt（大语言模型中的提示词）的描述是：在东京街头，一位时髦的女士穿梭在充满温暖霓虹灯光和动感城市标志的街道上。

在Sora生成的视频里，女士身着黑色皮衣、红色裙子在霓虹街头行走，不仅主体连贯稳定，还有多镜头，包括从大街景慢慢切入到对女士的脸部表情的特写，以及潮湿的街道地面反射霓虹灯的光影效果。

对于五官和皮肤的刻画十分真实，特别是痘印和法令纹，细节让人惊叹。

AI想象中的龙年春节，红旗招展人山人海。有儿童紧跟舞龙队伍抬头好奇观望，还有不少人掏出手机边跟边拍，海量人物角色各有各的行为。

竖屏超近景视角下，这只蜥蜴细节拉满：

Sora模型能够生成包含多个角色、特定类型运动和主体及背景精确细节的复杂场景。该模型不仅能理解用户在提示中所要求的内容，还能理解这些事物在现实世界中的存在方式。该模型对语言有深刻理解，能准确解读提示，并生成表达丰富情感的引人入胜的角色。Sora还能在单个生成的视频中创建多个镜头，使角色和视觉风格保持准确一致。

比如一大群纸飞机在树林中飞过，Sora知道碰撞后会发生什么，并表现其中的光影变化。

一群纸飞机在茂密的丛林中翩翩起舞，在树林中穿梭，就像候鸟一样。

对于Sora当前存在的弱点，OpenAI也不避讳，指出它可能难以准确模拟复杂场景的物理原理，并且可能无法理解因果关系。

例如，它在准确模拟复杂场景的物理现象方面存在困难，也可能不理解特定的因果关系。比方说“一个人咬一口饼干后，饼干上可能并没有咬痕。”

模型也可能混淆提示的空间细节，像是弄错左右。或者“在准确体现随时间发生的事件方面遇到困难，比如遵循特定的摄像机轨迹”。

Sora也使用了DALL·E 3的recaptioning技术，该技术涉及为视觉训练数据生成高度描述性的标题。因此模型能够更忠实地按照用户在生成视频中的文本指令进行操作。

它能够一次性生成整个视频，或是扩展已生成的视频使其变长。通过让模型一次性预见多帧，解决了即使主体暂时离开视线也能保持不变的挑战性问题。

例如“五只灰狼幼崽在一条偏僻的碎石路上互相嬉戏、追逐”，狼的数量会变化，有的狼崽凭空出现或消失。

该模型还可能混淆提示词的空间细节，例如混淆左右，并且可能难以精确描述随着时间推移发生的事件，例如遵循特定的相机轨迹。

如根据提示词“篮球穿过篮筐然后爆炸”生成的视频中，篮球撞到篮筐边缘竟然没有反弹而是直接穿过。

OpenAI表示，他们正在教AI理解和模拟运动中的物理世界，目标是训练模型来帮助人们解决需要现实世界交互的问题。

同时OpenAI解释了Sora的工作原理，Sora是一个扩散模型，它从类似于静态噪声的视频开始，通过多个步骤逐渐去除噪声，视频也从最初的随机像素转化为清晰的图像场景。Sora使用了Transformer架构，有极强的扩展性。

如今，Sora正面向部分成员开放，以评估关键领域的潜在危害或风险。同时，OpenAI也邀请了一批视觉艺术家、设计师和电影制作人加入，期望获得宝贵反馈，以推动模型进步，更好地助力创意工作者。

Sam Altman就转发网友用Sora制作的“金光灿灿动物园”视频，玩起了自己的“What”梗：

他还邀请大家踊跃提出想用Sora制作视频的提示词，团队马上为大家生成，瞬间8千多条回复。

网友脑洞大开，要看海洋生物的自行车公开赛。

关于安全性，OpenAI表示正与错误信息、仇恨内容和偏见等领域的专家合作，对模型进行对抗性测试。同时也在开发帮助检测误导性内容的工具，识别视频是否由Sora生成。对于违反使用政策的文本提示，例如暴力、仇恨和侵犯他人知识产权等内容，将拒绝显示给用户。

除此以外，为DALL·E 3产品构建的现有安全方法也同样适用于Sora。

“尽管进行了广泛的研究和测试，我们仍无法预测人们将如何利用我们的技术，也无法预见人们如何滥用它。这就是为什么我们相信，从真实世界的用例中学习，是随时间构建越来越安全的AI系统的关键组成部分。”

OpenAI对 Sora信心满满，认为这为模型理解和模拟真实世界奠定了基础，是“实现AGI的重要里程碑”。

网友们也第n+1次纷纷哀悼起相关赛道的公司们：

“OpenAI就是不能停止杀死创业公司。”

“天哪，现在起我们要弄清什么是真的，什么是假的。”

“我的工作没了。”

“整个影像素材行业被血洗，安息吧。”

能杀死GPT-4的世界模型？这不就是吗

OpenAI一如既往没有给出很详细的技术说明，但一些只言片语已经足够让你浮想联翩。

其中最吸引我们注意的第一个点，是对数据的处理。

Sora是一个扩散模型（diffusion model），采用类似GPT的Transformer架构。而在解决训练中文本资料与视频数据之间的统一方面，OpenAI表示，他们在处理图像和视频数据时，把对它们进行分割后得到的最小单元，称为小块（patches），也就是对应LLM里的基本单元tokens。

这是一个很重要的技术细节。把它作为模型处理的基本单元，使得深度学习算法能够更有效地处理各种视觉数据，涵盖不同的持续时间、分辨率和宽高比。

从最终的震撼效果看，你很难不得出这样一个结论：对语言的理解能力，是可以迁移到对更多形态的数据的理解方法上去的。

此前的Dalle-3的效果就被公认很大程度来自OpenAI在GPT上积累的领先N代的语言能力，哪怕是个图像为输出的模型，语言能力提升也是至关重要的。而今天的视频模型，同样如此。

至于它是如何做到的，有不少行业内的专家给出了相同的猜测：它的训练数据里使用了游戏领域最前端的物理引擎Unreal Engine5，简单粗暴的理解，就是语言能力足够强大之后，它带来的泛化能力直接可以学习引擎生成的图像视频数据和它体现出的模式，然后还可以直接用学习来的，引擎最能理解的方式给这些利用了引擎的强大技术的视觉模型模块下指令，生成我们看到的逼真强大的对物理世界体现出“理解”的视频。

基于这个猜测，OpenAI简短的介绍中的这句话似乎就更加重要了：

“Sora 是能够理解和模拟现实世界的模型的基础，OpenAI相信这一功能将成为实现AGI的重要里程碑。”

理解，现实，世界。

这不就是人们总在争论的那个唯一有可能“干掉”GPT-4的世界模型。现在，OpenAI搞出来了它的雏形，摆在了你的面前。

看起来，这个模型学会了关于 3D 几何形状和一致性的知识，而且并非OpenAI训练团队预先设定的，而是完全是通过观察大量数据自然而然地学会的。负责Sora训练的OpenAI科学家Tim Brooks表示，AGI将能够模拟物理世界，而Sora就是迈向这个方向的关键一步。

显然，在OpenAI眼里，它不只是一个“文生视频模型”，而是更大的东西。

我们如果尝试进一步给一个暴论，就是：语言是理解一切的基础，理解了视频后，世界模型才会到来。

可能这才是比今天刷屏感慨“现实不存在了”之外，更恐怖的地方。这可能是人类通往AGI的又一个ChatGPT时刻。

---

免责声明：AI资讯内容均来自网络收集，仅供学习交流使用，严禁商用，版权属于原作者，本公众号不承担用户因使用或分享该资源对自身以及他人所造成的任何影响和伤害，如需获得更好体验，还请大家支持正版。如本公众号内容侵犯原作者的版权或利益，我们深感抱歉，请及时联系我们删除，发送邮件到：hmmwx53@163.com，我们将会在收到消息后立即删除并撤下资源，感谢！