全球首个开源类Sora模型大升级，16秒720p画质电影感爆棚！代码和权重全面开源！

01 视频界开源战士

02 深度解码技术

03 打破闭环，开源赋能

潞晨Open-Sora团队刚刚在720p高清文生视频质量和生成时长上实现了突破性进展！

全新升级的Open-Sora不仅支持无缝生成任意风格的高质量短片，更令人惊喜的是，团队选择继续全部开源。

GitHub地址：https://github.com/hpcaitech/Open-Sora

没体验过OpenAI最新版GPT-4o？快戳最详细升级教程，几分钟搞定：

升级ChatGPT-4o Turbo步骤https://www.zhihu.com/pin/1768399982598909952

通过他们的模型权重，可以生成各种酷炫短片，如海浪与海螺的亲密接触，以及深不可测的森林秘境。

人物肖像的渲染也相当逼真，不论是中国古典美女还是欧美风人物，都能保持一致的风格。

即使是电影级别的镜头制作，也能轻松应对。

例如，实现流畅的变焦效果，为影片增添专业级的视觉效果，帮助电影制作人员创造出逼真的电影镜头。

01 视频界开源战士

LambdaLabs，美国科技界独角兽，基于潞晨团队先前开源的Open-Sora模型权重打造了一个数字乐高宇宙，乐高迷们在这里找到了极致的创意体验。

报告地址：https://github.com/hpcaitech/Open-Sora/blob/main/docs/report_03.md

潞晨团队深知开源对于文生视频技术突破的重要性，他们不仅持续开源模型权重，还在Github上晒出了技术路线，让每个玩家都能成为文生视频大模型的掌控者。

02 深度解码技术

潞晨Open-Sora团队的技术报告深度剖析了本次模型训练的核心和关键。在上一个版本基础上，引入了视频压缩网络（Video Compression Network）、更优的扩散模型算法、更多的可控性，并利用更多的数据训练出了1.1B的扩散生成模型。

在这个「算力为王」的时代，视频模型训练有两大痛点：计算资源的巨大消耗与模型输出质量的高标准。

潞晨Open-Sora团队以一种极简而有效的方案，成功地在成本和质量之间找到了平衡点。

Open-Sora团队提出了一个创新的视频压缩网络（VAE），该网络在空间和时间两个维度上分别进行压缩。

具体来说，他们首先在空间维度上进行了8x8倍的压缩，接着在时间维度上进一步压缩了4倍。

通过这种创新的压缩策略，既避免了因抽帧而牺牲视频流畅度的弊端，又大幅降低了训练成本，实现了成本与质量的双重优化。

Stable Diffusion 3，最新的扩散模型，通过采用rectified flow技术替代DDPM，显著提升了图片和视频生成的质量。

尽管SD3的rectified flow训练代码尚未公开，但潞晨Open-Sora团队已经基于SD3的研究成果，提供了一套完整的训练解决方案，包括：