- 两条路线：传统渲染路线，生成路线
- 两种路线的目的都是最终生成图片或者视频等
- 在现在生成大火的情况下，传统路线未来该如何发展呢，两种路线是否能够兼容呢
严令琪
- 这篇工作是吸取这两条路各自优势的一篇工作
- RGB是一张图，X是生成模型根据图片生成的东西，可以认为是一个buffer(特征性，控制性的东西)，它可以被修改，并且可以再生成一张图
- 想生成真实的图and又想精准的控制，就是这篇文章的思想
- X: intrinsic channels（G-buffers）是几何缓冲区
- 现在是用X去生成RGB图，当然也沿用以前的语言模型，也就是文本
- 当然这个工作也完成了给一张RGB图，从中提取G-buffers
- 这个工作可以让X生成RGB的过程可控，也就是可以生成想要的图，支持图片编辑(比如，给一张RGB图，提取出G-buffers，修改，再生成图)
RGB->X
- 可以根据文本(关键词)提取出最多这五种信息
X->RGB
- 根据X的信息可以走传统的渲染过程，也可以不走，用扩散模型生成
- 也不用把X的五种信息都给才生成图片，给哪些，哪些就体现在生成结果上
pipeline
Results
霍宇驰
- 对于AI来说，未来NPU应该比GPU更重要
sora
- sora是一种模糊语言来生成，也就是文本
- 未来可能可以通过模糊文本一点点修改结果到自己需求那样
- 传统的图像管线是精细化生成，sora是模糊生成
- 而且传统的管线，前面几步骤完成后，最后结果的生成不用再做前面一些步骤，但sora每次都要从0开始
- 具体用哪个看需求是在精细度的哪个层级
- 目前也有很多工作在把两个连接起来
王利民
- 第一阶段单模态的信息抽取
- 第二阶段多模态，涉及到音频和文本，要进行对齐
- 第三阶段多模态的生成与对话能力
第一阶段
- 将视频进行掩码处理，再生成
第二阶段
- 多模态对齐
第三阶段
总结
王申龙
QA
- sora如此强大，传统图形学是否与到了大挑战？
- 闫令琪：它是有缺陷的，比如会凭空多东西，少东西，这些缺陷可能在这个时代，在sora表现这么好的情况下，可以容忍，但它是不好解决的，因为它是神经网络控制的，不是那么可控。sora它现在是一个快速发展阶段，但它一定会进入瓶颈期的，包括传统的渲染生成，也进入过瓶颈期，也就是从0到90，快速发展，但最后10是很难完成的，比如比较好的控制，小瑕疵的解决
- 霍宇驰：我同意sora能做到百分之90,95的效果，但它比较适合做一些离线工作，在实时工作中出现百分之10、5的错误是不能容忍的。在实时和交互方面，图形学应该是有一定优势
- 王利民：不止sora，包括gpt这些也是存在幻觉的，它是不好解决的，未来一定要加入理解和约束的知识来控制生成，尽管sora它会有瑕疵，但是它肯定会慢慢被接受，比如自动驾驶：找一个老司机开也会犯错误
- 王申龙：社区有非常大的优势，它能够让一个什么也不会的人做生成
- 光线追踪还能打几年，或者还有几年要失业？
- 严令琪：具体情况要看应用，需要精准控制的还是要走这种完全可控的渲染路线。实时渲染没有任何可以修正的余地，用生成性模型生成失败了怎么办，比如打游戏。很多东西会有一个长期共存的状态，比如从光栅化转到光线追踪，已经很多年了，但现在还是处于共存状态
- 霍宇驰：光线追踪一定会存在一些特定领域，但蛋糕就这么大，sora一定会切走一块
- 进行城市级别的场景生成会有什么困难？
- 王申龙：要保持从A到B然后再回到A，还是相同的A是比较困难的
