3D 生成重建009-DreamGaussian使用gaussian splatting在两分钟内生成3d

---

0 论文工作

DreamGaussian是第一个使用gaussian splatting方法进行3d生成的工作。论文最先使用gaussian splatting替代原来用nerf表示3d。整体架构依然保留了原来的SDS方法。论文采用了两阶段方法，第一阶段用sds损失生成一个GS3d表示并提出一个粗体的mesh表示。第二阶段用MSE对mesh的纹理进行表示。这个方法能用文本生成也能用图像生成。他的核心优势还是图像生成3d，因为他用到了zero123和MVD等3d-aware的扩散模型，可以根据输入图像生成偏移的新视图。
这个论文速度基本上在两分钟左右，这远远超越了原来的nerf表达形式的优化方法。能达到这一速度的原因有以下几点：1）GS表达的优化速度快，2）zero123等3d感知扩散模型，降低了SDS的寻优时间，3）二阶段的mesh表达等。

1 论文方法

如下图所示，整个过程分为三个步骤，两个阶段。第一阶段包括GS的生成和mesh提取。
对于生成GS，使用一个随机初始化的GS，用输入图像和随机旋转后的新视角图像进行约束，他的约束包含原始图的sds和新视图的MSE。由于zero123等MVD具备3d空间感知能力，一定程度解决多面问题，而且不需要额外的3d先验知识的引入。然后就是从GS的点云中提取mesh。在第二阶段就是对纹理进行优化，因为sds的很大程度会导致过平滑和缺少细节。在第二阶段通过对噪声程度进行控制，然后进行多步降噪计算MSE损失，对细节进行补充。可以确定的是这种策略还是限制细节能力。一种解决思路应该就是更好的MVD模型，另外一种就是改进第二阶段的优化策略。
第二阶段有挺大的改进策略，或者是使用更好的mesh提取方法，因为第一阶段的更好的几何也很重要。值得一提的是，这个方法在速度上的优势，GS和MVD的结合，可以确定这会是比较好的base。

2 效果

文本生成3d的效果，还是存在比较严重的多面问题和模糊缺乏细节。这种情况下多面比较严重，但是挑选的例子本身都是没有真正人脑所理解的正反面，所以不严重。当使用小动物或者人进行生成时，就会发现这个多面问题。常规引入额外3d先验知识的方法会有较大时间消耗。

图像生成3d的效果，能缓解多面问题，但是细节确实还是比较严重。论文中使用卡通例子的时候细节问题并不明显，但是当用其他风格图片的时候问题就会比较明显。这也是一个值得思考改进的点。