3D 生成重建016-SA3D从nerf中分割一切

0 论文工作

1 SAM的背景和目标：
SAM 是一种强大的二维视觉基础模型，能够在 2D 图像中进行任意物体的分割。传统上，SAM 在二维空间表现出色，但其无法直接应用于三维物体分割。
本文的目标是将 SAM 的能力扩展到 3D 物体分割，避免了 3D 数据采集和标注的昂贵过程。为了实现这一目标，SA3D 利用 Neural Radiance Field (NeRF) 作为桥梁，将 2D 图像和 3D 空间进行连接。
2. 关键技术和创新：
NeRF 作为先验：
本文提出的方法通过利用 NeRF 学到的密度分布，将 SAM 得到的二维掩膜从一个视角映射到三维空间。NeRF 提供了从多视角图像到三维场景的连接，因此可以为不同视角之间的物体分割提供一致的指导。通过在 NeRF 中学习的视角一致的特征，可以在不同的视角中重建物体的三维掩膜。
掩膜反向渲染：首先从一个视角使用 SAM 对目标物体进行分割，得到一个二维掩膜。然后，通过反向渲染，将二维掩膜投影到 3D 空间，构建三维物体的体素掩膜。在这个过程中，NeRF 提供了密度信息来指导如何将二维掩膜有效地映射到三维空间。
自我提示：在完成当前视角的掩膜渲染后，SA3D 自动从 NeRF 渲染出的二维掩膜中提取有效的提示信息，并将其作为输入传递给 SAM，进行下一视角的分割。这个过程是交替进行的，直到通过多个视角生成完整的三维掩膜。
自我提示在简单场景中是一个可行的方法。但是场景比较复杂的话，比图说每个视图上有多个同类型的物体，在跨视图进行逆映射的时候，就会出现不一致。后面会有一些论文去优化这个问题。
paper
github

1 方法介绍

在 SA3D (Segment Anything in 3D) 方法中，自我提示（Self-Prompting） 是一种关键的技术，用来通过多视角的迭代过程生成三维掩膜。具体来说，自我提示的实现过程可以分为以下几个步骤：
初始二维掩膜生成：
1、给定一个视角中的目标物体，用户提供一个手动的粗略分割提示（例如一些粗略的点或框）。使用 SAM（Segment Anything Model）对这个视角中的物体进行分割，生成一个二维掩膜（mask）。
2、掩膜反向渲染。在生成了二维掩膜后，使用 NeRF（神经辐射场）技术将该掩膜投影到三维空间中。这一步是通过 反向渲染（inverse rendering）来完成的，即根据二维掩膜的密度分布信息，估计物体在三维空间中的分布。具体来说，NeRF 学习了一个三维场景的密度和颜色分布，通过这些信息可以将二维掩膜“反向映射”到三维空间中的体素网格，从而得到目标物体的三维掩膜。
3、跨视角自我提示：反向渲染得到三维掩膜后，SA3D 会自动生成用于下一视角的提示信息。这一步就是 自我提示 的关键。从 NeRF 渲染出的三维掩膜，通过与当前视角的关系，提取可靠的提示。具体来说，NeRF 渲染出的三维掩膜会被转换为该视角的二维图像，并与其他视角进行对比，寻找在其他视角中可能可靠的目标物体区域。这个过程类似于“从一视角生成另一视角的分割提示”。通过将已经生成的三维掩膜投影到新的视角，自动生成的提示信息可以帮助 SAM 在新的视角中进行物体分割。
4、循环迭代：自我提示的过程是 交替迭代 的。在每一轮迭代中，首先利用当前视角的二维掩膜通过 NeRF 渲染到三维空间，再利用三维掩膜在不同视角中生成新的二维分割提示，然后传递给 SAM 进行分割。随着迭代次数的增加，目标物体的三维掩膜逐渐变得更加精确和完整，因为每次迭代都会利用来自不同视角的信息进行完善。
自动生成提示：通过利用 NeRF 渲染出的三维掩膜，SA3D 自动提取出下一视角的分割提示，而无需人工干预。这意味着整个分割过程可以在没有更多人工输入的情况下继续进行。
跨视角信息利用：通过在不同视角间的交替提示，系统能够在多视角下自我调整并优化三维分割结果。
总结：自我提示的实现本质上是一种通过 NeRF 渲染的三维掩膜来生成可靠提示的过程，并通过跨视角的反馈和迭代逐步完善目标物体的三维分割结果。这使得 SA3D 能够在多视角间利用信息自我引导，快速生成高质量的三维物体分割，而无需人工提供多个视角的详细标注。

2 实验结果