本论文集划分为4个部分:综述&基础(14篇)、NeRF在AIGC(54篇)、NeRF在SLAM(自动驾驶)(25篇)、NeRF之场景建模(25篇)
https://t.zsxq.com/3ATyEhttps://t.zsxq.com/3ATyE
3D Gaussian Splatting(3DGS)是一种用于实时辐射场渲染的光栅化技术,它通过对3D高斯分布的描述,实现了实时渲染从小图像样本中学习到的逼真场景。该技术的核心是光栅化,即将3D高斯分布以像素的形式展现在2D平面上。以下是关于3DGS的详细介绍:
3D GS的实现原理分为以下几个步骤:
1. 运动结构恢复(SfM):通过一组图像估计点云,这是从2D图像估计3D点云的一种方法,可以通过COLMAP库实现。
2. 转换为高斯分布:将每个点转换为高斯分布,这对于光栅化已经足够。然而,仅从SfM数据中只能推断出位置和颜色,为了学习产生高质量结果的表示,需要对其进行训练。
3. 模型训练:训练过程使用随机梯度下降,类似于神经网络,但没有层。训练步骤包括:根据光栅化图像和地面真实图像之间的差异计算损失。
4. 可微分高斯光栅化:光栅化器是可微分的,因此可以用随机梯度下降进行训练。然而,这仅与训练相关 - 训练有素的高斯也可以用不可微的方法呈现。
3DGS受到广泛关注的原因主要有以下几点:
1. 高质量的实时场景渲染:通过3DGS技术,可以实现实时渲染从小图像样本中学习到的逼真场景。
2. 技术未知领域的探索:关于Gaussian Splatting还能做什么还有很多未知数,例如是否可以模拟反射等。
3. 对嵌入式人工智能研究的兴趣:人们越来越关注如何将人工智能技术应用于3D空间表示等领域。