【论文笔记】DiL-NeRF: Delving into Lidar for Neural Radiance Field on Street Scenes

原文链接：https://arxiv.org/abs/2405.00900

1. 引言

自动驾驶等应用领域需要逼真的仿真。传统的仿真流程需要手工创建3D资产并构成虚拟环境，但其人力和专业需求使其难以具有可放缩性。

NeRF有不错的仿真能力，但需要大范围覆盖的训练数据以学习潜在的几何、材料特性和光照。在自动驾驶场景中，数据覆盖很稀疏，且相机的轨迹共线。此外，路面纹理较少，进一步引入重建的模糊性。

本文引入激光雷达作为NeRF缺少显式几何约束的补偿。本文的方法称为DiL-NeRF，大幅提升视图合成的质量。

本文（1）使用3D稀疏卷积从激光雷达点云中提取3D网格表达的几何特征；（2）积累激光雷达点云进行深度监督，并考虑遮挡（从近到远地监督深度，并逐步过滤虚假深度）；（3）使用激光雷达密集化训练视图，即将激光雷达点云投影到新训练视图上，加入训练视图中，并使用上述监督策略考虑遮挡问题。

4. 方法

4.1 概述

在这里插入图片描述本文方法基于Nerfacto，以激光雷达点云为输入，提取其中的几何特征，并与基于哈希的特征网格融合。混合特征被送入MLP解码颜色与密度，再通过标准的体渲染。输出会使用跨帧积累的密集激光雷达点作为深度监督，同时考虑遮挡。这在原始Nerfacto损失 $L_\text{Nerfacto}$ 的基础上引入两个额外损失 $L_{ds}$ 和 $L_{aug}$ ：
$L=L_\text{Nerfacto}+\lambda_1 L_{ds}+\lambda_2 L_{aug}$

其中
$L_\text{Nerfacto}=L_{rgb}+\lambda_3 L_{dist}+\lambda_4 L_\text{interval}$

4.2 带激光雷达编码的混合表达

动机：激光雷达点云有潜力对NeRF进行几何指导，但由于其稀疏性（即便有时间积累），其渲染分辨率也很低。此外，激光雷达无法捕捉完整的场景（如超过一定高度的建筑物）。本文将激光雷达特征与高分辨率空间网格特征融合，以利用两者的优势进行高质量且完整的场景渲染。

激光雷达特征提取：首先聚合序列所有帧的点云生成更加密集的点云。然后进行体素化，其每个体素的特征为其中所有点位置坐标的平均值。使用3D稀疏UNet编码场景几何特征，输出神经体特征（ $n$ 维），这产生了本文的激光雷达嵌入 $P=\{(p_i,f_i)|i=1,\cdots,N\}$ ，其中点 $i$ 位于 $p_i$ 处，其对应体素的神经特征为 $f_i$ ，编码了 $p_i$ 周围的局部和全局几何。

激光雷达特征的查询：对射线上的每个采样点 $x$ ，若其 $R$ 半径邻域内至少有 $K$ 个激光雷达点，则查询其对应的激光雷达特征（否则其激光雷达特征被设置为空，即全零）。本文使用固定半径最近邻（FRNN）方法选择 $x$ 的 $K$ 近邻激光雷达点集 $S_x^K$ ，并作为采样点的的分布，随训练的收敛动态地向表面集中。

根据Point-NeRF，本文使用MLP $F$ 将激光雷达点的特征映射为神经场景描述。对于 $x$ 的第 $i$ 个邻居点， $F$ 以其激光雷达特征 $f_i$ 和相对位置 $x-p_i$ 为输入，输出神经场景描述：
$f_{i,x}=F([f_i,x-p_i])$

其中 $[\cdot,\cdot]$ 为拼接。为得到采样位置处的激光雷达编码 $\phi_L(x)$ ，本文使用标准的逆距离加权聚合神经场景描述 $f_{i,x}$ ：
$\phi_L(x)=\begin{cases}\frac{\sum_{i\in S_x^K}w_if_{i,x}}{\sum_{i\in S_x^K}w_i}&若S_x^K\neq\emptyset\\0&否则\end{cases}$

其中 $w_i=\frac1{\|p_i-x\|}$

特征融合进行辐射解码：本文将激光雷达编码 $\phi_L(x)$ 与哈希编码 $\phi_h$ 拼接，使用MLP $F_\alpha$ 预测各样本的密度 $\alpha$ 和密度嵌入 $h$ 。最后，相应的颜色 $c$ 由在视线方向 $d$ 下的球面谐波编码 $S H$ 和密度嵌入 $h$ ，通过另一MLP $F_c$ 预测：
$\alpha,h=F_\alpha([\phi_L(x),\phi_h(x)])\\ c=F_c([h,SH(d)])$

4.3 鲁棒深度监督

动机：本文将激光雷达点投影到图像平面得到深度监督信号，但激光雷达点云具有稀疏性，且对低纹理区域（如路面）的重建不充分。本文将相邻帧的激光雷达进行积累，以增加密度。但这样做需要考虑遮挡问题，即当前帧不可见的区域在相邻帧可见，会产生虚假深度。本文提出鲁棒监督方案，在训练时自动过滤虚假深度监督。

遮挡感知的鲁棒监督方案：初始时，模型用更近的、更可靠的深度数据训练（受遮挡影响小）。随着训练的进展，模型开始接收更大的深度。此时模型可以丢弃那些与预测差距很大的深度监督。所有深度点的集合记为 $D=\{D_1,\cdots, D_N\}$ ，NeRF渲染的、相应与 $D_i$ 的深度为 $\hat D_i$ ，本文按下式确定第 $m$ 次迭代中可靠的深度点子集 $D_\text{reliable}^m$ ：
$D_\text{reliable}^m=\{D_i|D_i\leq\epsilon_t^m,D_i\leq\hat D_i+\epsilon_o^m,D_i\in D\}\\ \epsilon_t^m=\min\{\alpha_t\epsilon_t^{m-1},\epsilon_t\},\alpha_t>1\\ \epsilon_o^m=\max\{\alpha_o\epsilon_o^{m-1},\epsilon_o\},\alpha_0<1$

其中 $\epsilon_t^m$ 为有效深度阈值， $\epsilon_o^m$ 为有效深度偏移量。前者过滤超出此阈值的深度，仅考虑更不可能被遮挡的近处的深度样本；该阈值随训练进展而指数增大，以包含更大范围的监督。后者过滤与渲染深度差异较大的深度，因为这些深度样本点更可能被遮挡，该阈值随训练进展而指数减小。

激光雷达深度损失：对 $D_\text{reliable}^m$ 中的样本，本文使用URF中的像素级深度损失，即深度 $L_2$ 损失与视线损失之和。具体来说，体渲染可归结为求射线采样点预测颜色的加权和，其理想权重集中于表面附近，故视线损失强制权重分布近似高斯分布 $\mathcal N(\hat D_i,\epsilon_n)$ （其中 $\hat D_i$ 为沿射线的真实深度）：
$L_{sight}=\mathbb E_{D_i\in D_\text{reliable}^m}[\int_{t_{near}}^{t_{far}}(w(t)-\mathcal N(\hat D_i,\epsilon_n))^2dt]$

其中 $w$ 为权重。上式可离散化为
$L_{sight}=\mathbb E_{D_i\in D_\text{reliable}^m}[\sum_i(w_i-\mathcal N_i)^2]$

其中 $\mathcal N_i$ 为第 $i$ 个采样区间的概率质量，可通过区间的中值近似，如图所示。本文通过高斯分布的累积分布函数（CDF）表求取准确的概率质量。
在这里插入图片描述

4.4 增广的视图监督

由于视图覆盖较小，当合成偏离轨迹的视图时较为困难，本文使用激光雷达增广训练数据。首先将激光雷达点云投影到与其同步的图像上插值得到RGB值，然后将彩色点云投影到增广视图图像上，得到合成图像和深度图。增广视图为现有视图相机中心添加随机扰动 $\epsilon_a\in\mathcal N(0,\epsilon_a)$ 的结果。这些增广视图同样使用鲁棒深度监督训练，对应的损失项为 $L_{aug}$ 。

5. 实验

5.1 实验设置

实施细节：本文关注静态场景，因此使用了边界框标注和实例分割模型过滤了所有的动态物体。

5.2 新视图合成结果

本文评估内插和外推的新视图合成结果。前者每隔一定帧数进行测试，而在其余帧上训练；后者将轨迹进行水平移动，以模拟车道变换。由于无真值，使用感知层面的FID指标。

实验表明，本文方法在所有指标上超过其余方法。可视化证明，本文方法因为激光雷达编码这种对激光雷达更深层次的使用，在细粒度结构和低纹理区域上能合成更真实的图像。

5.3 消融研究

鲁棒深度监督的作用：实验表明，使用激光雷达深度能大幅提高外推性能，且内插性能仅有略微下降。使用本文的鲁棒深度监督能提高所有指标的性能。使用预处理方式移除遮挡点的性能低于本文自适应处理遮挡的方法。可视化表明，使用单帧激光雷达进行深度监督，能在高纹理区域进行精确渲染，但由于缺乏丰富的几何指导，在薄结够区域精度较低。使用多帧积累激光雷达点云进行监督，会导致渲染深度图有大量噪声，这是因为数据的深度噪声。使用本文的鲁棒深度监督后，可得到更密集的深度图，在更复杂的结构上能精确重建，且能排除被遮挡的深度。

激光雷达编码的作用：激光雷达编码能提高所有指标。可视化表明，使用激光雷达编码后，可以合成更清晰的纹理。这归因于本文基于卷积的结构，对激光雷达点云的噪声和密度变化有弹性。

增广视图监督的作用：虽然定量结果的提升有限，但其能一致地提高外推性能。