现在让我们来谈谈高斯分布。我们已经在第1部分中介绍了如何根据相机的位置获取 3D 点并将其转换为 2D。在本文中,我们将继续处理高斯泼溅的高斯部分。这里用到的是 GitHub 中part2.
我们在这里要做的一个小改动是,我们将使用透视投影,它利用与上一篇文章中所示的不同内部矩阵。但是,在将点投影到 2D 时,两者是等效的,我发现第 1 部分中介绍的第一种方法更容易理解,但是我们更改了方法,以便在 python 中尽可能多地复制作者的代码。具体来说,我们的“内部”矩阵现在将由此处显示的 OpenGL 投影矩阵给出,乘法顺序现在将为
points @ external.transpose() @ internal.
内部透视投影矩阵。具体的参数将在下文中进行详细解释。
对于那些想知道这个新的内部矩阵的人(否则请随意跳过本段)r 和 l 是右侧和左侧的剪切平面,基本上是相对于照片宽度可以看到的点,t 和 b 是顶部和底部剪切平面。N 是近剪切平面(点将投影到的位置),f 是远剪切平面。有关更多信息,我在这里发现 scratchapixel 的章节信息量很大 (The Perspective and Orthographic Projection Matrix)。这还会返回标准化设备坐标(介于 -1 和 1 之间)中的点,然后我们将其投影到像素坐标。撇开题外话不谈,任务保持不变,以 3D 方式获取该点并投影到 2D 图像平面上。但是,在本教程的这一部分中,我们现在使用高斯分布而不是点。
def getIntinsicMatrix(
focal_x: torch.Tensor,
focal_y: torch.Tensor,
height: torch.Tensor,
width: torch.Tensor,
znear: torch.Tensor = torch.Tensor([100.0]),
zfar: torch.Tensor = torch.Tensor([0.001]),,
) -> torch.Tensor:
"""
Gets the internal perspective projection matrix
znear: near plane set by user
zfar: far plane set by user
fovX: field of view in x, calculated from the focal length
fovY: field of view in