3D 生成重建017-StyleGaussian用文本或图像对你的3DGS内容进行风格迁移

0 论文工作

论文 “StyleGaussian: Instant 3D Style Transfer with Gaussian Splatting” 介绍了一种新颖的3D风格迁移方法 StyleGaussian，该方法通过使用**3D高斯点云（3D Gaussian Splatting, 3DGS）**实现了即时的3D风格迁移，并且保持了实时渲染和严格的多视角一致性。风格迁移是指将一种图片的艺术风格应用到3D场景的视觉表现中，StyleGaussian能够在不牺牲渲染速度和视角一致性的前提下，以10帧每秒（fps）的速度实现这一过程。
实际上这个论文将低维度特征嵌入到3DGS，然后通过升维的方式得到高维度特征，这样特征嵌入能被vgg特征监督，这部分应该是参考了Feature 3DGS。特征用AdaIN混合后直接进行解码器。这种特征级别的混合跟3d级别的解码优势就是特征风格一致性。
paper
github

1 论文方法

该方法的工作流程包括三个步骤：
特征嵌入（Embedding）：将2D VGG网络提取的图像特征嵌入到重建的3D高斯点云中。
风格迁移（Transfer）：利用AdaIN（自适应实例归一化）算法将图像风格应用到嵌入的特征中。
解码（Decoding）：通过KNN-based 3D CNN解码器将转化后的特征转换为RGB值，生成最终的3D风格图像。
高效的特征渲染策略：
由于VGG特征的高维度和高计算需求，传统方法在处理这些特征时非常耗费内存。StyleGaussian通过先渲染低维特征，然后将其映射到高维特征，从而减少了内存消耗并提升了渲染效率。这一策略不仅解决了高维特征的渲染问题，还使得3D高斯点云能够在GPU内存限制下有效工作。
基于KNN的3D CNN解码器：
传统的2D CNN解码器在3D风格迁移中往往存在多视角不一致的问题，因为2D CNN缺乏对空间上下文的理解。StyleGaussian提出了一个基于**K近邻（KNN）的3D CNN解码器，能够在3D空间内直接操作，保留了多视角的一致性。通过在每个高斯点的邻域内滑动窗口进行卷积，该解码器能够在3D空间中处理这些特征，避免了传统2D方法中可能产生的几何失真和视角不一致。
即时风格迁移：
StyleGaussian避免了传统的逐视角优化过程，使用零-shot风格迁移方法。其风格迁移过程无需为每个新视角重复计算，使得在给定风格图像后，可以瞬时生成新的渲染视角，并且保持高质量的风格迁移效果。
实时渲染与多视角一致性：
论文中的方法采用了3D高斯点云（3DGS）**来进行场景重建，这种方法的优势在于其极高的渲染速度和较低的内存占用，能够保证即使是复杂的3D场景也可以在实时的情况下进行风格迁移，而不会影响渲染质量。
实验验证：
论文通过与现有的零-shot风格迁移方法（如HyperNet和StyleRF）进行对比，证明了StyleGaussian在风格对齐、内容保留、风格一致性和渲染速度等方面的优势。尤其是风格一致性，通过3D CNN解码器的使用，大幅提升了风格迁移的质量，避免了2D CNN在多视角下产生的视角不一致问题。
总结： 论文通过结合3D高斯点云和基于KNN的3D CNN的创新方法，成功实现了实时且高质量的3D风格迁移。这些创新使得StyleGaussian在3D场景的风格迁移领域具有重要的应用潜力，尤其适用于虚拟现实、增强现实和视频游戏等需要实时渲染的场景。

2 实验结果