【三维重建】【深度学习】windows11下3DGS代码Pytorch实现

【三维重建】【深度学习】windows11下3DGS代码Pytorch实现

提示:最近开始在【三维重建】方面进行研究,记录相关知识点,分享学习中遇到的问题已经解决的方法。


文章目录

  • 【三维重建】【深度学习】windows11下3DGS代码Pytorch实现
  • 前言
  • 3DGS模型运行
    • 安装CUDA
    • 安装 Visual Studio C++编译器
    • 下载源码并安装环境
    • 训练3DGS
      • **官方源码提供的sfm数据集**
      • nerf官方源码提供的sfm数据集
      • 训练个人数据集
    • 渲染3DGS
      • truck数据集的渲染
      • lego 数据集的渲染
      • 渲染个人数据集
  • 总结


前言

3DGS(3D Gaussian Splatting)是由法国蔚蓝海岸大学的Kerbl, Bernhard等人在《3D Gaussian Splatting for Real-Time Radiance Field Rendering【SIGGRAPH 2023】》【论文地址】一文中提出了一种
极短训练时间呢就能达到最高视觉质量的方法,而且可以保证在高质量、实时、高分辨率的情况下新视角合成。
简单来说,首先,从摄像机校准过程中产生的稀疏点开始,用三维高斯来表示场景,既保留了用于场景优化的连续容积辐射场的理想特性,又避免了在空白空间进行不必要的计算;其次,对三维高斯进行交错优化/密度控制,特别是优化各向异性协方差,以实现对场景的精确呈现;最后,开发了一种快速可见性感知渲染算法,它支持各向异性拼接,既能加快训练速度,又能进行实时渲染。
在详细解析3DGS网络之前,首要任务是搭建3DGS【Pytorch-demo地址】所需的运行环境,并完成模型训练和测试工作,展开后续工作才有意义。


3DGS模型运行

win10环境下装anaconda环境,方便搭建专用于3DGS模型的虚拟环境作为参考。

安装CUDA

进行CUDA Toolkit Archive选择CUDA11.8.

博主测试的目前能够正常安装运行环境的版本为cuda11.8

version中win10系统选10,win11系统选11。


下载好以后,博主除了某个步骤选了自定义,其他都是选择默认选项;安装好以后需要配置环境变量。
系统属性–>环境变量–>系统变量path–>新增C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8目录下的bin和libnvvp即可,保存配置。
打开你cmd终端窗口,输入nvcc -V 验证是否安装成功,下图显示CUDA安装成功了。

安装 Visual Studio C++编译器

编译一部分c++代码作为调用的包需要要用到 MSVC,直接安装 Visual Studio 就行。
Visual Studio下载:下载完成后打开,勾选下图中所示“使用C++的桌面开发”。

这里非重点,博主只做了大致流程,可以在其他博客中学习安装Visual Studio

下载源码并安装环境

【pytorch代码推荐参考教程】,这里博主不在使用官方教程的environment.yml创建运行环境了,因为存在很多未知的错误和无法解决的问题。

安装GPU版本的pytorch教程,pytorch-gpu版本需要根据需求安装相应版本。

# 下载githup源代码到合适文件夹,并cd到代码文件夹内(科学上网)
git clone https://github.com/graphdeco-inria/gaussian-splatting --recursive
# 中途下载中断
git submodule update --init --recursive
# 创建虚拟环境
conda create -n 3d_gaussian_splatting python=3.10.6
# 查看新环境是否安装成功
conda env list
# 激活环境
activate 3d_gaussian_splatting 
# 安装pytorch包
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 通过清华源,安装其他包(需要删除关于pytorch的部分)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple plyfile tqdm
# 安装额外的自定义包,要用到 MSVC,直接安装Visual Studio就行
pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn
# 查看所有安装的包
pip list
conda list

最终的安装的所有包。

检查torch版,已经安装torch-gpu版本

# 查看pytorch版本
import torch
print(torch.__version__)
# 查看cuda版本
print(torch.version.cuda)
# 查看cuda是否可用
print(torch.cuda.is_available())
# 查看可用cuda数量
print(torch.cuda.device_count())


git过程中可能存在的问题: fatal: clone of ‘https://github.com/g-truc/glm.git’ into submodule path ‘D:/deeplean_demo/gaussian-splatting/submodules/diff-gaussian-rasterization/third_party/glm’ failed.

解决方法: 下载glm c++源码库,把代码拷贝到目录gaussian-splatting\submodules\diff-gaussian-rasterization\third_party\glm下.

这里说明一下,假设源码全是手动下载,包括四份代码:3d Gaussian Splatting源码,3d Gaussian Splatting 中的 Submodules/diff-gaussian-rasterization,Diff-gaussian-rasterization 中 third_party/glm,3d Gaussian Splatting 中的 Submodules/simple-knn,下载完需要在对应位置解压。这里只是以glm为例。


安装环境过程中可能存在的问题: note: This error originates from a subprocess, and is likely not a problem with pip.ERROR: Failed building wheel for diff-gaussian-rasterization.

解决方法: 保证主机上装的cuda和虚拟环境下的cuda版本一致。

训练3DGS

官方源码提供的sfm数据集

【下载地址】,建议将数据集解压存放到工程目录的data下:

| -- gaussian-splatting
    | -- data
        | -- tandt_db
        	| -- db
        	| -- ...
    | -- ...

在训练前,只需要先了解以下主要参数的作用,读者可以根据需要自行修改。

以tandt_db/tandt/truck数据集为例开始训练

没有划分训练集和测试的数据集,添加 —eval,代码运行时候会自动划分。

# -s 数据集所在的路径; -m 训练输出数据保存路径,不提供默认在工程目录下的output/<random-随机序号名>;
python train.py -s data/tandt_db/tandt/truck -m data/tandt_db/tandt/truck/output


结果保存到tandt_db/tandt/truck/output

| -- truck
	| -- ...images
    | -- output
        | -- point_cloud  		# 训练过程中输出的点云效果
        | -- cameras.json 		# 所有照片的名称、尺寸和位姿信息
        | -- cfg_args     		# 类似日志信息,执行当前任务时指定的参数信息
        | -- chkpnt30000.pth 	# 训练保存的权重文件
        | -- input.ply	  		# sfm重建出的点云

对比sfm重建的点云(input.ply,图上)和3dgs的重建的点云(point_cloud,图下):


可以发现3dgs的重建效果更加丰富和惊人。

nerf官方源码提供的sfm数据集

【下载地址】,建议同样将数据集解压存放到工程目录的data下。
fern数据集只需要images和sparse文件内容即可,它是SIMPLE_RADIAL的相机模型,需要再scene/dataset_readers.py代码中添加修改为以下内容,因为代码中并没有处理这种相机模式的方法,博主是个小白,因此粗暴的将SIMPLE_RADIAL和SIMPLE_PINHOLE完全等价了,忽略它们的差异,有更专业的读者有更好的方式的话欢迎评论指导。

在计算机视觉和摄影测量学中,相机模型是用来描述相机如何将三维空间中的点投影到二维图像平面上的数学模型。两种常见的相机模型是针孔(Pinhole)模型和径向畸变(Radial Distortion)模型.

# 训练nerf_llff_data/fern数据集
python train.py -s data/nerf_llff_data/fern -m data/nerf_llff_data/fern/output

对比sfm重建的点云(input.ply,图上)和3dgs的重建的点云(point_cloud,图下):


lego数据集分为train、val以及test,和其他数据集的目录结构有些区别,但是训练时候的命令格式是一致的。

# 训练nerf_synthetic/lego数据集 --eval 有train和test划分的数据集,训练模型并保留测试集进行评估
python train.py -s data/nerf_synthetic/lego -m data/nerf_synthetic/lego/output --eval

对比sfm重建的点云(input.ply,图上)和3dgs的重建的点云(point_cloud,图下):

这个比较特殊,不清楚是不是没进行sfm重建,单纯做了一个比较简单的初始化。


训练个人数据集

个人数据集的制作流程,可以参考博主的另一篇博文【基于COLMAP制作自己的NeRF(LLFF格式)数据集】,制作数据集所需要的图片是用手机拍摄视频后抽帧获取的。只需要images和sparse文件内容即可。

# 训练个人数据集
python train.py -s data/nerf_llff_data/giraffe -m data/nerf_llff_data/giraffe/output

对比sfm重建的点云(input.ply,图上)和3dgs的重建的点云(point_cloud,图下):

渲染3DGS

经过上一个小节,读者也知道,按照数据集的格式大概就是以drjohnson、playroom、train、truck、fern和个人数据为一类,lego数据集为一类。下面的渲染的部分就只以前一类的truck和后一类的lego为例子演示,外加个人数据集演示。
假设在训练过程中没有添加 —eval,数据集渲染test部分就是空的。

truck数据集的渲染

python render.py -m data/tandt_db/tandt/truck/output -s data/tandt_db/tandt/truck


结果保存到tandt_db/tandt/truck/output

| -- truck
	| -- ...images
    | -- output
        | -- train  					# 训练集的渲染结果
        	| -- ours_30000 			# 以最有一次训练次数为基准  	
        		| -- gt 				# 真实图片
        		| -- renders 			# 对应的渲染图片
        | -- test  						# 测试集的渲染结果

对比真实图片(图上)和渲染图片(图下):

在这里插入图片描述
结果还是相当完美的。

lego 数据集的渲染

python render.py -m data/nerf_synthetic/lego/output -s data/nerf_synthetic/lego

对比真实图片(图上)和渲染图片(图下):

渲染个人数据集

python render.py -m data/nerf_llff_data/giraffe/output -s data/nerf_llff_data/giraffe 

对比真实图片(图上)和渲染图片(图下):


总结

尽可能简单、详细的介绍3DGS的安装流程以及解决了安装过程中可能存在的问题。后续会根据自己学到的知识结合个人理解讲解NeRF的原理和代码。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/792786.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

PlugLink的技术架构实例解析(附源码)

在探讨PlugLink这一开源应用的实际应用与技术细节时&#xff0c;我们可以从其构建的几个核心方面入手&#xff0c;结合当前AI编程的发展趋势&#xff0c;为您提供既有实例又有深度解析的内容。 PlugLink的技术架构实例解析 前端技术选型 —— layui框架&#xff1a; PlugLi…

最新 Kubernetes 集群部署 + Contranerd容器运行时 + flannel 网络插件(保姆级教程,最新 K8S 1.28.2 版本)

资源列表 操作系统配置主机名IP所需插件CentOS 7.92C4Gk8s-master192.168.60.143flannel-cni-plugin、flannel、coredns、etcd、kube-apiserver、kube-controller-manager、kube-proxy、 kube-scheduler 、containerd、pause 、crictlCentOS 7.92C4Gk8s-node01192.168.60.144f…

Cadence23 中 Capture 与 PCB Editor 的交互

1.Capture选中器件在PCB Editor 中高亮显示 1.点击N的图标选项卡&#xff0c;导出第一网表 2,导入第一网表&#xff1a; 点击移动命令&#xff0c;在查找选项卡中选择Symbol器件选项卡&#xff1a; 点击器件即可高亮&#xff1a; 2.PCB Editor选中器件在 Capture中高亮显示 …

libcoap3对接华为云平台

文章目录 前言一、平台注册二、引入源码库1.libcoap仓库编译2.分析网络报文3.案例代码4.编译&运行 总结 前言 通过libcoap3开源代码库对接华为云平台&#xff0c;本文章将讨论加密与不加密的方式对接华为云平台。 一、平台注册 首先&#xff0c;你需要在华为云平台上创建…

Matlab提取excel数据及处理的实操举例

实现目的 当excel数据量庞大的时候&#xff0c;如果采用人工处理数据的方法就会成为非常出力不讨好的事&#xff0c;既容易出错&#xff0c;又容易抑郁。 利用matlab处理成为既简单又高效的方式。 例如&#xff0c;以GD32F7xx系列的管脚复用表格为例&#xff0c;在169x19的e…

昇思MindSpore学习笔记6-06计算机视觉--Vision Transormer图像分类

摘要&#xff1a; 记录MindSpore AI框架使用ViT模型在ImageNet图像数据分类上进行训练、验证、推理的过程和方法。包括环境准备、下载数据集、数据集加载、模型解析与构建、模型训练与推理等。 一、概念 1. ViT模型 Vision Transformer 自注意结构模型 Self-Attention Tran…

ubuntu部署minio集群

minio集群介绍 官方文档&#xff1a;https://min.io/docs/minio/linux/operations/install-deploy-manage/deploy-minio-multi-node-multi-drive.html 本方案采用在多节点多驱动器 (MNMD) 或“分布式”配置部署 MinIO。 MNMD 部署提供企业级性能、可用​​性和可扩展性&#…

力扣 203反转链表

思路 用cur->next指向pre,把链表倒转 cur后移&#xff0c;cur指向原链表的下一个 注意用tmp存储原链表中cur的后一个 class Solution { public: ListNode* reverseList(ListNode* head) { ListNode *cur head; ListNode *pre nullptr; ListNode *tmp; while (cur ! nul…

书生·浦语2.5开源,推理能力再创新标杆

2024 年 7 月 3 日&#xff0c;上海人工智能实验室与商汤科技联合香港中文大学和复旦大学正式发布新一代大语言模型书⽣浦语2.5&#xff08;InternLM2.5&#xff09;。相比上一代模型&#xff0c;InternLM2.5 有三项突出亮点&#xff1a; 推理能力大幅提升&#xff0c;领先于国…

【代码随想录】【算法训练营】【第59天】 [卡码110]字符串接龙 [卡码105]有向图的完全可达性 [卡码106]岛屿的周长

前言 思路及算法思维&#xff0c;指路 代码随想录。 题目来自 卡码网。 day 59&#xff0c;周五&#xff0c;继续ding~ 题目详情 [卡码110] 字符串接龙 题目描述 卡码110 字符串接龙 解题思路 前提&#xff1a; 思路&#xff1a; 重点&#xff1a; 代码实现 C语言 […

光伏仿真系统推荐

在全球能源转型和绿色能源发展的背景下&#xff0c;光伏行业作为重要的绿色能源组成部分&#xff0c;其智能化、数字化的发展显得尤为关键。光伏仿真系统作为提升光伏项目设计、运维效率的重要工具&#xff0c;在行业中扮演着不可或缺的角色。在众多光伏仿真系统中&#xff0c;…

自动化(二正)

Java接口自动化用到的技术栈 技术栈汇总&#xff1a; ①Java基础&#xff08;封装、反射、泛型、jdbc&#xff09; ②配置文件解析(properties) ③httpclient&#xff08;发送http请求&#xff09; ④fastjson、jsonpath处理数据的 ⑤testng自动化测试框架重点 ⑥allure测试报…

从0开始的STM32HAL库学习4

对射式红外传感器计数复现 配置工程 我们直接复制oled的工程&#xff0c;但是要重命名。 将PB14设置为中断引脚 自定义命名为sensorcount 设置为上升沿触发 打开中断 配置NVCI 都为默认就可以了 修改代码 修改stm32f1xx_it.c 文件 找到中断函数并修改 void EXTI15_10_I…

element plus 实现跨页面+跨tab栏多选

文章目录 element plus 层面数据层面 菜鸟好久没写博客了&#xff0c;主要是没遇见什么很难的问题&#xff0c;今天碰见了一个没有思路的问题&#xff0c;解决后立马来和大家伙分享了&#xff01; 菜鸟今天要实现一个需求&#xff0c;就是&#xff1a;实现跨页面跨 tab栏 多选…

Linux 程序卡死的特殊处理

一、前言 Linux环境。 我们在日常编写的程序中&#xff0c;可能会出现一些细节问题&#xff0c;导致程序卡死&#xff0c;即程序没法正常运行&#xff0c;界面卡住&#xff0c;也不会闪退... 当这种问题出现在客户现场&#xff0c;那就是大问题了。。。 当我们暂时还无法排…

USB转RS485+RS232+TTL串口电路

USB转RS485RS232TTL电路 USB转RS485RS232TTL电路如下图所示&#xff0c;可实现USB转RS485RS232TTL串口&#xff0c;一个电路模块即可实现电路调试过程中用到常用接口。 电路模块上留有2.54MM单排针接口和接线端子两种接线方式&#xff0c;可接线和跳线。电路模块同时有5V和3.3V…

不仅是输出信息,console.log 也能玩出花

console.log 是 JavaScript 中一个常用的函数&#xff0c;用于向控制台输出信息。 console.log 虽然主要用于调试目的&#xff0c;但也包含了一些有趣的用法&#xff0c; console.log 不仅能输出文本&#xff0c;还能以更丰富的方式展示信息。 比如我们打开 B 站&#xff0c;然…

计算机网络体系结构解析

OSI参考模型 与 TCP/IP模型 如图所示 TCP/IP模型有几层 应用层&#xff1a;只需要专注于为用户提供应用功能 HTTP、SMTP、Telnet等&#xff0c;工作在操作系统中的用户态&#xff0c;传输层及以下工作在内核态传输层&#xff1a;为应用层提供网络支持&#xff08;TCP、UDP传…

c++多态的定义和原理

目录 1、多态的定义和实现 1.多态的构成条件 2.虚函数 3.虚函数的重写(覆盖) 4.虚函数重写的两个例外 5.c11 override和final 6.重载&#xff0c;覆盖(重写)和隐藏(重定义) 2、抽象类 概念 接口继承和实现继承 3、多态的原理 1.虚函数表 2.多态的原理 4、多继承中的虚…

武夷山细节决定成败抓质量求生存

在当今竞争激烈的市场环境中&#xff0c;细节决定成败&#xff0c;质量求生存的理念已成为企业发展的关键。蓝鹏测控科技有限公司&#xff0c;一家专业从事工业测量领域的高新技术企业&#xff0c;正是秉持这一理念&#xff0c;在工业测径仪领域取得了显著成就。 蓝鹏测控科技…