3D重建
context capture中无人机航拍建模的基本原理
-
如何测量物体的实际长宽数据
1.添加用户控制点
2.添加范围约束，标定两个控制点之间的实际距离 -
无人机航拍中坐标和经纬度信息是如何确定的
pos数据由飞控系统在相机拍照时生成，与相片一一对应，赋予相片丰富的信息，包括经纬度、高度、海拔、飞行方向、飞行姿态等。
一般来说A为编号，B为日期，DEF分别为XYZ坐标，GH为经纬度，IJK为飞机的姿态坐标。 -
三维重建计算
调整重建范围及瓦片大小，将原框架分为若干个大小相同的数据切块，分块进行重建计算。
多视图三维重建
- 相机内参与外参
相机标定：求内参和外参 - 世界坐标系——相机坐标系——像素坐标系、像坐标系
世界坐标系<——>相机坐标系（外参） 相机坐标系<——>像素坐标系（内参） - 相机位姿：相机摆放的姿势不同，旋转平移矩阵
- 单幅图无法还原深度信息；两视几何：可以通过两个相机以及公共点去还原深度信息，获取姿态参数；多视几何
3D重建过程：SIFT+SFM（运动恢复结构）+MVS
- SIFT（Scale Invariant Feature Transform），特征提取匹配
- SFM——Structure from Motion（运动恢复结构），通过相机运动恢复出稀疏的三维点坐标。有增量式、全局式、混合式三种
增量式：
优：精度高，鲁棒性强；迭代增量型重建。通过RANSAC不断过滤外点，不断优化场景结构
缺点：图像连续性；误差积累；反复捆绑造成时间浪费
最小化重投影误差：解决点云无法融合；投影点和提取点存在差异 ，两个图像提取了红色同名点，计算出自带参数，但是一幅图中的点利用自带参数投影到第二幅图时，与同名点有偏差
全局式：
一次性全局重建；不用考虑顺序；效率高；没有误差积累
鲁棒性不足；场景不够完整
混合式：
误差积累和鲁棒性都有提升；捆绑次数较少
- MVS——Multi-view Stereo（密集重建）：SSD SAD NCC
同名点
分类：基于体素/点云扩散/深度图融合
商汤项目：NeuralRecon
- 通过摄像头（简易设备进行三维重建）
- 单目解决方案；不需要深度信息，都给深度学习做；没有点云
输入序列——深度学习（深度估计——点云）——融合
带深度学习的三维重建：在传统式三维重建中，深度估计非常重要，这部分可以交给深度学习去做 - End2End框架
- 关键帧选择——输入序列（9张图）——片段重建——全局合成
- 整体融合思想类似于RNN，迭代式融合输入片段；逐个搞定，顺序执行；GRU
