怎样才能申请网站,兼职网网站建设方案,网络运维前景,关wordpress更新背景
掌握传统的多视图三维重建基本流程
总体流程
多视图三维重建的Pipieline如下图#xff0c;总共分为四个步骤#xff1a;
拍摄场景多视角的图像建立这些图像之间的联系#xff08;Data Association#xff09;SFM稀疏重建MVS稠密重建
Data Association
建立图像…背景
掌握传统的多视图三维重建基本流程
总体流程
多视图三维重建的Pipieline如下图总共分为四个步骤
拍摄场景多视角的图像建立这些图像之间的联系Data AssociationSFM稀疏重建MVS稠密重建
Data Association
建立图像之间的联系主要包含以下4个步骤1特征提取2特征匹配3基于几何的特征对验证4特征建树 1图像的特征提取。 1.1全局特征描述子 · Color histogram颜色直方图 · GIST feature 首先, 在4个尺度和8个方向上设置Gabor滤波器并对图像做滤波得到32个滤波后图像。 其次, 对滤波后图像分成44个区域计算每个区域内像素均值。 最后, 得到4844512个区域均值组成的特征向量即为Gist512特征。 1.2局部特征描述子 · SIFT SURF DSP-SIFT · BRIEF 一种二进制描述、不具备旋转不变性不具备尺度不变性 · OBR ORB特征在速度方面相较于SIFT、SURF已经有明显的提升 同时保持了特征子具有旋转与尺度不变性 2特征匹配 特征匹配具有两条路线 2.1Matching ① 每个图像分别提取全部的特征 ② 图像和图像之间搜索最佳匹配特征(最佳匹配也可能是误匹配) ③ 进一步SSD、SAD、NCC等块匹配方式来验证 2.2Tracking ① 图像1中提取特征A ② 在图像2中临近的图像位置处寻找完全相同的特征A ③ 在图像3中再次寻找完全相同的特征A在连续视频帧中、或两两拍摄场景的位置相差不多时有效 3基于几何的特征对验证 基于对极约束图像中的一个点p1在另一个图像中的匹配点p2必然在极线L2上 由对极几何的约束关系将特征对中不满足几何约束的误匹配点剔除如下图中红色线描述的特征对 关于对极约束的描述若是一般的场景下匹配点对P1-P2之间满足如下用基础矩阵描述的关系 当物体是一个接近平面的对象时可利用平面单应性矩阵H(单应性变换 Homography Estimation)来表达两个视图中点的关系 根据已有的特征点对, 由于是存在误匹配点对的因此通常基于RANSAC来选择若干点对P1-P2求解稳定的F或H然后利用F或H建立的对极约束剔除不满足几何约束的特征点对。如下表所示根据场景类型是通用的、平面类的、全景类的使用合理的模型进行特征对验证。 F矩阵是一个3*3的矩阵秩为2且没有尺度信息因此自由度为7典型的解法是使用归一化8点法来获取求解最佳近似F矩阵。值得注意的是系数矩阵的正则化和反正则化其次SVD得到的解不是最终解需要进一步最佳估计满足F矩阵特质的解 基础矩阵F和本质矩阵E之间关系如下 在内参矩阵初始化后是已知的状态那么根据F可以估计得到E矩阵再由E矩阵和旋转矩阵R和平移量t满足的如下关系来分解得到R,t [ t x ] [t_x] [tx]是平移量的反对称矩阵对于E进行SVD分解在四对解中带入实际的点判断点和相机坐标系正、反方向的关系获取正解 对于单应性矩阵H分解得到Rt的过程可以参考之前的博文H分解得到RT 4特征建树 所有图像的特征描述建立搜索树以便新的下一帧图像进行特征匹配时快速的找到对应的特征及所在的图像ID
SFM稀疏重建
SFMStructure From Motion · Structure —— 指场景的几何结构 · Motion —— 指相机从多个角度来获取场景图像的过程 · 输入多角度同一场景的图像 · 输出场景内物体的三维坐标、相机的位姿参数
在Data Association中我们能够获取两两视图之间的Rt相对关系接下来我们需要获取场景内关键点的三维坐标以及各个视图的绝对位姿信息。主要有如下三个策略
增量式SFM Incremental Reconstruction的主要步骤包含Initialization, Image Registration, Triangulation, Bundle Adjustment, Outlier Filtering, Reconstruction. 1Initialization. 1.1) Choose two non-panoramic views ( ≠ 0). 指从所有的多视角中挑选两个非全景拍摄的视图作为起始位置。 1.2) Triangulate inlier correspondences. 已知两两视图之间的R,t关系在初始化内参已知的情况下、特征点对也已经匹配完成就可以进行两两视图之间的特征点三维重建。 1.3Bundle adjustment. 上述过程是在初始化内参情况下完成的为了进一步获取精确的内、外参数和三维点坐标需要利用已知的特征点二维坐标对两两视图系统进行优化。 2Absolute camera registration. 2.1Find 2D-3D correspondences. 两两视图完成上述初始化工作后当第三幅视图进入计算时首先根据特征匹配找到图像1和图像3图像2和图像3的特征匹配点对。 2.2Solve Perspective-n-Point problem. 根据Initialization过程中重建得到的三维点以及图像3中的匹配点就能建立3D-2D的对应关系由此利用PnP来求解图像3的绝对位姿。参考之前的博文PnP的一些总结
2.3Triangulate new points. 图像1-图像3图像2-图像3两两组合重建新的三维点 3Bundle Adjustment. 将三个视图的图像、三维点、相机内外参数再次进行系统优化。 4Outlier filtering. 剔除重投影误差过大的点剔除重建点三维坐标无穷大的点 增量式SFM就是在每一次新的视图进入计算时都要重复的匹配、重建和捆绑调整因此准确性和鲁棒性比较高 全局式SFM 全局SFM是完成所有的两两视图重建后再统一进行BA捆绑优化效率高但稳定性低 分组式SFM 分组式SFM根据先验将图像进行分组每一个组内进行增量式SFM或全局式SFM然后融合所有组的三维信息 将三种策略的SFM的对比如下
Challenges
