网站建设 金手指 下拉22,一般做个网站需要多少钱,做网站 博客,大庆做网站找谁注#xff1a;该文章首发3D视觉工坊#xff0c;链接如下3D视觉工坊
前言 众所周知#xff0c;三维重建的发展已经进入了稳定期#xff0c;尤其是离线方案的发展几乎处于停滞期#xff0c;在各大论刊上也很少见到传统sfmmvs亮眼的文章。这也不难理解#xff0c;传统的多视…注该文章首发3D视觉工坊链接如下3D视觉工坊
前言
众所周知三维重建的发展已经进入了稳定期尤其是离线方案的发展几乎处于停滞期在各大论刊上也很少见到传统sfmmvs亮眼的文章。这也不难理解传统的多视图几何内容已经被展现的体无完肤即使能做出一些impressive创新也需要非常坚厚的数学基础。这里就公布一些主流的离线视觉三维重建商业和开源的框架问世时间 商用 1Photoscan现在称为Agisoft Metashape的首个版本于2010年发布。 2 ContextCapture 是由Bentley Systems开发的软件首个版本发布于2015年。 3) Inpho 是由Trimble开发的软件发布时间比较早但具体时间可能因版本而异。Trimble公司在2008年收购了Inpho公司因此在此之前的版本应该是由Inpho公司发布的。 4Pix4D是一家提供专业无人机图像处理软件的公司其软件可用于生成高质量的地图和模型。Pix4D软件的首个版本于2011年发布。 开源 1openmvg 是2012年发布应该是最早的且最具有代表性的三维重建框架。 2colmap是2016年发布的一问世便处于巅峰位置目前来看仍然是处于incremental sfm 的榜首。 3除了openmvg和colmap 还有ODM、opensfm、theiasfm、alicevision等这些都差不多在colmap 问世的前后时间。
据上可见不管是商用的还是开源的都距现在已经有10多年左右的时间了这10年商用软件早已经稳定且难以突破国内三维重建方面的厂商更是数不胜数同时利用这些开源框架去做一些有意义的产品是一件非常大的挑战且需要很长时间的积累与思考。 colmap 目前的现状
近两年AI技术的火热尤其是nerf和gaussian splatting 的出现又将colmap推了一把传统mvs的地位仿佛受到了挑战虽然说nerf/gs的效果是无法胜任传统mvs的精度但是作为看看的条件是远远足够了。且传统重复纹理、low texture 如水、玻璃这些难以重建的场景也被nerf/gs解决。而目前来看开源的大多数nerf/gs框架的输入几乎都是colmap的sfm的结果这里重申一下并不是nerf/gs的输入必须是colmap也可以是vslam的结果也可以是一些商业软件的结果使用colmap的原因很简单开源SOTA且容易安装。 图1. Gaussian splatting结果 除此之外colmap被偏爱的一个领域是AR方面AR的核心是空间计算即VPSVisual positioning System)。而视觉定位的基石在于定位地图的构建而目前大多数的公司的AR定位地图的构建都是基于sfm的路线。如以下公司
1韩国maxst
图2. maxst vps pipeline maxst使用的方案是Insta360 pro 全景相机 sfm 建图(全景拆分为若干个pinhole)。
2Blue Vision Labs–(Lyft收购
图3. Blue vision vps pipeline Blue vision的方案车载8个fov 70度的相机建图使用sfm pipeline 并且使用openmvg框架单次定位返回时间970ms(4G)。
3香港neogoma
图4. neogoma vps neogoma的方案手机扫描 web sfm 建图路线。
存在的问题与未来
不管是colmap(sfm)是用来作为nerf/gaussian splating从业从人员的输入源还是作为AR众包地图的构建还是用来4D时空标注的辅助在使用的时候难免会处理大场景数据而不是简单的跑一个小数据来作为demo展示。通常这个时候很多问题就随即出现人们就开始抱怨为什么colmap如此慢它的bottlenecks是什么为什么会出现drift为什么车载数据就跑了两帧程序就终止为什么...?等等让人哭笑不得的问题。如果你不是一个三维死忠爱好者或者只是想要把数据快速处理完毕那么针对以上的抱怨解决方法不需要你去深究colmap的源码痛苦的去improved,只需要调参也可以达到你的目的。 对于调参人员来说 1为什么colmap如此慢? 如果你的数据是车载数据即forward motion那么其实local ba 足够不需要太频繁的global ba(众所周知ba的复杂度是(camera_params6N3n)^3因为每次新加入的图像主要和其周围的地图有关系。所以调整mapper以下参数即可 i.减少ba_global_max_refinements次数 (5改为1 ii.增大模型增大到一定比例触发global ba的参数 Mapper.ba_global_images_ratio 、 Mapper.ba_global_points_ratio 、Mapper.ba_global_images_freq 2为什么车载数据就跑了两帧程序就终止 如果你的数据质量不佳或者是车载数据车载数据是比较困难处理的因为baseline短且图像两边的特征消失的很快这个时候采用默认参数去跑通常会出现初始化完后就终止了程序这个时候就要调小初始最小三角化角度Mapper.init_min_tri_angle默认16调成5。 对于研究源码的人员来说colmap的improved方面数不胜数离一个可用的状态需要做很多的工作 1关于相机模型的选择在处理数据的时候如果相机模型选择简单的会造成欠拟合出现blend map之类的现象如果选择复杂的相机模型就会出现不收敛的情况。 2关于匹配方面colmap中匹配有词汇树匹配方法但是deep learning的方法已经完全超越BOW如可以用netvlad、cosplace近几年的方法来替换传统的检索方式。 3关于view graph,特征检测和匹配完后会生成view graph这时候并不是一股脑就去sfm,view graph 的优化既可以减少冗余也可以改善整个网形提升sfm的鲁棒性。
图5.view graph 4关于dirft问题控制点GCP/gps约束都可以很好的改善这个问题已经在三年前colmap课程中讲过,当然在加入外部约束的时候less is more的约束同时也会增添不少风采如sift的feature scale 定权可以很明显的降低误差如图6
图6.左边是feature sclae和右边没有feature scale 5关于colmap 慢的问题这便是pipeline的问题采用分组sfm便可解决整个过程是view graph 聚类分组–每个组内 local sfm -- local sfm merge 。做好分组sfm的基本是local sfm 足够的鲁棒。
图7.vismap 11095张鱼眼sfm结果不同颜色代表分组 6关于colmap 鲁棒性方面对于forword motion数据p3p/pnp的效果并不一定好这个时候采用hybird方式不免是一种明智的做法流程是先rotation averaging 然后采用p2p解算pose,具体参见HSfM: Hybrid Structure-from-Motion(崔海楠)的工作。初次之外也可以在rotation averaging后利用得到全局rotation 和pnp解算的r进行约束也就是除了重投影误差还有图像对之间Rotation的惩罚项。
7关于colmap sfm的评判机制/标准目前所有的论文最终评判sfm的metric都是track length、重投影误差、3D点个数、每张影响的2D点个数但是重投影误差是无意义的即使重投影误差很小sfm也会出现dirft因为3D点是源于pose和匹配点Pose dirft会造成3D点不是真,那么投影回来误差自然也不会大所以选择一个合理的metric是值得思考的。
