网站构建免费,WordPress管理员邮件,cn域名做犯法网站,小米路由 做网站最近国外同行Kieran Farr发布了一个他制作的3D GussianSplatting(高斯泼溅)Google Map 3D Tiles的融合叠加的demo案例#xff08;如下所示#xff09;。 准确来说这是一个数据融合的实景场景#xff0c;该实景场景使用了倾斜三维和3D GussianSplatting两种实景表达技术…最近国外同行Kieran Farr发布了一个他制作的3D GussianSplatting(高斯泼溅)Google Map 3D Tiles的融合叠加的demo案例如下所示。 准确来说这是一个数据融合的实景场景该实景场景使用了倾斜三维和3D GussianSplatting两种实景表达技术该融合场景的倾斜三维使用的是Google Maps的3D Tiles瓦片服务3D GussianSplatting的场景是通过Luma平台生成导出场景的裁剪使用playcanvas的SuperSplat工具进行场景的裁剪前端框架上他选择了A-FrameThree.js的组合。
从二者的融合我们可以看出3D GussianSplatting的整个技术特点对于细节的表达更加真实细腻比如下图的红色箭头指出的部分其实就是使用3D GussianSplatting生成的照片级的小品场景效果。 除了这些小品场景3D GussianSplatting表现的效果比较出色之外对于室外更大的场景根据Luma给出的在线案例效果同样非常细腻案例地址放在文末大家有兴趣可以自己体验一下。 其实在年初的时候我和国内的一个团队交流过其实他们内部也已经实现了二者的融合由于现在开源的框架比较多以及格式开放所以初步做起来难度并不是很大。
比如在场景生成方面可以采用gaussian-splatting-Windows这个开源工具而且作者还公布了详细的使用教程。 在场景编辑方面对GussianSplatting PLY格式的场景可以采用PlayCanvas的开源工具SuperSplat最直接的就是对场景进行裁剪对周边的一些质量比较差的区域进行裁剪以及对场景文件进行压缩。 在前端方面基于Threejs也都有了相应的开源工具GaussianSplats3D可以直接使用由于3DGS是一种显示表达的格式每个高斯都有相应的位置所以模型转换到统一的地理空间坐标系下也是比较容易的。 在游戏引擎方面UE的市场上也有GussianSplatting相应的插件支持PLY格式数据导入支持空间点数据的八叉树优化和LOD渲染不过是付费的。 根据最近的一些进展来看现在通过AI合成场景的研究工作都开始从NeRF转向了3D GussianSplatting领域同时最近也产生了一系列的研究成果包括上海人工智能实验室发布的Octree-GS为了解决3D GussianSplatting大场景的渲染问题引入了八叉树这种LOD解决方案这个在地理信息领域一直是一个万金油方法数据大了就分级、分块。
不过基于「软点」的GussianSplatting相对于过去基于Mesh的方法处理起来的难度相对来说可能会更小一些本质上就是在顾及外观表现的情况下做好数据点密度的分级过滤就可以所以在GussianSplatting阶段过去一些厂商在数据简化方面积累的优势可能就会不存在了因为在新的技术条件下这个问题可能根本就不再是个问题了。 同时还有InstantSplat方法其通过使用DUSt3R来替换传统3D GussianSplatting生成管道中需要依赖的COLMAPDUSt3R基于Transformer采用端到端的训练可简化从任意图像集合中重建三维场景的过程而无需事先了解相机校准或视点位置的信息同时支持使用非常少的照片就可以实现3D的重建比如下图展示的就是通过该方法可以实现基于两张图片就可以实现3D小熊的重建。 根据论文的介绍InstantSplat可以做到40秒内实现GussianSplatting场景重建如果有更广泛的适配性则该方法真的就可以做到又快又好了。 最近和一些开展实践的团队交流的过程中也确实发现在工程应用的时候单纯的依靠相机的数据会出现局部重建失败的情况所以现在也有通过在硬件上融合激光点云的方案来提升该方法在工程上的稳定性毕竟做几个demo和真正的复杂工程应用场景相比还是有区别的在工程上通常需要采用一些冗余的方案来保证稳定性后面有机会我也会找相应的一些工程化的解决方案具体实践一下到时候再推出具体的内容。 Luma案例在线体验地址
https://lumalabs.ai/capture/2fe14849-ffc9-4a9f-a205-340ceb032a80 3D GS3D Tiles融合体验地址
https://maps-and-splats.glitch.me/ 声明转载此文不为商业用途。文字和图片版权归原作者所有若有来源标注错误或侵犯了您的合法权益请与我们联系我们将及时处理谢谢。 如何查看全球历史影像
如何快速构建三维模型倾斜摄影
注册测绘师资格考试备考建议 | 附30GB学习资料
国产GIS软件在国产化解决方案中的应用与实践
AutoCAD如何加载在线/离线遥感影像地图
UE5GIS技术应用场景介绍
地知通探索世界的窗口
