北京网站建设排行榜,淄博市建设档案馆网站,广州珠江工程建设监理有限公司网站,注册网站对接的短信平台RC-MVSNet#xff1a;无监督的多视角立体视觉与神经渲染--论文笔记#xff08;2022年#xff09; 摘要1 引言2 相关工作2.1 基于监督的MVS2.2 无监督和自监督MVS2.3 多视图神经渲染 3 实现方法3.1 无监督的MVS网络 Chang, D. et al. (2022). RC-MVSNet: Unsupervised Multi-… RC-MVSNet无监督的多视角立体视觉与神经渲染--论文笔记2022年 摘要1 引言2 相关工作2.1 基于监督的MVS2.2 无监督和自监督MVS2.3 多视图神经渲染 3 实现方法3.1 无监督的MVS网络 Chang, D. et al. (2022). RC-MVSNet: Unsupervised Multi-View Stereo with Neural Rendering. In: Avidan, S., Brostow, G., Cissé, M., Farinella, G.M., Hassner, T. (eds) Computer Vision – ECCV 2022. ECCV 2022. Lecture Notes in Computer Science, vol 13691. Springer, Cham. https://doi.org/10.1007/978-3-031-19821-2_38 Source Code Link 摘要
问题–方法–效果 【问题】在不同的视图之间找到准确的对应关系是无监督的多视图立体声音响MVS的致命弱点。现有的方法建立在相应像素具有相似光度特征的假设上。然而在真实场景中多视图图像观察到非兰伯表面和遭遇遮挡。【方法】在2022年8月我们提出了一种新的神经渲染方法RC-MVSNet来解决这种视图间对应的模糊性问题。具体地说我们施加深度渲染一致性损失来约束靠近对象表面的几何特征以减少遮挡。同时我们引入了一个参考视图合成损失以产生一致的监督即使对非兰伯表面。【效果】在DTU和坦克和寺庙数据集上进行的大量实验表明我们的RC-MVSNet方法在无监督的MVS框架上取得了最先进的性能并且与许多监督方法相比具有一定的竞争力。
1 引言
多视图立体视觉Multi-View StereoMVS是三维计算机视觉中一项长期存在的基本任务。MVS的目标是从多视点图像和相应的校准摄像机中恢复真实场景的三维点云。近年来深度学习的广泛应用导致了端到端MVS深度估计网络的出现。一种流行的基于学习的方法MVSNet将来自不同摄像机视图的RGB信息编码为一个代价体并预测用于点云重建的深度图。后续的全监督方法进一步改进了神经网络架构降低了内存使用并在几个基准测试集上具有最突出的深度估计性能。但那些方法严重依赖于监督真实的深度这需要一个深度传感器来收集训练数据。它将这些方法限制在有限的数据集和主要的室内场景中。为了使MVS在更一般的现实场景中实用考虑基于无监督学习的替代方法是至关重要的这些方法可以提供与有监督的方法相比具有竞争力的精度而不需要任何真实深度。
现有的无监督MVS方法基于光度一致性假设该假设即属于同一三维点的像素在不同视图方向下具有相同的颜色属性。然而在现实世界的环境中如图2所示遮挡反射非兰伯特面、不同的相机曝光和其它变量会使这种假设无效。因此不准确匹配的点会导致错误的几何重建。虽然有学者提出使用语义线索来消除立体匹配中的歧义但由于其高度依赖于预先训练的语义特征提取模型带监督的准确性改进非常有限。为了消除与监督的不一致在本文中我们建议使用神经渲染来解决在视图依赖的光度效应和遮挡的情况下的模糊性。 最近人们对新的视图合成越来越感兴趣特别是随着神经辐射场的引入它可以模拟依赖的光度效应的基于可微体素渲染的视图。虽然最初关注的是使用输入密集采样视图对每个场景优化但后续方法建议使用二维CNN编码器即使用很少的输入图像预测新的视图。除了视图依赖辐射来定义沿视图光线的颜色外这些方法还学习体积密度当合成光线时体积密度可以解释为深度。值得注意的是深度是以一种纯粹的无监督的方式来学习的。然而由于主要目标是新的视图合成从体积密度获得的深度往往是不准确的。在我们的方法中我们提出体素渲染方法构建新的损失函数可以解决视图依赖效应和遮挡同时沿用MVS方法中使用的深度表示以确保局部准确和平滑的深度预测。
为此我们引入了RC-MVSNet一种新的端到端可微分的无监督多视图立体视觉网络。结合视图依赖渲染和结构化深度表示的优点我们的方法在竞争激烈的DTU数据集中实现了最先进的深度预测结果并在坦克和寺庙数据集的超范围样本上展现了鲁棒性能。综上所述我们的贡献如下
我们提出了一种基于神经体素渲染的参考视图合成损失以生成RGB监督能够解释视图依赖的光度效应。我们引入高斯-均匀混合采样来学习接近物体表面的几何特征以克服现有的无监督MVS方法中存在的遮挡伪影。我们引入了一种深度渲染一致性损失通过深度先验来细化初始深度图并确保预测的鲁棒性和平滑性。
2 相关工作
2.1 基于监督的MVS
许多监督方法已经提出使用CNN网络来预测RGB输入的深度图和深度图过滤来重建点云。大多数最先进的方法采用3D代价体。MVSNet作为一项具有代表性的工作通过单应性变换将相机参数和特征编码为代价体并通过三维CNN对体积进行正则化以生成深度预测。之后有一些工作通过引入多阶段架构和从粗到细的方式学习深度预测提高了MVSNet的性能和降低了内存消耗。此外还有用卷积循环的GRU或LSTM单元代替了密集的三维卷积。然而对真实深度的依赖限制了它们在特定数据集的应用因此探索无监督的方法是有必要的。
2.2 无监督和自监督MVS
端到端无监督和基于伪标签的多阶段自监督学习在三维视觉中起着关键的作用特别是在多视图重建系统中。光度一致性的基本假设为无监督的MVS提供了可行性。例如Unsupvised MVS提出了第一个基于端到端学习的无监督MVS框架相邻视图用于测得深度反向变换成参考视图并强制执行光度一致性和结构相似性the structured similarity of imageSSIM来最小化参考图像和变换后的图像之间的差异。JDACS提取的语义特征的交叉视图一致性并通过非负矩阵分解对分割图进行监督。然而它仍然需要一个预先训练的语义特征提取主干且交叉视图语义一致性的收敛不稳定无法提供可靠的监督。U-MVSNet采用流深一致性损失来解决有歧义的监督问题。利用密集的二维光流对应关系来生成具有不确定性感知一致性的伪标签在一定程度上提高了监督能力。然而这种方法不能以端到端的方式进行训练因为它需要复杂的预训练和微调。Self-supervised CVP-MVSNet也提出通过无监督预训练出深度伪标签然后进行迭代自监督训练来细化伪标签但它仍然受到有歧义的监督影响。此外这些无监督和自监督的方法缺乏一个遮挡感知模块学习来自的不同方向的特征导致点云重建不完整。
相反我们的简单但有效的模型通过参考视图合成损失直接学习场景的几何特征。这大大降低了训练的复杂性并减轻了有歧义的光度监督。它还通过类似于NeRF的渲染避免了由遮挡引起的问题。
2.3 多视图神经渲染
近年来各种神经渲染方法被提出主要集中于新视图合成的任务。特别是神经辐射场用一个具有位置和方向的连续隐式函数表示场景用于高质量的视图合成一些后续工作提高了其效率和性能。NeRF也有一些扩展它们引入了多视图信息以增强视图合成的泛化能力。MVSNeRF提出利用平面扫描代价体已广泛应用于多视图立体视觉和几何感知场景理解并将其与体素渲染相结合用于神经辐射场重建然而它不能在无监督的情况下产生高质量的深度预测。NerfingMVS使用SfM的稀疏深度点来学习完整的深度来指导NeRF的优化过程。我们的方法利用了精确的神经渲染和代价体的有效泛化能力并提供了基于端到端无监督学习的精确深度估计这超过了以往所有的无监督多视角立体视觉方法并演示了室内对象和超范围的室外场景的精确重建。
3 实现方法
在本节中我们描述了RC-MVSNet。给定N个图像作为输入以及它们相应的相机的内参K和外参R,T我们的方法预测了在参考相机视图中的深度图。整个流程图如图3所示。
它由一个主干分支和一个辅助分支组成。主干建立在Cascade MVSNet基础上它以从粗到细的方式预测深度图 。辅助分支建立在神经辐射场基础之上除了几何图形之外它也建模了与视图相关的场景外观。使用体素渲染合成参考视图并与输入图像进行比较即使在视图依赖效应的情况下也能产生准确的监督。为了保证网络分支之间的几何一致性在引入了额外的深度渲染一致性损失即使在遮挡的情况下也能获得更完整和准确的深度预测。请注意在训练过程中这两个分支同时进行优化相互提供监督。在推理过程中只使用主干网来进行深度预测。
3.1 无监督的MVS网络
主干网络密切遵循Cascade MVSNet架构。输入图像 ( I j ) j 1 N (I_j) _{j1}^N (Ij)j1N最初使用一个共享的2D U-Net进行编码从而生成像素级特征。然后在参考相机的坐标系中构造了一个特征代价体。利用摄像机的内参和外参将每个代价体的体素位置投影到每个输入图像中并通过双线性插值法查询像素特征。变换后的特征体 ( V j ) j 1 N (V_j) _{j1}^N (Vj)j1N通过计算特征方差它们被跨视图融合成一个特征体C C Var ( V 1 , ⋯ , V N ) ∑ j 1 N ( V j − V ˉ j ) 2 N ( 1 ) C\operatorname{Var}\left(V_1, \cdots, V_N\right)\frac{\sum_{j1}^N\left(V_j-\bar{V}_j\right)^2}{N}~~~~(1) CVar(V1,⋯,VN)N∑j1N(Vj−Vˉj)2 (1) 使用3D U-Net进一步细化了特征代价体C最后以从粗到细的方式在参考视图中输出一个深度图。
