舞钢网站建设,wordpress封面图插件,qq群引流推广网站,做视频网站的流程文章目录 引言#xff1a;什么是新视角合成任务定义一般步骤NeRF的做法NeRF的三维重建NeRF的渲染 3DGS的三维重建从一组图片估计点云高斯点云模型球谐函数参数优化损失函数和协方差矩阵的优化高斯点的数量控制(Adaptive Density Control)新的问题 3DGS的渲染#xff1a;快速可… 文章目录 引言什么是新视角合成任务定义一般步骤NeRF的做法NeRF的三维重建NeRF的渲染 3DGS的三维重建从一组图片估计点云高斯点云模型球谐函数参数优化损失函数和协方差矩阵的优化高斯点的数量控制(Adaptive Density Control)新的问题 3DGS的渲染快速可微光栅化3DGS的限制 引言什么是新视角合成任务
定义
新视角合成(Novel View Synthesis)属于计算机视觉领域该任务要求
输入源图像(Source)输入源姿态(Source Pose)输入目标姿态(Target Pose)
最终获得
目标姿态对应的的图片(Target)
无论是2020ECCV的best paperNeRF还是2023年爆火的3DGS都是为了完成NVS任务。
一般步骤 三维重建 从已有视角的图像中推断出场景的三维几何信息包括物体的形状和位置。 渲染 利用三维重建的信息通过渲染技术生成新视角下的图像考虑光照和纹理等因素。
这两个步骤是新视角合成的基本框架涵盖了几何重建和图像合成的关键概念。在实践中可以根据具体应用的需求进一步细化这些步骤例如加入光照模型、深度合成等处理以提高合成图像的质量和真实感。
NeRF的做法
让我们来以NeRF为例子更加深刻地了解一个新视角合成任务的步骤。当然笔者不会写的特别详细否则这篇文章就变成NeRF的介绍了。如果对NeRF特别感兴趣可以阅读笔者的另一篇文章。 NeRF的三维重建
NeRF成功最大因素就在于它借用了深度学习的东西去进行三维重建。简单地说NeRF利用多层感知机(MLP)创建了一个函数。 这个函数接受一个向量 ( x , y , z , θ , ϕ ) (x,y,z,\theta,\phi ) (x,y,z,θ,ϕ)作为输入其中 ( x , y , z ) (x,y,z) (x,y,z)表示这个点在空间中的坐标 ( θ , ϕ ) (\theta,\phi ) (θ,ϕ)表示观察角度俯仰角pitch和偏航角yaw。它的输出是 ( R G B , σ ) (RGB,\sigma ) (RGB,σ)。RGB很好理解就是这个点的颜色。而 σ \sigma σ是一个被称为体素密度的计算量。这两个输出的量是为了后面的体渲染做准备。
有了这个函数之后对于三维空间中指定坐标的任何一点都可以知道它的 ( R G B , σ ) (RGB,\sigma ) (RGB,σ)。而且由于使用的是MLP来表示这个函数那么这个函数就是连续的、可微分的也就可以用反向传播去优化。
NeRF的渲染 NeRF的渲染方式采用经典的体渲染。具体的算法本文不再赘述。总而言之体渲染需要三个参数作为输入
目标位姿空间中每个位置的体素密度空间中每个位置的RGB颜色值
然后输出
目标位姿对应的图片
当然这种方法也是可微的。
这种体渲染的方式需要以像素为单位生成光线然后在光线上对空间内的点进行采样因此每个像素点在渲染时都需要计算对应的光线成本相当高昂在渲染高分辨率图像时帧率非常低下无法做到实时渲染。
同样基于这个原因NeRF优化参数时在源图像与生成图像上只会选择一些像素点去计算RGB颜色值的损失进行反向传播优化MLP的参数而不是将所有像素点都拿来计算损失。
3DGS的三维重建
从一组图片估计点云
3DGS使用SFM(Structure from Motion)方法完成了从一组图片估计点云的步骤甚至不需要给出相机的位姿就可以获得点云。这是一种非常成熟的方法由Schönberger和Frahm等人于2016年提出已经封装在COLMAP库中在3DGS开源的代码中可以直接调用。 此方法的具体内容不是本文要探讨的可阅读原文献。
高斯点云模型
3DGS从获得的稀疏点云开始创建并且优化高斯点云。每个高斯点包含以下几个用来渲染的重要属性
点的坐标Position即3D高斯函数的均值(Mean)协方差矩阵Covariance matrix决定这个高斯点的形状不透明度Opacity α \alpha α在渲染时用到球谐函数Spherical harmonics在3DGS中表示这个高斯点在任意视角下的颜色 球谐函数
球谐函数Spherical Harmonics, SH是一组定义在球面上的特殊函数通常用来表示球面上的函数。球谐函数在图形学、计算机图形学和计算机图像等领域中广泛应用。在3DGS中球谐函数用于近似光照和颜色分布。
虽然球谐函数是定义在球面上但是这个函数的输入并不是坐标 ( x , y , z ) (x,y,z) (x,y,z)而是视角 ( θ , ϕ ) (\theta,\phi ) (θ,ϕ)它的输出是RGB颜色值。 只要给定了欲生成图片的目标位姿之后就可以知道这个点对应的视角 ( θ , ϕ ) (\theta,\phi ) (θ,ϕ)从而根据这个函数计算这个点在图片上应该呈现出的颜色。因此球谐函数的参数也是优化的目标之一。
参数优化 使用所有的高斯点使用源图像的位姿渲染出图像根据源图像和渲染图像计算损失并反向传播进行优化。优化的对象有 协方差矩阵Covariance matrix不透明度Opacity α \alpha α球谐函数Spherical harmonics 对高斯点的数量进行控制即进行克隆、分裂或者删除
损失函数和协方差矩阵的优化
TODO.
高斯点的数量控制(Adaptive Density Control) 删除在优化预热之后每一百次迭代就会删除几乎透明的高斯点即不透明度 α \alpha α小于阈值 ϵ α \epsilon_\alpha ϵα的高斯。 ϵ α \epsilon_\alpha ϵα是个超参数经验上设置为0.0002。 克隆和分裂 对于重建不足的高斯点克隆一个相同大小的副本并且沿着位置梯度方向移动。 对于过度重建的高斯点对它进行分裂分裂时还需要确定比例经验上以超参数 ϕ 1.6 \phi1.6 ϕ1.6作为这个比例。
新的问题
论文中作者提出分裂高斯点的方法可能会导致密度的不合理增加。 In the first case we detect and treat the need for increasing both the total volume of the system and the number of Gaussians, while in the second case we conserve total volume but increase the number of Gaussians. Similar to other volumetric representations, our optimization can get stuck with floaters close to the input cameras; in our case this may result in an unjustified increase in the Gaussian density. 于是作者设置了以下策略
每迭代N3000次将所有高斯点的透明度 α \alpha α修改为接近0的一个值。在优化时 α \alpha α会在需要时增加。同时先前的阈值删除策略也可以很好地剔除几乎透明的高斯点。这里的N同样是个超参数。
3DGS的渲染快速可微光栅化
笔者主要参考了此篇综述。
NeRF通过体渲染去生成新的图像这要求为每个像素都采样很多空间点。这种方法在高分辨率的图像合成中计算成本非常高昂难以实现实时渲染速度。
与之形成鲜明对比的是3DGS首先将空间中的3D高斯投影到基于像素的图像平面上这个过程被称为泼溅splatting。随后3DGS对这些高斯进行排序并计算每个像素的值。 a泼溅步骤将 3D 高斯投射到图像空间。b3D高斯将图像划分为多个不重叠的块tiles。c3DGS复制覆盖多个块的高斯为每个副本分配一个标识符 ID。d通过渲染有序高斯我们可以获得所有像素的值。渲染过程相互独立。
3DGS的渲染分为以下几步 视锥剔除给定指定的相机姿势此步骤确定哪些高斯点位于相机的视锥体之外。这样做可以确保在后续计算中不涉及给定视图之外的高斯点从而节省计算资源。对应代码。 泼溅splatting。在这一步骤中高斯点被投影到2D图像空间中进行渲染如图a所示。 给定视图变换 W \boldsymbol{W} W和3D协方差矩阵 Σ \Sigma Σ 那么投影的2D协方差矩阵 Σ ′ \Sigma^{\prime} Σ′的计算公式如下 Σ ′ J W Σ W ⊤ J ⊤ \Sigma^{\prime}\boldsymbol{J} \boldsymbol{W} \Sigma \boldsymbol{W}^{\top} \boldsymbol{J}^{\top} Σ′JWΣW⊤J⊤ 其中 J \boldsymbol{J} J是射影变换的仿射近似的雅可比矩阵。对应代码。 以像素为单位进行渲染。在深入讨论使用多种技术来提升并行计算的最终版本的3D GS之前我们首先阐述其更简单的形式以提供对其工作机制的洞察。给定像素的位置 x x x可以通过视图变换 W \boldsymbol{W} W计算出它与所有重叠高斯的距离即这些高斯的深度形成一个排序的高斯列表 N \mathcal{N} N对应代码。然后采用alpha合成对应代码来计算这个像素的最终颜色对应公式如下 C ∑ i ∈ N c i α i ′ ∏ j 1 i − 1 ( 1 − α j ′ ) C\sum_{i\in\mathcal{N}}c_i \alpha_i^{\prime}\prod_{j1}^{i-1}\left(1-\alpha_j^{\prime}\right) Ci∈N∑ciαi′j1∏i−1(1−αj′) 其中 c i c_i ci是球谐函数输出的颜色最终的不透明度 α i ′ \alpha_i^{\prime} αi′是学习到的不透明度 α i \alpha_i αi和高斯分布的乘积结果对应代码对应计算公式如下 α i ′ α i × exp ( − 1 2 ( x ′ − μ i ′ ) ⊤ Σ i ′ − 1 ( x ′ − μ i ′ ) ) \alpha_i^{\prime}\alpha_i\times\exp\left(-\frac12(x^{\prime}-\boldsymbol{\mu}_i^{\prime})^{\top}\boldsymbol{\Sigma}_i^{\prime{-1}}(\boldsymbol{x}^{\prime}-\boldsymbol{\mu}_i^{\prime})\right) αi′αi×exp(−21(x′−μi′)⊤Σi′−1(x′−μi′)) 其中 x ′ x^{\prime} x′和 μ i ′ \boldsymbol{\mu}_i^{\prime} μi′是投影空间中的坐标。 值得担忧的是与NeRFs相比上述的渲染过程可能更慢因为生成所需的有序列表难以并行化。实际上这种担忧是合理的当使用这种简单的逐像素方法时渲染速度可能会受到显著影响。为了实现实时渲染3DGS做出了几个妥协以适应并行计算。 Tiles图像块。为了避免为每个像素计算有序列表的计算成本3DGS将精度从像素级别转移到块级别细节如b所示。3DGS最初将图像划分为多个不重叠的图像块这些图像块在原始论文中被称为tiles。每个块包含16x16像素。3DGS进一步确定哪些图像块与这些投影的高斯椭圆相交。考虑到一个投影的高斯可能覆盖多个块一种合理的方法是复制高斯为每个副本分配一个标识符即块ID如c所示。 并行化渲染。复制后3DGS会将各自的块ID与每个高斯视图变换得到的深度值结合起来。这样就得到了一个未排序的字节列表其中高位代表块ID低位表示深度。这样排序后的列表就可以直接用于渲染。cd提供了该概念的直观演示。值得强调的是每个块和像素的渲染都是独立进行的因此这一过程非常适合并行计算。另外一个好处是每个块的像素都可以访问一个公共的共享内存并保持一个统一的读取序列从而提高渲染的并行执行效率。在原论文的官方实现中该框架将块和像素的处理分别视为类似于CUDA编程架构中的block和thread。
3DGS的限制
一般来说一个复杂场景需要由数百万个高斯点表示。因此3DGS的每个场景都需要GB级别的存储空间。相比之下NeRF的一个场景只需要MB级别的空间。
