福州网站设计软件公司,dw网站开发流程,中英文网站用一个域名还是两个域名利于优化,网站建设业绩3D Gaussian Splatting for Real-Time Radiance Field Rendering SOTA方法3DGS contribution传统重建基于点的渲染NeRF 基础知识补盲光栅化SFM三角化极线几何标准的双目立体视觉立体匹配理论与方法立体匹配的基本流程李群和李代数 李群和李代数的映射李代数的求导李代数解决求导… 3D Gaussian Splatting for Real-Time Radiance Field Rendering SOTA方法3DGS contribution传统重建基于点的渲染NeRF 基础知识补盲光栅化SFM三角化极线几何标准的双目立体视觉立体匹配理论与方法立体匹配的基本流程李群和李代数 李群和李代数的映射李代数的求导李代数解决求导问题李代数求导扰动模型则 SE(3) 上的李代数求导 SOTA方法
3D表示格网和点 连续场景表示 NeRF(体积射线行进优化多层感知机MLP以实现捕获场景的新视图合成) 插值存储在体素、哈希网格或点中的值来构建连续表示 未考虑插值会受到外部噪声干扰
3DGS contribution
3D 高斯作为灵活且富有表现力的场景表示。使用 SfM 过程中生成的稀疏点云初始化 3D 高斯仅使用 SfM 点作为输入即可获得高质量结。3D 高斯是可微的体积表示同时可以通过投影到 2D 并应用标准 α 混合来非常高效地进行光栅化。3D 高斯属性的优化 ——3D 位置、透明度 α、各向异性协方差和球面谐波SH系数3DGS属性优化与自适应密度控制步骤交错进行在优化过程中添加和偶尔移除 3D 高斯。优化过程产生了场景的合理紧凑、非结构化且精确的表示快速可见性感知渲染其使用快速 GPU 排序算法并受基于瓦片的光栅化启发。然而由于我们的 3D 高斯表示我们可以执行尊重可见性顺序的各向异性 splatting—— 借助排序和 α 混合 —— 并通过跟踪所需数量的已排序 splat 的遍历实现快速准确的反向传播 ??如何理解3DGS与自适应密度控制交错进行如何理解在优化过程添加和移除3DGS如何理解快速GPU排序算法以及瓦片光栅化和各向异性splatting?什么是α混合作用是什么如何理解后向传播关注什么参数调整
传统重建
基于点的渲染
NeRF
基础知识补盲
光栅化
什么是光栅化光栅化具体的实现步骤
SFM
如何通过运动恢复结构SfM校准的相机
三角化
极线几何
极平面、极线 在第二张图像上面搜索空间点M在第一张图像的投影点m的对应点m’的时候只需要在对应的极线上搜索就可以了
标准的双目立体视觉
条件 视差 d指同一物体在左右两张图像中对应点的水平坐标差在左视图的列坐标xl减去在右视图上的列坐标xr是像素单位,则最终的水平视差为d xl - xr 深度 深度D等于像素在该视图相机坐标系下Z坐标是空间单位 视差图 视差图指存储立体校正后单视图所有像素视差值的二维图像。
视差图是一张二维图像和原图等大小视差图每个位置保存的以像素为单位的该位置像素的视差值左视图视差图在像素位置p的视差值等于该像素在右图上的匹配点的列坐标减去其在左图上的列坐标 视差与深度的关系视差与深度成反比d f x b / z对应的视差d越小深度z越大(距离相机越远)相机的视线平行相机光心连接构成的基线与两个相机的光轴平行 极线校正——使两幅图像的极线相互平行
立体匹配理论与方法
主要用来估计图像中每个像素点的可靠的深度信息 立体匹配理论立体匹配的目的就是对同一三维场景的两幅成像平面中的每一个像素点找到与其相匹配的点于是可以计算出每个坐标点的视差值 d 进而可以准确的描述场景的三维空间信息。 视差和深度之间的关系 立体匹配(视差估计) 输入为一对在同一个时刻捕获的经过极线校正的左右两幅图像Ir,Il,输出是由参考图像中(左图)中每个像素对应的视差值所构成的视差图d。视差是三维场景中某一点在左右图像中对应点位置的像素级差距。
立体匹配难点 光照变化、遮挡、无纹理区域、重复纹理、视差不连续
立体匹配的基本流程
匹配代价计算 衡量待匹配像素与候选像素之间的相关性。代价越小则说明相关性越大是同名点的概率也越大。(是否为同名点都可以进行匹配计算) 每个像素在搜索同名点之前往往会指定一个视差搜索范围DDmin ~ Dmax,视差搜索时将范围限定在D内用一个大小为W×H×DW为影像宽度H为影像高度的三维矩阵C来存储每个像素在视差范围内每个视差下的匹配代价值。矩阵C通常称为DSIDisparity Space Image。 选择合适的匹配代价计算函数是立体匹配中不可忽视的关键步骤 代价聚合
视差计算 视差优化
李群和李代数
这里首先利用了旋转矩阵的正交性质并考虑旋转矩阵是具有连续时间变化的性质对旋转矩阵基于时间t求导 最终求导整理得出反对称矩阵的性质 反对称矩阵能够用一个三维向量表示量 ϕ(t) ∈ R3——这也是反对称矩阵与三维向量存在的性质 考虑在原点附近进行一阶泰勒展开同时考虑李群在原点附近的正切空间的性质最终得到R(t) 特殊正交群SO3与特殊欧式群SE3 SO3代表旋转矩阵而SE3代表变换矩阵。 这里需要注意SO3旋转矩阵具有约束条件而且旋转矩阵以及变换矩阵对加法不封闭但是这些矩阵对乘法是封闭的 同时李群指的是具有连续(光滑)性质的群——SE(3)与SO(3)在实数空间上是连续的 李代数 这里需要注意的是李代数是一个由三维向量组成的集合每个向量对应到一个反对称矩阵可以用于表达旋转矩阵的导数 李群与李代数的关系为**指数映射关系R exp(ϕ^). ** 对于罗德里格斯公式可以形象的理解为旋转矩阵R能够通过利用模长θ以及单位方向向量a^计算得出的这样可以将李代数so(3)中的任意一个三维旋转向量通过罗德里格斯公式最终计算得出与指数映射等价的旋转矩阵 姿态矩阵SE(3)上的指数映射 首先对于矩阵SE(3)考虑为 将矩阵SE(3)通过se(3)李代数通过指数映射表示为 那么如何理解李代数呢se(3)位于R6空间中对应的SE(3)的李代数se(3)包含三维平移向量ρ以及三维旋转向量φ 构建se(3)上面的指数映射 得出se(3)的指数映射形式为 将右上角的进行推导得 平移部分经过指数映射后发生了一次以J为系数矩阵的线性变换 那么怎么通过对数映射构建李群和李代数的关系呢
旋转矩阵由9个量构成但是一次旋转只是存在3个自由度。旋转矩阵自身带有的约束必须是正交矩阵而且行列式为1 通过一种方式紧凑的描述旋转和平移 旋转矩阵R可以用一个单位长度的向量n以及旋转角度θ来描述这个变换 罗德里格斯公式能够明确这种变换 注意Rn n表示旋转轴上的向量在旋转后不发生任何变换说明转轴 n 是矩阵 R 特征值 1 对应的特征向量并且“旋转轴经过旋转之后不变” 李群与李代数的关系 理解一下从SE(3)到se(3)的变化 通过能够计算出旋转角θ然后李代数又可以表示为一个绕着某个固定轴a旋转了θ角度的向量也就是ε θa而绕着旋转轴a旋转角度θ旋转轴经过旋转后仍然不变(Ra a)如果通过姿态矩阵T求得t的话就很简单t Jρ而J可以通过θ和a求得ρ就能够简单得出。 大家可能会想这个雅可比矩阵J怎么求——通过se(3)的罗德里格斯公式求解
李群和李代数的映射
指数映射以及对数映射
李代数的求导
设计优化问题 而针对于观测到的每一个路标点都会产生一个error误差模型——最终的问题寻找一个最优的T使得整体误差的参茶值最小 这里观察到求解此问题需要计算目标函数 J 关于变换矩阵 T 的导数。这里的重点是我们经常会构建与位姿有关的函数然后讨论该函数关于位姿的导数以调整当前的估计值。然而SO(3), SE(3) 上并没有良好定义的加法它们只是群。如果我们把 T 当成一个普通矩阵来处理优化那就必须对它加以约束(正交矩阵T*TT I,det(T) 1)。而从李代数角度来说由于李代数由向量组成具有良好的加法运算。 !!! 使用李代数解决求导问题
用李代数表示姿态然后根据李代数加法来对李代数求导对李群左乘或右乘微小扰动然后对该扰动求导称为左扰动和右扰动模型。
李代数解决求导问题
BCH公式 上式对于φ1φ2标量该式成立。 但是将李代数通过指数映射转化为矩阵形式——ln (exp (A) exp (B)) A B 这里需要关注的问题如果标量φ1φ2成立那么此时变成矩阵上式仍然满足么φ1φ2的反对称矩阵为矩阵的形式所以如果φ1 Aφ2 B那么整个式子变成如下形式对于矩阵来说为非标量所以上面的式子就不成立 两个李代数指数映射乘积的完整形式由 Baker-Campbell Hausdorff 公式BCH 公式给出 BCH 公式告诉我们当处理两个矩阵指数之积时它们会产生一些由李括号组成的余项。但是SO(3) 上的李代数 ln (exp (ϕ1) exp (ϕ2))∨当 ϕ1 或 ϕ2 为小量时小量二次以上的项都可以被忽略掉。 那么BCH 拥有线性近似表达 这个公式将矩阵相乘转化为李代数相加的形式做了等式的近似 该式告诉我们当对一个旋转矩阵 R2李代数为 ϕ2左乘一个微小旋转矩阵 R1李代数为 ϕ1时可以近似地看作在原有的李代数 ϕ2 上加上了一项 Jl(ϕ2)−1ϕ1。 李代数在 BCH 近似下分成了左乘近似和右乘近似两种在使用时我们须注意使用的是左乘模型还是右乘模型 这里的J对应的是罗德里格斯公式在姿态矩阵上成立的变形等式 而右乘雅可比仅需要对自变量取负号 对应的李代数实现优化问题求导可以考虑为 用李代数实现优化问题求导 由于李代数由向量组成具有良好的加法运算。因此使用李代数解决求导问题的思路分为两种 1. 用李代数表示姿态然后根据李代数加法来对李代数求导。 2. 对李群左乘或右乘微小扰动然后对该扰动求导称为左扰动和右扰动模型。 第一种方式对应到李代数的求导模型而第二种则对应到扰动模型。下面来讨论这两种思路的异同
李代数求导
李代数的求导根据优化函数 此时对于T矩阵进行求导也就是对矩阵求导(将李代数Φ通过指数映射为R的形式) 最终得到的函数对于R矩阵的求导为 第 4 行至第 5 行将反对称符号看作叉积交换之后变号。们推导出了旋转后的点相对于李代数的导数 利用李代数求导引入了然含有形式比较复杂的 Jl我们不太希望计算它
扰动模型则
由于这里仍然含有形式比较复杂的 Jl我们不太希望计算它。而下面要讲的扰动模型则提供了更简单的导数计算方式。 对于直接用李代数进行求导通过对李代数先进性指数映射然后进行左乘扰动然后再通过对残差函数求导将对旋转矩阵R的求导转化为对李代数再经过左乘扰动模型后的求导 这里避免了计算直接对李代数求导后引入了雅可比矩阵Jl带来额外的计算负担通过左乘扰动能够有效地规避Jl的计算 关注一下经过扰动模型得到的求导公式与直接对李代数求导的公式 经过左乘扰动 直接对李代数求导
SE(3) 上的李代数求导
直接对姿态矩阵进行上面的左乘扰动这样能够避免直接对李代数计算引入额外的雅可比矩阵Jl的复杂计算 SE(3)上的推导 根据下面的求导规则 得到如下计算结果
