网站营销活动页面制作,建设网站需要的软硬件,淘宝客网站需要多大主机,网站上搜索的动图怎么做壁纸高精度端到端在线校准环视相机和LIDAR#xff08;精度0.2度内#xff01;无需训练数据#xff09; 附赠自动驾驶学习资料和量产经验#xff1a;链接
写在前面
在自动驾驶车辆的使用寿命内#xff0c;传感器外参校准会因振动、温度和碰撞等环境因素而发生变化。即使是看似…高精度端到端在线校准环视相机和LIDAR精度0.2度内无需训练数据 附赠自动驾驶学习资料和量产经验链接
写在前面
在自动驾驶车辆的使用寿命内传感器外参校准会因振动、温度和碰撞等环境因素而发生变化。即使是看似无害的 camera-lidar 外参校准值有一两度的误差也可能给高级的 camera-lidar 感知功能引入灾难性的故障。 连续在线外部校准COEC在自动驾驶车辆的稳健性和安全性中发挥关键作用在操作系统失效时能够识别故障触发纠正行为然后继续无损运行。如图所示在没有人员车辆服务事件的情况下重新标定传感器系统是面向车队可扩展的安全关键传感器融合系统的要求。
原文链接精度0.2度内无需训练数据端到端在线校准环视相机和LIDAR
本文提出了一种轻量级无模式在线校准算法用于使用深度特征互信息MI进行鱼眼相机和激光雷达的连续在线外参标定 使用深度特征互信息的端到端 COEC 流程 用于标定评估的自我诊断置信度度量 在 KITTI-360 数据集上进行的真实实验使用原始未校正的鱼眼图像
方法
互信息测量了当了解一个变量后对另一个变量的不确定性减少的程度。在相机和激光雷达之间的外部标定的真值处互信息的值应该是最大的。
当前有方法利用图像强度和激光雷达反射一种强度特征共享信息并且可以用作相机-激光雷达外参标定的成本度量。然而关于哪些场景共享强度特征信息没有理论和很少的一致性。图像的亮度强度与激光雷达测量的强度仅有松散的相关性。例如一个深蓝色和明亮的白色路标都会返回高强度的激光雷达测量但图像的强度会有很大的变化。这样的例子在自动驾驶传感器数据中显示了图像和激光雷达强度之间的不一致性是很常见的。 虚拟一个深度传感器以相机图像作为输入并返回场景中每个像素的深度使用单目深度估计网络实现深度估计。虚拟传感器和激光雷达之间的外参标定也就是相机和激光雷达传感器之间的标定。如图所示对于点云不使用强度信息而是欧氏距离作为特征见图2。
如何判断优化收敛也至关重要主要有三个简单的指标 互信息的值在外参标定的真实值处被假定为最大值 互信息对外参的一阶导数在信息函数最大值时应为零 互信息对外参的二阶导数反映了信息函数的峰值并应在外参标定的正确值处为最大值。
具体算法
COEC算法的输入是一组时间同步的图像点云对 ((1,1),(2,2),…,(,))其中每对包括在二维相机光学坐标系 ( ) 中记录的RGB图像 ( ) 和在LiDAR坐标系 ( ) 中记录的包含K个三维点的点云 ( )。
在第一步中使用预训练的单目深度估计网络从每个RGB图像中提取深度图 ( )。第二步中使用由初始值 ( Θ0[,,,,,] ) 参数化的刚性变换 ( ∈4×4)首先将每个点云转换为三维相机坐标系 ( )然后进一步投影到相机光学坐标系 ( )。投影是基于双球相机模型和投影相机矩阵 ( ∈3×4 ) 完成的。
对于每个深度图点云对 { (,)} 我们得到了一组 ( ≤ ) 个像素3D LiDAR点被投影到这些像素上。从像素中我们可以直接提取相应的图像深度特征 ( 1,2,…, )通过从深度图中获取相应的值来实现。匹配的点云深度特征 ( 1,2,…, ) 则使用每个三维点到LiDAR坐标系原点的欧几里得距离来计算。通过归一化直方图表示我们使用这两组特征近似它们的互信息MI
(,,Θ)(Θ)(Θ)−(Θ,Θ)
MI值直接取决于外部参数 ( Θ )。为了获得更稳健的估计对整个输入集合的MI值进行平均。最后使用平均MI作为目标函数该函数由外参参数化并将其最大化以获得正确的外参参数。优化使用Powell的BOBYQA算法用于解决无导数的有界优化问题。
实验
精度表现 失效检测
展示了三个指标的数值互信息、数值一阶导数和数值二阶导数。使用了50对图像-点云这些图像-点云是在三分钟的驾驶片段中获取的用于计算每个指标。在校准的真实值和1°、3°误差值处的指标数值在图4中展示。 总结一下
提出了一种利用相机单目深度估计和激光雷达深度特征之间的互信息进行连续在线外参校准的算法其适用于汽车连续在线外参校准应用未来的工作可以包括 探索单目深度估计和激光雷达互信息的统计特性 了解与使用数据量的关系 更全面的置信度指标和强大的分类器 扩展到更多的相机和激光雷达模型
参考
[1] Continuous Online Extrinsic Calibration of Fisheye Camera and LiDAR
