企业建站服务退役军人,中京建设集团有限公司网站,SEO网站建设入驻程流,问答社交网站开发Challenge#xff1a;
现有的目标检测器主要融合激光雷达和相机#xff0c;通常提供丰富和冗余的视觉信息 利用最先进的成像雷达#xff0c;其分辨率比RadarNet和LiRaNet中使用的分辨率要细得多#xff0c;提出了一种有效的深度后期融合方法来结合雷达和激光雷达信号。 MV…Challenge
现有的目标检测器主要融合激光雷达和相机通常提供丰富和冗余的视觉信息 利用最先进的成像雷达其分辨率比RadarNet和LiRaNet中使用的分辨率要细得多提出了一种有效的深度后期融合方法来结合雷达和激光雷达信号。 MVDNet本质是将雷达强度图与激光雷达点云深度融合以利用它们的互补能力。
Contribution
1.提出了一种深度后期融合检测器MVDNet可以有效地利用激光雷达和雷达的互补优势。 2.在雾天条件下引入了一个具有细粒度激光雷达和雷达点云的标记数据集。同步ORR数据集中雷达和激光雷达扫描频率不同
Method MVDNet 多帧(H frames)输入2D卷积提取特征图连接每个传感器所有帧的特征图卷积生成RoI两个传感器生成的建议通过非最大抑制(NMS)合并。再用RoI在2*H个特征图中进行RoI Pooling得到2*H*C*W*L RoI特征图两个传感器的特征图进行Self Attention和Cross Attention后按时间维度concat起来进行refinement。 Self Attention和Cross Attention如下简单说就用自己Self和另一个传感器数据Cross计算出注意力加权图进行加权引用AtLoc
Dataset Preparation
ORR:radar scans at a step of 0.9 every 0.25 s and lidar at a step of 0.33 every 0.05 s. 对于一个radar收集连续N5帧的lidar从这5帧lidar中选择属于 扇区的lidar点重新组合为lidar完成同步。而不是简单选择最接近的一帧不管哪帧始终有一部分是偏移的。 同步前后的可视化
Experiments
精度对比BEV 可视化验证Radar的帮助
