上海的外贸网站建设公司排名,全网商城系统,迪庆定制网站建设费用,武昌做网站哪家好Waymo研发经理|自动驾驶感知前沿技术介绍这是Waymo研发经理#xff08;VoxelNet作者#xff09;的一个最新分享报告#xff1a;《自动驾驶感知前沿技术介绍》。在这份报告里#xff0c;介绍了Waymo在自动驾驶感知中五个研究方向的最新成果。 1. Overview of the autonomous…
Waymo研发经理|自动驾驶感知前沿技术介绍这是Waymo研发经理VoxelNet作者的一个最新分享报告《自动驾驶感知前沿技术介绍》。在这份报告里介绍了Waymo在自动驾驶感知中五个研究方向的最新成果。 1. Overview of the autonomous driving system
报告首先是无人驾驶系统的介绍作者以Waymo第四代无人车系统为例。输入为各种感知系统视觉、激光雷达、毫米波雷达系统及提前收集好的地图等通过模块化或端到端处理如深度神经网络输出为无人车控制命令方向盘转角和汽车加速度。
下图为主流的无人车模块化设计。输入模块为采集好的地图和各种传感器信号定位模块根据地图和传感器信号给出当前无人车所在位置感知模块对定位模块输出、传感器信号和地图信息做感知处理然后将感知结果发送给行为预测BP模块最后规划模块根据感知、行为预测以及定位结果给出汽车的控制命令控制模块执行控制命令。 2. Introduction to perception
下图是感知模块介绍感知模块输入为传感器数据摄像头、激光雷达、毫米波雷达和高精地图输出为环境表示。 下图是自动驾驶环境感知中六个主要研究方向目标检测和追踪根据激光雷达点云数据估计目标的位置、大小和方向语义分割给图像中每个像素分配一个类别Flow估计图像中的像素和点云中的每个点下一时刻的运动深度估计判断图像中每个像素的深度行人位置估计估计行人运动主要是行人关节运动估计高精度地图根据各种传感器输入建立高精度地图。 3. New frontiers in scalable perception
下图是感知中Scalability的五个方向模型泛化能力模型在不同天气、城市和长尾问题的泛化能力Quality模型的检测性能模型的计算效率内存和计算速度自动标注替代人工标注仿真数据生成或数据压缩。其中GeneralizationQualityComputational Efficency属于线上模型而Data FlexibilityLabeling Automation属于线下模型。 下面作者将根据以上五个方向介绍Waymo的最新研究成果。
3.1 Generalization
这是一篇通过语义点云生成的进行无监督域自适应3D物体检测论文。论文中作者设计了一个SPG模块可以根据物体的原始点云即使在遮挡或雨天环境下生成语义点云复原物体形状然后将原始点云与生成的语义点云融合得到增强点云最后通过一个流行的3D物体检测器进行物体检测。无论是在target domain 还是 source domain作者设计的SPG模块都极大的提高了3D物体检测器的检测性能。 下面是论文想要解决的问题在雨天或遮挡情况下点云质量下降很厉害从而影响最终的检测结果。 本文的核心思想是在3D物体检测之前还原物体形状。
SPG模块主要做两件事3D分割和前景形状还原。首先将点云数据划分为一个个voxel判断每个voxel是否属于前景voxel然后则在每个前景voxel中生成语义点云还原物体形状。 SPG的pipeline如下图所示实验发现只要多增加5%的原始点云就能多获得500%的前景点云。 下面是在Waymo Domain Adaptation Dataset和KITTI数据集上的检测结果。 下面是是在遮挡远距离物体或大物体上的可视化检测结果。 3.2 Quality
这是一篇通过使用注意力网络融合多帧点云信息进行物体检测的方法与SPG在输入端提高点云质量不同3D-MAN是在输出端将当前帧与历史帧proposals feature相结合来提高检测结果。 本文的核心思想是使用同一个主干网如Pointpillars对当前帧和历史帧提取Proposal特征然后使用注意力模块来优化Proposal最终得到一个更好的检测结果。
论文处理框架如下图所示
在第一阶段使用一个高效的检测器对当前帧输入生成proposal和feature同时将当前帧与历史帧的proposal和feature存储起来。在第二阶段注意力模块首先对当前帧和历史帧的proposal进行alignment操作然后对不同帧的feature进行aggregation最终得到检测结果。 下面是在Waymo Open Dataset数据集上的检测结果。 3.3 Computational Efficency
这篇论文通过在waymo数据range images上首先使用2D卷积选取物体的前景点然后对被选取的前景点云进行稀疏卷积操作。通过结合range images上提取的特征不仅提高了3D物体检测性能而且还达到了60帧每秒的检测效率。 由于点云的稀疏性之前的检测方法PointPillar和PV-RCNN只考虑Occupancy Sparsity判断划分的Voxel是否为空而本文则是最大化算法的检测效率内存使用考虑的是Semantic Sparsity即判断划分的Voxel是否为前景Voxel。 算法结构如下输入为range images这是将点云转换成图像形式通过分割模块分割出前景点同时提取前景点feature然后进行Sparse Feature Extraxction最后是Box回归得到proposal。
下面是在Waymo Open Dataset数据集上的检测结果。 3.4 Labeling Automation
作者首先介绍了线上模型和线下模型开发的区别。 这是一篇用于自动标注的3D物体检测方法检测效果达到了人类标注的性能作者首先解释了自动标注的重要性。 论文核心思想是在不同时刻会看到物体不同视角的形状将不同时刻物体的点汇集起来能够更准确地估计物体的形状和尺寸。 下面是一辆mini-van的不同帧数物体点汇集起来的样子帧数越多估计出来的形状更完整。 下面是算法的pipeline首先是对点云序列每一帧进行检测接着是多物体追踪然后是同一追踪物体的点云数据提取这里将物体分为静态和动态来进行标注。
下面是在Waymo Open Dataset数据集上的检测结果。需要说明的是IoU0.8为人工标注时的标准。 3.5 Data Flexibility
在这篇论文中通过收集来的传感器数据来生成逼真的图像数据重建3D World同时生成的数据也可以用于仿真测试。 下面是具体的实际应用不同视角和不同场景合成。
