延安做网站,百度关键词价格查询,易加互动平台,建设网站需要购买哪些目录
点云感知
启发式方法#xff1a;NCut
深度学习方法#xff1a;CNNSeg
视觉感知
CNN检测
CNN分割
后处理
红绿灯感知
基于深度学习的红绿灯感知模块
Radar感知
超声波感知 原文链接#xff1a;进阶课程⑲丨Apollo感知之旅——感知算法 感知是自动驾驶的第一环…目录
点云感知
启发式方法NCut
深度学习方法CNNSeg
视觉感知
CNN检测
CNN分割
后处理
红绿灯感知
基于深度学习的红绿灯感知模块
Radar感知
超声波感知 原文链接进阶课程⑲丨Apollo感知之旅——感知算法 感知是自动驾驶的第一环是车辆和环境交互的纽带。一个自动驾驶系统的整体上表现好坏很大程度上都取决于感知系统的做的好坏。 讲到感知首先不得不讲到传感器。传感器是自动驾驶感知环节中最主要的工具我们必需对传感器能够提供的数据类型、适用的工况以及局限性都非常了解和熟悉才能让算法工程师更好的适配传感器所采集和提供的数据写出更好的算法。 雷达感知是一种无线感知技术通过分析接收到的目标回波特性提取并发现目标的位置、形状、运动特性和运动轨迹并且可以进一步推断目标和环境的特征。其作用类似于人类的眼睛和耳朵。 雷达感知可以支持非常丰富的应用场景比如毫米波雷达就已经被广泛应用在汽车辅助驾驶领域用以检测行人和前车实现防撞预警。此外雷达在居家、智能大厦、自动驾驶以及可穿戴设备等领域也有很多潜在的应用。当前随着新型低功耗、小型雷达传感器的不断发展雷达技术在很多智能设备以及电子产品当中都进行了很多应用。 上周阿波君为大家详细介绍了「进阶课程⑱Apollo感知之旅——传感器标定」。 通过介绍了标定的目的、标定算法以及3D标定间制作其中详细的介绍了8种参数标定Camera-to-Camera外参标定、Lidar-to-Camera外参标定、Lidar-to-Lidar外参标定、Lidar内参标定、Lidar-to-GPS外参标定、自然场景中的Lidar-to-Camera外参标定、自然场景中的Bifocal Camera外参标定、Camera-to-Radar外参标定。 本周阿波君将与大家分享Apollo感知之旅——感知算法。下面我们一起进入进阶课程第19期。 感知算法根据使用的传感器不同而不同。对于激光雷达Lidar点云感知本节主要介绍两个检测算法分别是启发式的Ncut和深度学习算法CNNSeg。对于视觉感知将全面介绍深度学习检测和分割技术、跟踪技术2D-to-3D技术以及多相机融合技术此外还会介绍红绿灯检测算法。最后简要介绍Radar检测和超声波检测算法。
点云感知
点云障碍物感知的主要任务是感知障碍物的位置、大小、类别、朝向、轨迹、速度等。核心是点云检测分割技术可以用启发式算法NCut和深度学习算法CNNSeg完成。
启发式方法NCut
Ncut算法的基本思想是基于空间平滑性假设即空间上接近的点来自同一个障碍物。首先利用地图信息对点云进行预处理例如去掉感兴趣区域之外的点云降低点云图的复杂度。然后根据预处理后的点云构建加权图G(V, E, W)将点云分割转换为图分割的问题可以利用图聚类的算法求解最终求解的每一个cluster就代表一个障碍物。该算法的优点是解释性好缺点是分割规则过于简单难以应对实际情况草丛、绿化带主要原因在于缺乏语义信息。 基于Ncut算法的点云检测分割技术 深度学习方法CNNSeg
主要思想是利用卷积神经网络来处理激光雷达捕获的点云数据并对点云中的目标进行识别。深度学习是数据驱动的它把人工构造特征这一任务交给机器和算法去完成即特征学习。在百度的深度学习感知实现过程中团队尝试了很多方法下面就简单介绍算法研发的历程。
1、将所有点云都投到前视图front-view投影面是一个圆柱面来构造特征将点云问题转化为矩阵问题进而使用深度学习进行处理。通过构建全卷积神经网络对前向视图进行处理。
2、借助自采集车队采集更多的实际数据并且扩展数据视角制作俯视图通过将俯视图前视图相结合的方式进行训练。同时修改Loss函数包括使用3D回归和Segmentation的损失函数。经过多次实验发现基于俯视图的Segmentation方法效果最好。该方法目前已经在Apollo中开源如下所示。 基于俯视图的Segmentation方法
3、因为俯视图没有高度信息因此我们把前视图和Camara图像加进来进行辅助检查利用Lidar的测距准和Camera识别准优势完成了Middle-Level Fusion方法Multi-View 3D Object Detection Network for Autonomous Driving发表在CVPR 2017。该方法使用俯视图提取Proposal利用前视图和光学图像辅助进行更加精准的位置回归。其流程如下图所示。 俯视图提取Proposal的操作流程 视觉感知
视觉感知最早从ADAS发展而来。ADAS算法相对轻量采用人工构造的特征和浅层分类器的方式实现辅助驾驶该方法目前已经难满足自动驾驶的需求。随着深度学习技术的发展尤其是在视觉领域的巨大成功视觉感知的主流技术路线已经变为“深度学习后处理计算”的方法。该方法带来了以下几个变化第一是要求计算硬件升级第二是数据的需求量大增第三是如何评估保证安全性。面向自动驾驶的深度学习算法具有以下几个特点 2D感知向3D感知渗透模型输出更丰富后处理需要的3D信息、跟踪信息、属性信息等都会放在CNN中进行学习环视能力构建传统方法靠一个Camera完成前向检测、碰撞检测、车道线检测。无人驾驶需要环视感知定位地图紧密结合CNN检测
CNN检测是深度学习里一个十分火热的应用从最开始的AlexNet,VggNet到ResNet等持续提高了ImageNet图像检测的精度更多的细节和最新进展可以参考Kaiming He何凯明的系列工作。需要注意的是目前发表的大部分关于检测的成果都是面向计算机视觉应用的与自动驾驶领域的检测还有很大的区别。
首先自动驾驶中摄像头是安装在车上的汽车行驶在结构化、规则化道路上面向的场景更具体有很多的几何约束可以用来辅助检测。
其次自动驾驶中的检测模型需要输出的信息更多包括障碍物的尺寸、朝向。同时自动驾驶还需要考虑时序性。我们称之为局部的End-to-End检测、2D到3D转换、跟踪三步是自动驾驶视觉感知的组成后面两步都由CNN来学习减少人工干预。 CNN检测流程
第三是多任务学习网络结构适配。自动驾驶需要针对不同的障碍物特征车道线道路边界定位元素进行识别如果分别由专用模型处理整个处理流程太长无法满足要求因此需要做多任务的识别和网络结构的适配。
最后是属性识别即除了障碍物级别的输出以外还需了解速度类别朝向等问题例如车尾灯状态车门开闭状态。可以通过标注数据由数据驱动的深度学习来自动学习这些更细的属性。 CNN分割
分割Segmentation与detection在本质上是一样的是对一个目标的不同力度的刻画。分割是一种更细粒度刻画物体边界信息的检测方法不再是画框而是进行边缘分割。在感知中对于不规则物体往往需要进行分割处理。例如场景分割和可行驶区域感知。场景分割可以用于多传感器融合例如对绿植进行分割结合LiDAR点云就可以测出绿植的类别和距离。可行驶区域则可以对一些非结构化道路的路径规划提供支持。在车道线感知中应视具体情况使用分割或者检测方法。 后处理
一个完整的系统除了深度学习模型还需要做一些后处理后处理是直接针对下游模块对后续的影响比较直接。在视觉感知中后处理主要分为三个部分。
第一是2D-to-3D的几何计算。2D到3D的转换需要考虑的因素包括 • 相机pose的影响 • 接地点 • 稳定性 第二是时序信息计算主要是针对跟踪处理需要注意以下几点 • 对相机帧率和延时有要求要求跟踪必须是一个轻量级的模块因为检测已经占据大部分时间 • 充分利用检测模型的输出信息特征、类别等进行跟踪。 • 可以考虑轻量级Metric Learning 第三是多相机的环视融合 •相机布局决定融合策略要做好视野重叠 红绿灯感知
红绿灯感知是百度无人车第一个使用深度学习、使用Camera的模块。在当时使用深度学习、GPU和Camera做红绿灯感知是存在很多争议的但是我们一直坚持走这种探索性的道路并且成功了。现在车上用深度学习、GPU、Camera进行感知已经是一种共识。
红绿灯感知的任务是在距离停止线50-2米的范围内精准识别红绿灯亮灯状态。它的难点在于检测精度要求非常高必须达到三个九99.9%否则会出现闯红灯违法交规的情况。另外召回也不能太低假设一直是绿灯但是一秒只召回一帧绿灯其他都认为是识别错的红灯则通不过路口影响通过率和体验。第二是红绿灯感知需要应对各种环境包括天气和光照。最后是红绿灯的制式非常多包括距离、高度、横纵、信号状态等红绿灯感知都需要识别。 红绿灯感知的任务和特点 红绿灯感知的技术途径 基于深度学习的红绿灯感知模块
自动驾驶中使用深度学习进行红绿灯感知模块的构建主要分为以下几步。
第一是相机选择和安装。相机选择需要注意几个重要的参数一是相机的高动态比HDR要高于100db。第二是拍摄图像的分辨率要达到1080P满足15pixel大小的灯能够看得到。在实际应用中我们使用了两个Camera叫双Camera长短焦切换六毫米适用于近距离。
第二是高精地图的交互。我们并不是把所有红绿灯识别算法都交给在线算法完成这样做无法满足鲁棒性要求也加重算法负担需要把一些固定信息交给高精地图去完成算法只实现在线变化的一些因素。地图提供灯组3D坐标和交通含义算法只看RoI区域避免形状识别出错。
最后使用深度学习识别灯颜色的变化。主要分为检测和颜色分类两步。 实际使用过程红绿灯感知
实际使用过程中可能会更复杂。如上图所示一条道路上有很多红绿灯检测算法会把所有的灯都检测出来地图会告知需要看几个灯但是并不知道看哪几个灯。因此需要把对应关系匹配起来需要做3D到2D的投影投影又受到标定、定位、同步、地图等因素的影响需要综合考虑才能解决好这个问题。 Radar感知 Radar感知
上图右边是Radar的点云信号投影的成像。图中有很多的点但是并不是所有的点都是障碍物存在很大的噪音需要进行鉴别。图中明显成一条线的点是对路边界金属栅栏的感知结果。因为金属的反射信号比较好所以雷达点会成直线分布。基于该特征可以用Radar反射信号来做高速路道路边缘栅栏的检测。 超声波感知 Ultrosonic感知
超声波只能进行近距离感知并且无法感知具体的位置。对无人驾驶来说行驶过程中帮助并不大更多的是用于倒车和特别近距离的感知。上图给出了超声波感知的一个例子我们在车上布了12个超声波传感器每个超声波探头覆盖一个角度大概检测到三米范围内的障碍物。当某个地方有障碍物传感器发送超声波收到回波信号以后可以得到障碍物的距离信息但是并不能确定在覆盖范围内哪个地方有障碍物如图中的绿线。如果两个探头感知范围存在over lap这两个传感器的两根绿线会交接就可以确定障碍物的准确位置。
