欢迎访问中国建设银行网站个人客户,sketchup模型库免费下载,如何修改网站后台地址,商务类网站论文链接#xff1a;《4D Millimeter-Wave Radar in Autonomous Driving: A Survey》
摘要
4D 毫米波 (mmWave) 雷达能够测量目标的距离、方位角、仰角和速度#xff0c;引起了自动驾驶领域的极大兴趣。这归因于其在极端环境下的稳健性以及出色的速度和高度测量能力。 然而…论文链接《4D Millimeter-Wave Radar in Autonomous Driving: A Survey》
摘要
4D 毫米波 (mmWave) 雷达能够测量目标的距离、方位角、仰角和速度引起了自动驾驶领域的极大兴趣。这归因于其在极端环境下的稳健性以及出色的速度和高度测量能力。 然而尽管与其传感理论和应用相关的研究迅速发展但对 4D 毫米波雷达主题的调查却明显缺乏。为了弥补这一差距并促进该领域的未来研究论文对 4D 毫米波雷达在自动驾驶中的使用进行了全面调查。 首先回顾了4D毫米波雷达的理论背景和进展包括信号处理流程、分辨率提高方法、外参标定过程和点云生成方法。然后介绍了自动驾驶感知、定位和建图任务中的相关数据集和应用算法。最后论文对4D毫米波雷达领域的未来趋势进行了预测。
引言
自动驾驶技术正在快速发展旨在提供安全、便捷、舒适的交通体验。要实现高水平自动驾驶环境感知、定位、建图能力至关重要。因此自动驾驶汽车上的传感器例如摄像头、激光雷达和雷达及其算法正引起越来越多的研究兴趣。 在各种传感器中毫米波雷达凭借其体积小、成本低、全天候工作、测速能力和距离分辨率高等公认的优势一直被广泛应用于自动驾驶领域。然而传统毫米波雷达也称为3D毫米波雷达在测量目标仰角方面表现较差其数据通常仅包括距离、方位角和速度信息。此外3D 毫米波雷达还存在杂波、噪声和低分辨率的问题特别是在角度维度上这进一步限制了它们在复杂感知任务中的适用性。 MIMO 天线技术的最新进展提高了仰角分辨率从而导致了 4D 毫米波雷达的出现。顾名思义4D毫米波雷达可以测量四种类型的目标信息距离、方位角、仰角和速度。 4D毫米波雷达不仅是毫米波雷达的改进版本还引入了许多重要的研究课题。 4D毫米波雷达的原始数据量比传统雷达大得多这给信号处理和数据生成带来了挑战更不用说杂波和噪声了。现有信号处理流程中生成的4D毫米波雷达点云的稀疏性和噪声比LiDAR点云更严重需要仔细设计考虑4D毫米波雷达固有特性的感知、定位和建图算法。
论文对自动驾驶中的 4D 毫米波雷达进行了全面回顾。主要贡献可概括如下 1首次针对自动驾驶中的 4D 毫米波雷达进行的调查 2鉴于4D毫米波雷达的独特性专门介绍了其理论背景和信号处理流程 3对自动驾驶中的 4D 毫米波雷达应用算法进行了详尽的调查涵盖感知、定位和建图方面的研究。
4D 毫米波雷达的背景
信号处理流程 在步骤 1 中从发射 (TX) 天线发射毫米波。到达周围目标后电波被反射到接收 (RX) 天线。大多数现有 4D 毫米波雷达的波形是调频连续波 (FMCW)与其他波形相比它具有卓越的分辨率。在 FMCW 雷达发射天线的每个工作周期即啁啾中信号的频率随着起始频率 f c fc fc、带宽 B B B、频率斜率 S S S 和持续时间 T c T_c Tc 线性增加。通过测量接收信号的频率可以计算出目标的距离 r r r如下 r c t 2 , t Δ f S , (1) \tag1 r\frac{ct}{2},t\frac{\Delta f}{S}, r2ct,tSΔf,(1)
其中 t t t 是发送和接收之间的时间间隔 c c c 是光速 Δ f Δf Δf 是发送和接收信号之间的频率差。 同时FMCW 雷达的一帧包含 N c N_c Nc 线性调频脉冲并具有持续时间 T f T_f Tf。为了避免相邻线性调频之间的干扰发射和接收信号被视为在一个线性调频内因此 4D毫米波雷达的最大无模糊检测范围受到 T c T_c Tc 的限制 。以德州仪器的 AWR1843 为例其 T c 0.33 u s T_c0.33\space us Tc0.33 us因此其最大无模糊范围为 50m。 假设一帧内目标的距离恒定则通过多普勒效应可以计算出目标的径向相对速度 v v v 如下 v Δ f c 2 f c , Δ f Δ φ 2 π T c , (2) \tag2 v\frac{\Delta fc}{2f_c},\Delta f\frac{\Delta φ}{2\pi T_c}, v2fcΔfc,Δf2πTcΔφ,(2)
其中第一个方程是多普勒效应公式 Δ f Δf Δf 和 Δ φ Δφ Δφ 分别是相邻两个线性调频的接收信号之间的频率和相位漂移。显然距离和多普勒分辨率取决于 f c 、 T c 、 N c f_c、T_c、N_c fc、Tc、Nc等。
为了估计目标的到达方向 (DOA)毫米波 FMCW 雷达通常采用多输入多输出 (MIMO) 天线设计。 n n n 个 TX 天线和 m m m 个 RX 天线由 n × m n ×m n×m 个虚拟 TX-RX 对组成。为了分离发射信号不同的发射天线应该发射正交信号。通过比较不同 TX-RX 对之间的相位漂移可以计算不同对到同一目标的距离差异。进一步考虑沿TX和RX天线的位置关系可以获得目标的DOA。
每对信号在步骤 2 中由混频器混合并在步骤 3 中由模数转换器 (ADC) 转换以获得原始 ADC 数据。需要注意的是图中对矩阵的坐标分别表示一个chirp和一个帧内的样本时间戳每个单元格中的值对应于反射强度。
然后在步骤4沿距离和多普勒维度进行2D快速傅里叶变换FFT以生成距离-多普勒图其坐标为距离和速度。
随后出现了两种主流的信号处理流程。前一种方法是首先沿着不同的 TX-RX 对进行 FFT以得出方位角和仰角信息步骤 5a。获取 4D 距离-方位角-仰角-多普勒张量而对于 3D 毫米波雷达结果是 3D 距离-方位角-多普勒张量。 在步骤 6a中通常在四个维度上应用恒定虚警率CFAR算法通过每个单元的强度来过滤张量并为下游任务获取点云格式的真实目标。
相比之下后者的信号处理流程首先使用 CFAR 算法过滤 RD 图以生成目标单元步骤5b然后在步骤6b采用数字波束形成DBF方法来恢复角度信息并生成雷达点云。
提高分辨率的方法
如上所述4D毫米波雷达最关键的能力是测量目标的高程这等于提高了高程分辨率。具体方法可分为硬件和软件层面如下 硬件 在硬件层面增加 TX-RX 对的数量或天线的孔径是提高分辨率的两种主要方法包括 1.级联简单地级联几个标准毫米波雷达芯片就可以增加TX-RX对从而提高角分辨率。例如通过级联四个标准3TX-4RX12对雷达芯片可以形成12TX-16RX192对4D毫米波雷达。这是最直接的方法但尺寸和功耗也会增加。 2.芯片集成在芯片上集成更多天线是另一种有前途的技术。它有取代级联的潜力但天线之间的干扰仍然是一个未解决的问题。 3.超材料由超材料构造的孔径可以在控制尺寸的同时显着提高角分辨率但此类方法还不够成熟无法广泛应用。
软件 通过虚拟地实现硬件改进或沿处理流程优化信号处理算法可以在软件层面提高雷达分辨率。 1.虚拟孔径成像受传统合成孔径雷达SAR的启发一些研究人员尝试通过软件设计虚拟地扩大天线的孔径从而提高角分辨率。该方法对于角分辨率提升效果显着但通常需要借助级联来降低噪声。 2.超分辨率超分辨率可以通过用创新算法甚至基于学习的算法取代信号处理流程中的FFT等传统方法来实现。但实际应用还需要更深入的研究。
外部校准
雷达点云比较稀疏频谱数据不够直观。由于多径效应和杂波干扰噪声也相当大给校准带来了挑战。对于4D毫米波雷达更高的分辨率缓解了这个问题但仍然缺乏足够鲁棒的在线校准方法。 继3D毫米波雷达的传统校准方法之后通常使用回归反射器来提高校准精度。通过在特定位置仔细放置几个后向反射器分析 4D 毫米波雷达的传感结果并将其与 LiDAR 和相机数据进行比较可以校准外在参数 。 Domhof 等人没有连续校准每个传感器对。直接相对于移动机器人的身体校准所有传感器并实现中值旋转误差仅为 0.02°。 然而后向反射器在实际场景中的实用性有限。近年来一些研究人员设计了不需要专门放置后向反射器的 4D 毫米波雷达校准方法。相反雷达运动测量用于对雷达或雷达相机对进行校准。这些方法的便捷性得到了保证但仍需要在极端天气条件下进行验证。
基于学习的雷达点云生成
4D 雷达点云稀疏的主要原因之一是 CFAR 造成的大量信息丢失。 为了解决这个问题越来越多的基于学习的方法被提出来取代 CFAR并直接与 RD 图或 4D 张量一起工作以提高4D雷达点云的质量以及下游自动驾驶任务的性能例如感知和识别本土化。相关工作以及下文将介绍的4D毫米波雷达的数据集、感知、定位和建图算法统一显示在下图的时间线上。
一般来说如果 cells 是独立且同分布的CFAR 是最佳的检测算法。然而由于现实世界中的目标通常具有不同的形状并占据多个单元CFAR类型的方法会导致掩蔽效应降低点云的分辨率并遭受信息丢失。
布罗德斯基等人首先将 CNN 应用到 RD 地图上进行多个物体的检测和定位称为 DRD深度雷达检测网络。他们将 RD 图中的目标检测制定为分割任务并采用类似于 2D-U-Net 的模型结构。面对缺乏注释良好的数据集特别是雷达 RD 图的数据集他们参考雷达校准过程在消声室中布置后向反射器来收集相应的数据并将其映射回 RD 图作为标签。实验表明DRD 网络可以实时运行推理大约 20 毫秒并且在检测精度方面优于经典方法。
然而RD 地图的标记挑战仍然存在因为消声室中收集的数据与现实世界驾驶场景中收集的数据不同这在多路径反射、干扰、衰减等方面更具挑战性。[1] 使用LiDAR点云作为监督先后设计了基于 U-Net 和 GAN 的网络结构如下图。在复杂的道路场景中与经典的CFAR检测器相比[1] 生成的4D雷达点云不仅包含更少的杂波点而且提供了更密集的真实目标点云。 在复杂的道路场景中与经典的CFAR检测器相比[1]生成的4D雷达点云不仅包含更少的杂波点而且提供了更密集的真实目标点云。 [1] Y. Cheng, J. Su, M. Jiang, and Y. Liu, “A novel radar point cloud generation method for robot environment perception,” IEEE Transactions on Robotics, vol. 38, no. 6, pp. 3754–3773, Dec. 2022. 数据集 公共数据集对于基于 4D 毫米波雷达的算法至关重要因为它们提供了开发和比较不同算法并刺激相关研究的平台。论文整理了已发布的数据集。
公共 4D Radar 数据相当罕见Astyx HiRes 2019 是第一个现有数据集 。免费提供的数据由 500 个同步帧雷达、LiDAR、摄像机组成其中包含约 3,000 个精确注释的 3D 对象注释。可以看出这个数据集中的数据量比较小。
ColoRadar 是一个致力于定位和地图研究的数据集包含来自雷达、LiDAR 和位姿地面实况的大约 2 小时的数据 。它为雷达数据提供三个级别的处理原始 ADC 数据、通过压缩 4D 雷达张量的多普勒维数得出的 3D 距离-方位角-仰角张量以及雷达点云。该数据集收集室内和室外几个独特环境中的数据提供各种传感器数据。
VoD 数据集是用于多类 3D 目标检测的新型多传感器汽车数据集由校准和同步的 LiDAR、摄像头和雷达数据组成。它包含在复杂的城市交通中获取的 8693 帧数据其中包括移动和静态对象的 123106 个 3D 边界框注释以及每个注释对象的跟踪 ID这对于跟踪很有用。类似地Tj4DRadSet 数据集包含 44 个连续序列总共 7757 个同步帧使用 3D 边界框和轨迹 ID 进行了良好标记。此外它涵盖了更丰富、更具挑战性的驾驶场景片段例如城市道路、高速公路、工业园区。
K-Radar 是目前最大的基于 4D 毫米波雷达的大规模数据集收集了 35k 帧条件例如晴天、雾天、雨天、雪天。除了 4D 雷达数据外K-Radar 还提供高分辨率 LiDAR 点云、来自四个立体摄像头的环绕 RGB 图像以及来自自我车辆的 RTK-GPS 和 IMU 数据。值得一提的是Kradar是目前唯一提供 4D 雷达张量的数据集。为了方便对各种神经网络结构进行实验K-radar还提供了可视化程序来模块化神经网络训练代码。
尽管4D毫米波雷达越来越受到学术界的关注并且发布的数据集也越来越多但与视觉或激光雷达相比数据量仍然不够大。
感知应用
目前4D毫米波雷达的点云密度已经达到与近光激光雷达相当的水平并且4D毫米波雷达在低能见度和恶劣天气条件下表现出卓越的鲁棒性。因此研究人员一直在尝试将LiDAR点云处理模型转移到4D毫米波雷达中用于目标检测、场景流预测等任务。此外预 CFAR 雷达数据包含更丰富的信息促使一些研究人员直接使用 RD 地图或 4D 张量绕过点云生成任务。 相关工作可进一步分为仅依赖4D雷达或依赖多模态传感器融合的工作。
仅 4D 雷达方法
大多数相关的仅 4D 雷达方法都源自基于 LiDAR 的方法。然而由于毫米波雷达的稀疏性和噪声特性仍然需要特定的网络设计。 1.3D检测 对于3D物体检测任务根据模型架构的差异感知方法可以分为基于 CNN 和基于 Transformer。 [2] 首先将 PointPillars 应用于 4D 雷达点云用于多类别道路使用者的 3D 检测。通过时间积分和引入附加特征例如仰角和多普勒速度可以提高性能。然而所提出的方法的结果mAP 47.0仍然远不如 64beam LiDAR上的LiDAR探测器mAP 62.1。 [2] A. Palffy, E. Pool, S. Baratam, J. F. P. Kooij, and D. M. Gavrila, “Multi-class road user detection with 31d radar in the view-of-delft dataset,” IEEE Robotics and Automation Letters, vol. 7, no. 2, pp. 4961–4968, Apr. 2022. RPFA-Net [3] 通过引入雷达支柱特征注意PFA模块取得了进展。它利用 self-attention 代替简化的 PointNet 从支柱中提取全局上下文特征旨在有效捕获长距离信息并提高航向角估计精度。 [3] B. Xu, X. Zhang, L. Wang, X. Hu, Z. Li, S. Pan, J. Li, and Y. Deng, “Rpfa-net: A 4d radar pillar feature attention network for 3d object detection,” in 2021 IEEE International Intelligent Transportation Systems Conference (ITSC), Sep. 2021, pp. 3061–3066. 作为集合算子基于注意力的 Transformer 在处理这些具有排列不变性的点集方面具有先天的优越性。因此为了应对 4D 毫米波雷达的稀疏和噪声数据 [4] 提出了一种基于多帧点云的 3D 目标检测框架。他们首先从点云中获取自我车辆速度和补偿速度信息然后将附近的帧累积到最后一帧。 [4] B. Tan, Z. Ma, X. Zhu, S. Li, L. Zheng, S. Chen, L. Huang, and J. Bai, “3d object detection for multi-frame 4d automotive millimeter-wave radar point cloud,” IEEE Sensors Journal, pp. 1–1, 2022. 除了直接处理雷达点云上的感知任务外一些研究将注意力转向了RD图或4D张量旨在利用更多底层隐藏信息。 K-Radar数据集提出了一个3D目标检测基线直接使用4D张量作为输入并验证4D张量的高程信息对于3D物体检测至关重要。所提出的模型还证明了基于 4D 张量的感知的鲁棒性特别是在恶劣的天气条件下。
2.场景流估计 场景流估计旨在计算 3D 运动矢量场该矢量场表示与 ego agent 相关的环境中静态和动态元素的运动。虽然一些研究传统上依赖于不同的传感方式例如摄像机或激光雷达来进行场景流估计但也有一些方法利用 4D 毫米波雷达数据来完成此任务。 [5] 受现代自动驾驶车辆中共置传感冗余的启发提出了一种通过跨模态学习进行基于 4D 雷达的场景流估计的新方法。这种冗余隐式地为雷达场景流估计提供了多种形式的监督线索可以有效解决雷达点云标注的困难。具体来说这项工作引入了针对跨模态学习问题的多任务模型架构。大量实验展示了该方法的最先进性能并证明了跨模态监督学习在推断更准确的 4D 毫米波雷达场景流方面的有效性。 [5] F. Ding, A. Palffy, D. M. Gavrila, and C. X. Lu, “Hidden gems: 4d radar scene flow learning using cross-modal supervision,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023, pp. 9340–9349. 融合方法
考虑到4D毫米波雷达已经可以提供点云信息有学者将其与摄像头或激光雷达融合进行目标检测希望提高感知模型的准确性和鲁棒性。一般来说不同模态的融合级别分为三个级别数据级别、特征级别和决策级别。现有的研究主要集中在特征级融合。 至于4DRV4D Radar and Vision融合4D毫米波雷达可以低成本提供高精度的深度和速度信息弥补相机的缺点从而提高3D检测的准确性。在最近的研究中4D 毫米波雷达信号通常被转换为类似 2D 图像的特征以便它们可以与摄像机图像一起实际部署。 代表性的有 Meyer 等人。 [6] 将基于[7] 的网络应用于4D毫米波雷达和相机的融合该网络最初是为相机-LiDAR融合而开发的。为了弥补数据格式的差异他们丢弃了多普勒信息只保留了4D毫米波雷达点云的位置信息和反射强度。每帧的点云用于生成 BEV 图像然后生成 3D 建议。令人惊讶的是当使用雷达数据代替 LiDAR 时融合网络的精度更高在 Astyx 数据集上达到 61% AP 的平均精度。作者认为原因可能是 LiDAR 传感器只有 16 个光束但仍需要进一步研究。 [6] M. Meyer and G. Kuschk, “Deep learning based 3d object detection for automotive radar and camera,” in 2019 16th European Radar Conference (EuRAD), Oct. 2019, pp. 133–136. [7] J. Ku, M. Mozifian, J. Lee, A. Harakeh, and S. L. Waslander, “Joint 3d proposal generation and object detection from view aggregation,” in 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Oct. 2018, pp. 1–8. Cui 等人进行了后续研究。 [8]新增了自监督模型适应块[9]它根据对象属性动态地适应不同模态的融合。此外前视图地图是根据雷达点云和 BEV 图像生成的。所提出的方法在 3D AP 中优于之前的研究 [6] 高达 9.5%。前视地图可以更好地利用4D毫米波雷达提供的高程信息并且更容易与单目摄像头特征融合在检测精度和计算效率之间取得平衡。 [8] H. Cui, J. Wu, J. Zhang, G. Chowdhary, and W. R. Norris, “3d detection and tracking for on-road vehicles with a monovision camera and dual low-cost 4d mmwave radars,” in 2021 IEEE International Intelligent Transportation Systems Conference (ITSC), Sep. 2021, pp. 2931–2937. [9] A. Valada, R. Mohan, and W. Burgard, “Self-supervised model adaptation for multimodal semantic segmentation,” International Journal of Computer Vision, vol. 128, no. 5, pp. 1239–1285, May 2020. 尽管 4DRV 融合具有上述优点但面对剧烈的光照变化或恶劣的天气条件基于视觉的分支可能仍然难以工作这反过来又影响模型的整体性能。因此[10]首先探讨了4DRL4D雷达和LiDAR与 InterFusion一种基于交互的融合框架融合的优势。他们设计了 InterRAL 模块雷达和激光雷达的交互并更新两种模式的支柱以增强特征表达。进行消融实验以证明其有效性。 [10] L. Wang, X. Zhang, B. Xv, J. Zhang, R. Fu, X. Wang, L. Zhu, H. Ren, P. Lu, J. Li, and H. Liu, “Interfusion: Interaction-based 4d radar and lidar fusion for 3d object detection,” in 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Oct. 2022, pp. 12 247–12 253. 在接下来的研究中Wang 等人。 [11] 提出了 M 2 M^2 M2-Fusion 网络它集成了称为 IMMF 的基于交互的多模态融合方法和称为 CMSF 的基于中心的多尺度融合方法。使用 Astyx 数据集进行评估它的性能显着优于主流的基于 LiDAR 的目标检测方法。由于LiDAR可以准确地检测近距离的目标而4D毫米波雷达由于其穿透性而具有较远的检测范围因此 4DRL 融合有可能成为一种低成本、高质量的可靠技术解决方案。 [11] L. Wang, X. Zhang, J. Li, B. Xv, R. Fu, H. Chen, L. Yang, D. Jin, and L. Zhao, “Multi-modal and multi-scale fusion 3d object detection of 4d radar and lidar for autonomous driving,” IEEE Transactions on Vehicular Technology, vol. 72, no. 5, pp. 5628–5641, May 2023. 定位和绘图应用
在卫星定位信息不准确或无法获取高清地图的恶劣环境下需要通过感知传感器进行定位和建图。一些相关研究是利用新兴的4D毫米波雷达进行的。由于雷达点云比张量轻得多而激光雷达的研究只需稍加调整即可转移到雷达点云上因此几乎没有针对雷达张量进行定位和建图的研究。
里程估计
雷达里程估计是定位的核心也是SLAM的关键组成部分。 4D毫米波雷达的相关研究也不少。然而由于雷达的稀疏性和噪声里程计主要是借助惯性测量单元IMU生成的。 Doer 和 Trommer 使用无人机 (UAV) 对这个主题做出了大量贡献。 在[12]中他们通过气压计估计无人机的高度然后利用基于随机样本和一致性RANSAC的最小二乘法利用雷达点云的多普勒信息来估计自我速度。 IMU 数据最终融合以构建基于扩展卡尔曼滤波器EKF的雷达惯性里程计。在此基础上他们考虑了曼哈顿世界假设该假设假设环境中的平面彼此正交并达到与最先进的视觉惯性里程计相当的精度[13]。 [12] C. Doer and G. F. Trommer, “An ekf based approach to radar inertial odometry,” in 2020 IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), Sep. 2020, pp. 152–159. [13]——, “Yaw aided radar inertial odometry using manhattan world assumptions,” in 2021 28th Saint Petersburg International Conference on Integrated Navigation Systems (ICINS), May 2021, pp. 1–9. 然后这一贡献扩展到多个雷达并在视觉退化条件下显示出令人满意的性能且计算资源需求很少。此外他们还研究了4D毫米波雷达与视觉和热信息的融合以进一步增强结果[14]。这些研究的唯一缺点是基于 EKF 的算法可能难以应对大规模环境因为里程计漂移会增加。在大多数作品中曼哈顿世界的假设可能会限制其在恶劣的户外环境中的适用性。 [14] C. Doer and G. F. Trommer, “Radar visual inertial odometry and radar thermal inertial odometry: Robust navigation even in challenging visual conditions,” in Gyroscopy and Navigation, Sep. 2021, pp. 331– 338. Michalczyk 等人也应用了 EKF 框架 [15]。他们不是直接将 IMU 与雷达点云估计的自我速度融合而是在稀疏、嘈杂的雷达扫描中实现 3D 点匹配以测量雷达扫描之间的位移。无人机3D轨迹的估计在总飞行距离结束时达到了3.32%的漂移。 [15]J. Michalczyk, R. Jung, and S. Weiss, “Tightly-coupled ekf-based radar-inertial odometry,” in 2022 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Kyoto, Japan: IEEE, Oct. 2022, pp. 12 336–12 343. 还探讨了基于学习的雷达里程计估计。卢等人。 [16]分别通过CNN和RNN编码器提取雷达点云和IMU的特征。然后设计一个两阶段跨模式注意层来融合这些特征并使用 RNN 来对长期动态进行建模。整个网络的输出是6自由度里程计实现了0.8m的绝对轨迹误差ATE。在RGB相机或深度相机的帮助下性能进一步提升。 [16] C. X. Lu, M. R. U. Saputra, P. Zhao, Y. Almalioglu, P. P. B. de Gusmao, C. Chen, K. Sun, N. Trigoni, and A. Markham, “milliego: Single-chip mmwave radar aided egomotion estimation via deep sensor fusion,” Oct. 2020. 重新定位
重定位依赖于高精度在线建图在使用高清地图或检测 SLAM 中的环路闭合时具有重要意义。考虑到 4D 毫米波雷达点云的稀疏性和噪声Cheng 等人。 [17] 利用多普勒速度去除移动物体然后通过合并多个连续扫描来增强点云。受著名的 PointNet 的启发采用基于多层感知 (MLP) 的网络将每个点的维度从 4 增加到 1024以进行逐点特征提取。通过比较当前扫描和全局地图提取的特征可以实现重定位。 [17] Y. Cheng, C. Pang, M. Jiang, and Y. Liu, “Relocalization based on millimeter wave radar point cloud for visually degraded environments,” Journal of Field Robotics, vol. 40, no. 4, pp. 901–918, Jun. 2023. SLAM
由于上述里程计和重定位对于 SLAM 是不可或缺的因此 4D 毫米波雷达 SLAM 的研究最近才兴起。 [18]开发了基于迭代EKF的4D毫米波雷达点云的全过程SLAM。为了避免类似 RANSAC 的方法造成的稀疏性他们通过迭代重加权最小二乘法进行自我速度估计。 [18] Y. Zhuang, B. Wang, J. Huai, and M. Li, “4d iriom: 4d imaging radar inertial odometry and mapping,” Mar. 2023. 每个雷达点的权重也反映了其动态从而可以帮助去除移动物体。扫描和子图之间非常规的分布到分布匹配进一步减少了稀疏性的影响。效果如图所示。 Zhuge [18]应用位姿图构建了一个基于LiDAR SLAM方法的SLAM系统称为hdl graph slam [19]。在烟雾和雨水的影响下进行了一些令人印象深刻的实验以证明 4D 毫米波雷达在极端环境下的鲁棒性。 [18] H. Zhuge, “A 4d imaging radar slam system for large-scale environments based on pose graph optimization,” Master’s thesis, Nanyang Technological University, Singapore, 2023. [19] K. Koide, J. Miura, and E. Menegatti, “A portable three-dimensional lidar-based system for long-term and wide-area people behavior measurement,” International Journal of Advanced Robotic Systems, vol. 16, Feb. 2019. 未来的趋势
4D毫米波雷达有可能给自动驾驶汽车带来深刻的变化。尽管如此目前它还远未成熟。 4D毫米波雷达未来的发展趋势可能主要取决于以下几个方面。 1点云增强 作为最常用的数据格式4D毫米波雷达点云与其他传感器相比质量明显较低。雷达的多径效应等特性严重影响点云的数据质量。此外迫切需要改善信号处理流程中的信息损失特别是用精确设计的基于学习的方法取代CFAR。还可以探索基于学习的 DOA 估计方法而不是 DBF 方法来进行超分辨率角度估计。 2应用算法重新设计 除了改进4D毫米波雷达点云外信号处理后的应用算法是另一个不可忽视的问题。目前4D毫米波雷达的许多应用算法都是由相应的激光雷达算法修改而来。 4D毫米波雷达的特点如测速能力和极端环境下的自适应能力等值得未来研究进一步探索。对于感知任务来说多模态融合无疑是未来的发展方向。然而4D雷达在极端天气条件下的鲁棒性是否会因其他传感器分支的集成而减弱还有待探索。对于 4D 毫米波雷达定位和测绘传感器与激光雷达和摄像头的融合有很大的探索空间。 3预点云数据利用 对于4D毫米波雷达信号处理流程中的独特数据格式例如原始ADC数据、RD图和4D张量利用这些数据执行感知、定位和建图是一个有趣的事情但几乎没有触及的话题。基于学习的模型利用这些数据中的大量信息同时保持可接受的实时性能可能是一个研究热点。 4数据集丰富 与所有其他数据驱动的研究领域一样4D毫米波雷达的数据集在关联研究中发挥着重要作用。包含 4D 毫米波雷达的现有数据集相对较少。数据格式和场景丰富度是等待拓展的两个主要领域.
