【技术文章】无惧暴雨大雾：Radar×Camera融合让自动驾驶突破极端天气！

原文：《Robust Target Recognition and Tracking of Self-Driving Cars With Radar and Camera Information Fusion Under Severe Weather Conditions》[1]

作者：Ze Liu, Yingfeng Cai , Member, IEEE, Hai Wang , Member, IEEE, Long Chen , Hongbo Gao , Member, IEEE, Yunyi Jia , Senior Member, IEEE, and Yicheng Li

简介：本研究针对极端天气（暴雨、大雾、弱光等）导致的自动驾驶感知失效问题，提出了多模态，雷达-摄像头融合，的环境感知方法。研究中重点分析毫米波雷达在垂直检测方面的优势及摄像头在目标分类和水平识别上的特长，通过深度学习算法与数学模型融合两类传感信息，确保在恶劣气候与繁杂路况下仍能稳定输出高精度识别结果。

技术亮点：

1）以毫米波雷达为主，摄像头为辅，独立数据流协同工作，实现优势互补；

2）结合改进的 Faster R-CNN，在候选区域生成、特征提取和分类回归等步骤进行优化；

3）基于Mahalanobis Distance完成目标观测值匹配，采用JPDA算法进行多目标概率关联，提高了跟踪精度和鲁棒性；

4）在极端天气及复杂交通环境下进行大规模实车测试验证，充分证明融合方法在减少漏检、提高识别精度方面的优越性。

关键词：多传感器融合、雷达与摄像头融合、恶劣天气条件、自动驾驶汽车

编译：复旦大学林燕丹课题组 季子凌

指导：林燕丹

本研究面向在极端天气（如暴雨、大雾、弱光环境）及复杂交通（多车流量等）条件下运行的自动驾驶车辆。此类情境下，纯视觉往往受限于视场或光照而出现严重的误检与漏检。通过引入多模态感知器件融合策略，车辆在恶劣天气及城市拥堵路况中仍能保持稳定的环境感知性能；同时，与纯视觉方案相比，该融合方案在成本效益方面更具优势。

基于此，研究成果为自动驾驶系统提供了一种高性价比的感知途径，并在未来的智能驾驶及高级驾驶辅助系统（ADAS）中拥有广阔的应用前景。

本研究旨在构建以毫米波雷达与摄像头融合为核心的感知体系，通过改进的Faster R-CNN算法与数学模型相结合，全面提升自动驾驶汽车在恶劣环境中的目标检测与跟踪精准度，降低单一传感器在极端条件下的漏检及误检概率，从而为自动驾驶车辆在多样化、高风险的实际道路环境中提供稳定且高精度的目标检测与跟踪能力。

本研究针对极端天气及复杂交通环境提出了多模态传感器融合的完整技术方案，具体为以下四个部分：

1）硬件体系设计；以毫米波雷达（Delphi 77 GHz）与单目摄像头（Mako G-192B）为主要传感器，进行数据采集，彼此并行输出目标序列，实现对纵向距离/速度（雷达）与目标类别/水平位置（摄像头）的融合。

2）视觉识别算法；在传统 Faster R-CNN 的基础上，引入了双通道特征提取网络，并在候选区域生成、特征回归等步骤进行优化，显著提升在极端天气下的目标检测精度。

在 Faster R-CNN 中，候选区域生成网络（RPN）与分类回归网络共用同一个特征提取网络。同（RPN 需区分背景与目标，分类网络需区分多类目标），共用特征可能导致特征干扰、训练困难与性能下降。

本研究通过为 RPN与分类网络分别配置独立的特征提取网络（如图7所示），避免了特征干扰，提高了整体检测性能。

最终改进后的算法结构如图8所示。

3）基于雷达与摄像头融合的目标识别与跟踪

本研究提出的方法采用目标层融合。毫米波雷达与摄像头分别独立执行目标识别任务，毫米波雷达可直接输出目标序列，二者分别给出包含参数信息的感知结果。融合算法综合判断两种传感器的输出，以获得最终结果。毫米波雷达提供目标的位置与纵向速度信息，而摄像头通过视觉算法提供目标的位置、尺寸与类型信息。融合后，目标信息将包含完整的位置、速度、尺寸及类型等参数。

本实验结果部分分为检测结果与跟踪结果两部分。

实验表明，雷达在移动目标检测上的精度优于摄像头，而摄像头在目标类型识别方面更具优势。融合方法在减少单一传感器误检与漏检方面效果显著，检测结果更接近真实值，符合预期。

表V将本研究方法与现有主流算法进行了检测率对比，结果显示本研究方法在检测准确率方面优于多种主流方法。

图13 算法运行实例展示

B. 跟踪结果

本研究设计了五种极端天气条件下的纵向与横向车辆目标跟踪实验（见图 14第一列），每种场景下记录时长约为 80~90 秒，自动驾驶车辆会在纵向距离 10～80 米、横向距离 -10～10 米的范围内行驶，从而实现对前方目标车辆的持续跟踪。在极端天气下（图14所示），单一视觉或雷达会因光照、雾霾或拥堵影响识别效果，而融合算法能有效弥补两者短板，表现出良好的环境适应性，其跟踪结果稳定，接近 LiDAR 基准值。整体而言，雷达在纵向跟踪上表现优越，摄像头则在横向跟踪中占据主导地位，融合算法结合两者优势，所输出的跟踪结果更接近 LiDAR 标准值，验证了本文融合算法的有效性。

环境感知是限制自动驾驶快速发展的关键瓶颈。为解决视觉传感器易受光照干扰与毫米波雷达垂直精度不足的问题，

（1）本研究提出了一种融合雷达与视觉数据的信息融合方法，并在实际中采用雷达与摄像头对该方法进行了测试。因此，在考虑不同通信条件下负面影响的前提下，研究一种多传感器融合感知算法具有重要的现实意义和工程应用价值。

（2）本研究提出了一种面向自动驾驶的多传感器信息融合方法。该方法融合了毫米波雷达与摄像头传感器，构建了以毫米波雷达为主、摄像头为辅的硬件融合架构，系统建立了观测模型与状态模型，从而实现基于毫米波雷达与摄像头的目标融合识别。

（3）本研究通过一系列目标检测与跟踪实验验证了所提融合算法的有效性。实验结果表明，该方法在多数恶劣天气条件下均能取得良好表现。未来可进一步完善在单向失效传感器场景下的容错能力，并引入像素级语义分割技术，以持续优化融合感知性能、加速其在自动驾驶中的落地应用。