技术文章 |车载红外夜视技术发展研究综述

0 引言

根据世界卫生组织的最新调查，在许多国家的死亡人数中由交通事故造成的死亡占据很大的比例。每年有大约125万人死于道路交通事故，其中超过一半的人数是弱势道路使用者（行人、骑车者、摩托车手）。尽管在夜间道路上的车辆较少，但是夜间发生交通事故比例却很高。

一个有效减少此类道路交通事故伤亡人数的策略是使用汽车夜视辅助驾驶系统，在危险的驾驶情况下给出预警或者帮助驾驶员做出决策。当前汽车辅助驾驶系统（Advanced Driver Assistance Systems，ADAS）应用基于雷达、激光测距雷达、摄像机以及超声波等不同的传感器系统，与其他技术相比，摄像机是减少道碰撞事故发生的重要手段。很多汽车厂商在他们生成的车辆上安装了可见光摄像头用于障碍物检测，比如奥迪、大众和丰田一些车型的泊车辅助系统。由于可见光相机在夜间、雾天等能见度比较低的条件下对目标检测的效果并不理想，为了克服可见光这方面的不足，对于红外夜视辅助系统的研究越来越多，基于红外传感器的夜视系统有许多的优点，具体表现在以下几个方面：

①红外夜视仪系统通过接收外界目标的红外辐射成像，并不依赖场景的光照条件，凡是温度高于绝对零度的物体，都会辐射红外线。

②相对于可见光相机，红外热像仪分辨率、成像效果以及性价比在不断提高，越来越多的监控场景开始使用红外相机。

③红外夜视仪具有全天候工作的能力，可显著降低夜间驾驶风险，帮助其在全黑夜间、雨雪天气、雾霾天气以及对面车灯眩光等人眼能见度较低的情况下，输出前方路况的清晰热图像，有效提升驾驶员视觉范围，避免车辆、行人以及障碍物的碰撞，有效提升驾驶安全。

基于以上原因，车载红外夜视技术受到了国内外各大汽车制造厂商和研究机构的高度重视，随着技术的成熟，车载红外夜视系统的应用逐渐推广开来。

在车载辅助驾驶系统中行人检测是一项核心的技术，其作用是通过安装在车辆上的摄像机自动检测行人，估计出潜在的危险以保护行人。由于车载视觉系统面临着一个开放的环境，针对行人检测除了存在着行人姿态、尺度、遮挡等难题，根据实际的应用场景还要考虑系统的鲁棒性、检测的实时性以及摄像机的运动等因素。针对以上存在的问题，车载视觉的行人检测受到广泛的关注。为了使研究者更好地了解和掌握技术的发展趋势，有许多综述文献对行人检测的技术进行了归纳总结。较早的有贾慧星等对2000-2005年间车载辅助驾驶系统中行人感兴趣区域（Regions of Interests，ROIs）生成和对象识别两个方面主要的研究方法进行了分析和对比。许腾等同样围绕着这两个环节对2005-2012年的主流车载行人检测算法特征进行了详细的研究。车载行人检测方法发展迅速，每年都有新的算法涌现，因此有必要对近些年的车载行人检测算法进展进行分析，并进一步对用于红外成像的行人检测方法进行归纳梳理。此外，车载红外夜视系统中行人检测算法运行时要有确保良好的鲁棒性和实时性，所应用的硬件平台就要有足够的计算能力，但同时系统受到体积、功耗和成本等的限制，因此本文对目前适用于车载的硬件处理器的特性进行了简单的对比分析。

1 车载红外夜视技术相关发展状况

1.1 夜视技术分类和对比

根据成像的原理，夜视系统主要分为主动夜视系统和被动夜视系统，其中微光和红外成像是运用最广的夜视技术。微光是泛指夜间或者低照度条件下微弱的光，波长约在0.4~2um。微光夜视技术又称为像增强技术，通过像增强器将微弱或者能量比较低的光转化为增强的光学图像，以实现直接观察。红外夜视技术分为主动红外夜视技术和被动红外夜视技术。主动红外夜视技术是通过红外灯主动照射并利用目标反射回来的红外光来实施观察的红外技术，对应装备为主动夜视系统。被动红外夜视技术是借助于目标自身发射的红外辐射来实现观察的红外技术，将人眼所不能直接看到的目标表面的温度分布变成人眼可看到的代表温度分布的热图像，其装备为热成像仪。针对各成像技术的特点，其对应优缺点总结对比如表1所示。

表1 各成像技术优缺点对比

对于车载平台的夜视技术，在考虑到夜视距离、恶劣天气以及会车时强光照影响时，热成像技术相对于其他两种技术有着更好的适用特性，并且随着非制冷红外探测器的发展，其性价比在不断提升，应用也越来越广泛。如图1所示为夜晚相同视角下可见光相机和热红外相机成像对比效果。

图1 可见光和红外成像效果对比

1.2 车载红外夜视仪的发展状况

过去的十几年里，关于汽车夜视辅助驾驶系统的研究已经有了很大进展，并且相关研究表明车载红外夜视仪在减少夜间行车事故中有很好的效果。其相应的产品需求量在迅速增长，促使了各大汽车厂商、红外夜视相关产品的供应商加大了研究的力度。当前用于车载的红外夜视仪主要有两种：主动式和被动式。

图2 车载夜视仪发展时间线

车载红外夜视仪的发展概况如图2所示。美国的通用汽车公司在2000年对旗下产品卡迪拉克轿车配备了夜视系统，是全世界第一款将夜视系统配备在汽车上的汽车品牌，该夜视系统使用的是红外热成像探测器，安装在车辆的前部以便接收前方目标的红外辐射，夜视距离在300 m左右。此后德国豪华车奔驰和宝马在2005年分别推出了汽车夜视系统，宝马7系车配备的是被动夜视系统，将热成像仪添加了防撞层安装在汽车前端，夜视距离可达300 m左右，中等车速下水平视角达到24°，奔驰S550和E级车型上使用了主动夜视系统，系统由红外线灯、红外线摄像机和显示器组成，最远可探测距离达到150 m，与被动式夜视系统相比，该系统在价格上较便宜，但是在面对相向车辆的灯光照射时成像质量差。奥迪直到2010年开始夜视系统的配备，在应用效果上并不逊色。

随着车载夜视系统的流行，国内众多企业和研究机构开始相关方面的研究。在中国，夜视系统除了装配在奔驰、奥迪、宝马等豪华品牌的进口车型上，红旗HQ3、比亚迪思锐等国产车型上也先后进行配备，打破了豪华车的垄断，但是大多是采用主动式红外夜视技术，产品的环境适应性和夜视距离受到了很大限制。

此外一些夜视仪的供应商对车载夜视技术的发展有很大的推动作用，国外的奥托立夫（Autoliv）是主要的系统供应商，FLIR是最主要的红外热像仪供应商；国内有高德红外、浙江大立科技以及保千里等夜视仪供应商。随着技术的发展和夜视系统的成本降低，未来几年车载夜视系统将会得到逐渐普及和应用。

2 车载红外行人检测算法

2.1 车载视觉行人检测技术

传统的车载视觉行人检测的框架如图3所示，是使用相当广泛的基于滑动窗口的多尺度行人检测框架。

图3 传统车载视觉行人检测框架

该框架的主要思想是：利用预先训练好的分类器判别当前窗口内是否包含行人，然后对判别含有行人的窗口进行融合，从而给出行人在图片中的位置。现有的综述文献大多是围绕该框架从感兴趣区域分割方法、特征提取和分类器构造等方面进行展开，根据所用信息的不同采取不同的感兴趣区域分割算法，然后利用梯度方向直方图（Histogram of Orientedgradient，HOG）、局部二值模式（Local Binary Pattern，LBP）等特征的改进或者融合，使用支持向量机（Support Vector Machine，SVM）或者Boosting等分类器的改进形式训练特征。对其中的技术细节本文不再做详细阐述，可以参考相应文献进一步了解。

车载行人检测系统对鲁棒性和实时性都有很高的要求，传统的检测框架在图像的多尺度金字塔进行搜索可以提高检测精度，但是多尺度遍历的方法对算法的检测速度有很大的制约。为了能够在精确提取特征的同时又不明显牺牲算法的实时性，2009年Dollar等提出了CHNFTRS（Channel Features，通道特征）的方法，利用积分图像快速计算图像的颜色、梯度幅值以及梯度方向等通道特征，CHNFTRS方法在检测精度和效率上超过HOG特征，是当时最优的检测算法。随后Dollar又以CHNFTRS方法为核心进行了改进（Fastest Pedestrian Detector in the West，FPDW），采用邻近尺度特征估计的方法，在不降低检测性能的前提下加速了行人检测，对于640 x 480像素分辨率的图像，每秒可以处理6帧左右。Benenson等使用CHNFTRS的特征，提出了多尺度训练模型框架VeryFast，将检测时间从检测阶段转移到了训练阶段，在使用GPU处理器加速的条件下实现了100 fps的检测速度。后来Dollar本人在2014年又结合快速特征金字塔计算特征通道的方法，提出了ACF（Aggregated Channel Features，聚合通道特征）检测框架，ACF框架能够在保证实时性的同时，检测效果的鲁棒性在当前特征统计学习的算法中也处于领先水平。

此外，近几年随着GPU（Graphics Processing Units）处理器在图像处理上广泛应用，深度学习发展趋势迅速，尤其是在图像目标检测和分类领域卷积神经网络（Convolutional Neural Networks，CNN）算法相对传统的检测算法性能提升显著。首先是Ross Girshick将传统计算机视觉领域的方法选择性搜索（Selective Search）与CNN结合，先后提出了R-CNN、FastR-CNN、Faster R-CNN等框架，基于区提名的R-CNN系列的算法在检测精度上有了很大的提升，但是检测的速度较慢，针对这个问题出现了端到端（end-to-end）目标检测方法，比如SDD以及Redmon等人提出YOLO系列，在检测速度上做到了实时。Liliang Zhang等基于可见光行人数据库训练了专用于行人检测的深度学习网络，其实验结果与其他主流的检测算法相比有了极大的提升。最后针对上述总结按时间顺序列出了2009年来具有代表性的一些算法见表2。

表2 近10年以来主流行人检测算法比较

2.2 车载红外行人检测算法应用现状

上一小节主要针对可见光领域的行人检测算法的概括，虽然可见光和红外图像存在着很多差异，主要表现在红外图像没有丰富的颜色特征、纹理特征，但可见光的一些处理算法对于红外图像有很好的指导意义，红外图像的行人检测技术进展与上一节分析的行人检测技术发展路线是相对应的。

红外行人检测的传统框架主要包括ROIs提取、分类器识别等阶段。由于红外图像中行人相对于背景往往有较高的亮度，因此在ROIs区域分离的时候，通常采取的手段有阈值分割、区域生长和关键点提取的方法。阈值分割的方法是通过检测图像中的热点区域，可以采用静态阈值或动态阈值的方法分割出可能包含行人的区域；此外针对红外图像背景较为简单的特性，可以通过提取关键点来生成ROIs，例如文献中使用旋转和尺度不变的SURF特征分割ROIs区域；另外还有结合距离信息的方法，主要实现手段有雷达测距和立体视觉，其中基于立体视觉的ROIs分割技术应用较为广泛。它通过获取的3D图像估计地平面位置，结合行人身高先验知识估计可能包含人体的区域。用于红外行人检测的特征描述子有上述提及的HOG特征、LBP特征及其改进和融合特征，此外还有强度自相似性（Intensity Self-Similarity，ISS）特征，其中Brehar等使用自适应阈值分割提取ROIs，使用梯度方向、亮度、梯度值特征，使用快速金字塔构建的方法，针对640 x 480像素分辨率的红外图像，实现了30 fps的检测帧率。

受车载平台的计算资源限制，传统的滑动串口的检测框架会先对ROIs提取，但是要获取准确的ROIs一般要增加额外的传感器设备，这使得系统的成本和复杂性提升。针对单目红外夜视仪，传统的检测框架的实时性和精度很难满足需求；Dollar的ACF检测方法由于检测精度和算法的实时性都有很大的提升，越来越多的研究者将该方法应用于红外行人检测。

Brehar等在分割出的ROIs基础上，使用红外图像的亮度值、梯度值和梯度方向等特征训练ACF分类器，获得了较高的检测精度并且实现了30 fps的检测帧率。Hwang等改进的ACF的特征，在可见光和红外的多光谱的行人数据集上，针对红外行人提出了T + THOG的特征组合方式，其检测精度比原有算法有所提高。此外深度学习网络在红外行人检测上一样取得了当前相对其他算法的最好的检测效果。

3 系统硬件平台

车载视觉行人检测系统对于系统的鲁棒性和实时性都有很高的要求，要满足实际的应用需求主要从行人检测算法的设计和系统的硬件平台的选取着手。目前很多文献中提出的算法都是在桌面计算机实现的，很少考虑在嵌入式平台实时运行，因此在实际应用时要根据所选的处理器的特性进行移植优化。当前由于数字处理器的快速发展，用于车载平台的处理器种类也比较多，主流的计算平台主要有以下几类：

1）DSP处理器

数字信号处理器（Digital Signal Processor，DSP）专门用于处理复杂的、数学密集型的应用场景，被广泛的用于图像、语音等信号处理。DSP处理器在架构和指令集上不同于传统的CPU处理器，通过使用乘加指令之类的专用操作实现比传统处理器更快的执行效率，软件编程简单，在算法评估和实现阶段可以大大缩短项目开发的周期，DSP在汽车行业中的地位非常突出，并且广泛应用于车载系统。例如，美国德州仪器TI的针对辅助驾驶系统ADAS的TDAx系列的处理器集成了多核DSP、通用处理器GPP以及嵌入式视觉引擎等模块，具有低功耗、高性能特性，并且支持多传感器信息融合，非常适用于车载平台算法处理。

2）FPGA处理器

现场可编程逻辑门阵列（Field-Programmable Gate Array，FPGA）由可编程逻辑组件和可编程互连组成，可用于创建高性能并行流水线数据处理结构，因为没有类似DSP或CPU的指令获取或等待的操作，因此执行速度更快。FPGA用于图像处理具有可重构、低功耗和低成本等的优势，因此很多行人检测系统使用FPGA保证实时性，基于FPGA实现的行人检测系统缺点在于开发难度大、项目周期长，但是随着相应的开发工具的改进和支持，这一现状会逐渐得到改善，例如FPGA解决方案供应厂商Xilinx基于新的硬件平台zynq处理器以及7系列处理器提供了高层次综合工具（High Level Synthesis，HLS），使得复杂算法开发可以使用C、C++语言实现，极大降低了算法实现的复杂度。

3）GPU处理器

GPU图形处理单元有大量的处理内核组成，支持大规模的并行计算，尤其适合计算密集型的任务，深度学习网络的发展带来了GPU的广泛应用。起初GPU主要以显卡的形式应用于图形处理，随着更多通用计算库的出现，它们在科学计算中的应用也迅速扩大，例如NVIDIA的CUDA库有助于快速开发算法。基于GPU的处理方案在可见光以及红外图像的行人检测中都实现了实时处理，尤其是基于深度学习的方法在GPU的加速下行人检测的精度和速度能达到实际应用的需求。尽管GPU处理器性能高效，但许多GPU的功耗过高不适合车载平台，文献中使用NVIDIA GeForce GPU实现了30 fps的行人检测和姿态识别的帧率功耗（大约在244瓦）。随着汽车平台的GPU处理器的技术发展，新型的GPU架构带来了更强的计算能力和更低的功耗，未来车载系统中GPU将会大展身手。

此外，还有其他的一些处理平台可用于车载行人检测系统。针对现有的平台，在进行硬件系统设计的时候要综合考虑处理器的功耗、成本以及计算能力，结合不同的处理器各自的特性进行选择。

4 总结与展望

本文介绍了车载夜视仪相关技术的进展状况，首先对车载夜视技术进行了阐述，对车载红外夜视仪的应用发展进行了分析，然后归纳总结了2009年以来的主流红外行人检测算法，最后对比分析了车载夜视仪不同的硬件平台的特点。

随着红外探测器的价格下降、成像分辨率增高，车载夜视仪今后会有很大的市场需求。然而研发基于红外的车载夜视辅助系统需要应对以下挑战：①系统要能够应对复杂的道路场景，需要在全天候条件工作；②车载移动平台下，红外成像中行人的尺度和外观变化大，并且存在遮挡、姿态的变化，给检测带来了难度；③系统设计考虑低功耗、低成本，并且系统的检测算法满足高准确率以及运行的实时性。围绕着以上存在的问题，笔者认为未来的研究重点主要在以下几个方面：

1）构建更为丰富的数据集

基于统计学习或者深度学习的方法都需要大量的训练样本，特别是对于特殊场景下的行人检测，例如存在部分遮挡、分辨率较低、远距离的行人需要建立相应的数据库进行准确的标注，以提高行人检测的准确率，降低虚警率。

2）多传感器融合

基于单目视觉红外摄像机的行人检测其可利用的信息相对较少，对多视角和遮挡问题很难解决。可以利用增加可见光相机或者多红外相机获取立体数据，立体视觉中的深度信息利于提升行人检测系统的鲁棒性；此外激光雷达传感器可以获取目标的距离信息，能够有效的分割ROIs区域。不同的传感器有着各自的优缺点，将这些传感器有机的结合起来，保证检测系统在任何条件下都能鲁棒的工作是一个热点研究方向。

3）设计自适应的分类器

目前大部分车载行人检测系统使用的离线构建的通用行人分类器，该分类器是利用预先准备的大量样本集进行训练学习获得的，且训练之后不再更新。由于所使用的初始样本集不会涵盖所有的情况（不同季节、不同场景），所以分类器不具备自适应特性，对于一些特殊场景下的行人检测精度会降低。如何利用在线学习的算法，通过在线获取样本进行分类器的更新，使行人检测系统通过自主学习提高检测性能是未来的研究重点。

文章来源：焉知自动驾驶