中国国际汽车照明论坛（IFAL）

IFAL2024邀请函
2024 IFAL 邀请函V4.8.pdf
7.65MB下载
演讲者简历 speaker biography_V1.1.docx
61.46KB下载
IFAL 摘要模板.doc
32.0KB下载

【技术文章】基于深度学习的夜间危险驾驶行为检测算法

图片

原文：《基于深度学习的夜间危险驾驶行为检测算法》[1]
作者：唐天俊，宋平





图片
简介：夜间弱光环境下的危险驾驶行为易导致交通事故的发生，目前多数危险驾驶行为检测算法研究主要集中于光照充足的环境，而在弱光环境下的检测准确率偏低。本文提出一种基于深度学习的夜间危险驾驶行为检测算法，该算法由弱光增强模块和检测模块构成。实验结果表明，该算法在夜间弱光环境下具有较高的检测准确率，同时模型参数量小，检测速度可达毫秒级，可部署在移动设备上进行实时检测。

关键词：深度学习；弱光环境；夜间危险驾驶；行为检测；弱光增强
编译：复旦大学林燕丹教授课题组 赵伟
指导：林燕丹





01

应用场景


夜间危险驾驶是引发交通事故的主要原因之一。为了避免夜间交通事故发生，有必要实时检测夜间驾驶员的行为状态，及时给予驾驶员反馈并纠正其危险驾驶行为。本文提出一种基于深度学习的夜间危险驾驶行为检测算法，该算法在夜间弱光环境下具有较高的检测准确率，可部署在移动设备上进行实时检测。

02

研究目标


目前多数危险驾驶行为检测算法研究主要集中于光照充足的环境，而在弱光环境下的检测准确率偏低。针对弱光环境检测难点，本文提出一种基于深度学习的夜间危险驾驶行为检测算法，该算法包含Light-DCE弱光增强模块及NanoDet-Plus检测模块。其中，弱光增强模块采用轻量化的零参考深度曲线估计算法提高图像曝光度，检测模块基于NanoDet-Plus模型检测弱光增强处理后的图像是否存在危险驾驶行为。

03

研究方法


1、Light-DCE 弱光增强模块

受PS软件中的曲线调整图像参数的启发，Zero-DCE[2]设计了能自适应将低光图像映射到增强图像的曲线，其自适应曲线参数仅依赖于输入图像，该算法利用7层卷积神经网络拟合高阶光增强曲线（Light-Enhancement Curves，LE-Curves）参数，通过所求最优LE-Curves对弱光图像逐像素增强，LE-Curves表达式如下：

图片

式中：x表示增强图像的像素坐标；n表示DCENet的输出LE-curves参数的迭代次数；An(x)表示DCENet输出的参数曲线图。

由于Zero-DCE参数估计网络利用卷积神经网络逐像素迭代求解调整，导致模型推理速度受到一定限制。Zero-DCE基础框架为U-Net框架，该框架可以有效集成多尺度特征，但由于U-Net结构使用了残差模块，可能产生部分冗余特征，为减少U-Net的影响，使弱光增强模块轻量及高效，Light-DCE将Zero-DCE卷积部分替换为Ghost模块，降低模型冗余的同时，能更好利用特征之间的相关性，其改进后为Light-DCE模型，如图 1所示。

图片
图 1 Light-DCE模型

在Light-DCE模型中，首先，对图像进行12倍下采样，减少模型训练参数；其次，将下采样后图像输入堆叠的6层Ghost模块[3]，而第7层为可分离卷积，其中，Ghost模块首先以1×1卷积对特征图进行压缩，减少模型的浮点型运算，得到基础特征图后，以3×3卷积核逐层卷积获得Ghost特征图，如图 2所示，通过ReLU激活函数将两特征图进行融合，保证通道数不变；最后，第7层采用Tanh激活函数，输入曲线参数图迭代8次，生成最终的增强图像参数并进行上采样至图像原始尺寸。

图片
图 2 Ghost模块

Light-DCE的弱光增强效果不仅源于改进模块后的提升，也源于多个无参考损失函数的约束，具体如下：

(1)空间一致性损失函数，主要用于保持输入图像与其增强图像相邻区域之间的差异，增强图像的空间一致性表达式如下：

图片

式中：k为增强图像局部区域的编号，Ω(i)表示区域i为中心相邻区域的集合；γ和Ι为增强图像和原始图像中局部区域的平均像素值，本文局部区域尺寸参考Zero-DCE设置为4×5。

(2)曝光控制损失函数，用于控制曝光水平，表达式如下：

图片

式中：M是大小为16×16的非重叠局部区域的数量；γ表示增强图像中局部区域平均像素值表示；Ε表示正常曝光水平。

(3)颜色恒常性的损失函数，主要用于减少增强图像中的颜色偏差，表达式如下：

图片

式中：Jp表示增强后图像p通道下像素的平均值。

(4)照明平滑度的损失函数，使相邻像素值保持单调，从而避免过度曝光和曝光不足，表达式如下：

图片

式中：N表示迭代次数；∇x和∇y为X和Y方向的导数。

(5)受空间一致性损失的启发，本文提出了一种新的非参考损失：信道一致性损失。信道一致性损失通过KL散度增强原始图像与增强图像在通道像素差上的一致性，抑制噪声信息和无效特征的产生，以提高图像增强效果，表达式如下：

图片

式中：R、G和B表示原始图像的颜色通道；R'、G'和B'表示增强图像的三个颜色通道；KL散度用于表示两个分布之间的差异。

综上，训练的函数最终可表示为：

图片

式中：Wspa，Wexp，Wcol，Wkl，Wtva为对应损失函数的权重。为了平衡损失函数的权重比率，本文采用网格搜索法分别获得最优权重为Wspa=1，Wexp=10，Wcol=5，Wkl=1600，Wtva=5。

2、NanoDet-Plus检测模块

NanoDet-Plus模型是适用于边缘设备部署的轻量化检测模型[4]，该模型网络结构简单，参数量小，便于训练及部署。该模型沿用了NanoDet的 Shufflenet v2作为特征提取头，保留了无卷积的PAFPN作为Neck；在特征融合处引入了Ghost模块减少特征融合的参数量，在多尺度融合时，将特征提取后的图像Reshape后拼接为一个特征图，相较于NanoDet的6个多尺度检测头，NanoDet-Plus将4个尺度的融合特征拼接为1个，这使得NanoDet-Plus 输出仅有1个，使模型更易部署。此外，将检测头的depthwise卷积核扩大至 5×5，提升感受野同时增强模型的泛化能力。NanoDet-Plus模型结构如图 3所示。

图片
图 3 NanoDet-Plus模型结构

3、实验

实验操作系统为Ubantu 20.04，GPU为NVIDIA GeForce RTX 4070Ti，CPU 为Intel(R) Core(TM) i5-13600K，模型框架为PyTorch。实验数据集为作者以RGB摄像机采集的数据集，整个数据集在三种夜间光照环境（路灯、车内饰灯、较强光照光源）下进行拍摄，通过人工筛选出每类危险驾驶行为图像，共1500张图像，此外，为统一数据的格式，图像尺寸缩放为640×640，构建数据集，如图 4所示。在构建数据集中，对于在路灯环境下提取的图片，用于Light-DCE弱光模块训练；在车内饰灯及正常光源环境下提取的图片，则用于危险驾驶行为检测模块NanoDet-Plus训练。

图片
图 4 数据集

04

实验结果


1、弱光增强实验分析

为了评价Light-DCE模型的弱光增强效果，本文使用一组由路灯光源制作的数据集作为弱光增强定性评价数据集。该数据集仅由路灯提供光照，该亮度下的图像特征难以辨识，为弱光增强带来了一定的挑战。与此同时，采用具有一定竞争力的弱光增强算法（MBLLEN、RetinexNet及Zero-DCE）进行对比实验，对模型进行100次训练后获得模型最优参数，抽取100张测试集推理，其弱光增强效果如图 5所示。从直观视觉效果可得，MBLLEN、RetinexNet及Zero-DCE都存在一定的色差，这一点在车顶处颜色表现更为明显；MBLLEN增强效果较弱，RetinexNet增强后的图像强光部分亮度有所降低，Zero-DCE增强图像存在一定的噪声及泛黄色差，而Light-DCE更接近正常光照图像，图像细节特征更为突出，视觉效果更好。

图片
图 5 弱光增强效果

相较于基于CNN 的MBLLEN、RetinexNet及Zero-DCE模型参数量，Light-DCE参数量仅5034，推理速度仅0.0065，其提高得益于对图像输入的下采样处理及Ghost模块替换CNN减少了模型冗余特征图。尽管Zero-DCE增强后的平均像素亮度值（100张图像）最高，但Light-DCE在低参数量的情况下，仍然保持了较高的平均像素亮度值，并且在通道一致性损失约束下，增强图像平均信噪比（100张图像）相较于Zero-DCE更高。综上所述，Light-DCE模型在保持较好图像增强效果的同时实现了轻量化，此外，其推理速度的提高，将与下游模块更加适配。

2、夜间危险驾驶行为检测评价

夜间危险驾驶行为检测对比实验中，采用车内灯饰及较强光照光源数据集（共1000张）进行模型训练，其训练集、验证集比例为7：3，测试集为路灯光源下随机抽取的100张图片，模型优化器为AdamW，模型训练Epochs为 150，Batch_size为32，学习率下降策略为CosineAnnealingLR，此外，在反向传播中引入了梯度裁剪，以减少模型训练难度。

为了证明本文所提算法在夜间危险驾驶检测精度优越性，以主流算法NanoDet（相同训练数据集，150个Epochs，取最优参数）进行检测结果对比，其量化结果（100张验证集）及夜间危险驾驶检测（测试集）可视化如图 6所示。

图片
图 6 Light-DCE+NanoDet-Plus 检测结果

各算法检测结果比较见表 1。由表 1 及图 6可知，NanoDet模型参数量最小，且推理速度最快，但相较于NanoDet-Plus的准确率（mAP50）低10.5%，其提升主要源于 NanoDet-Plus中引入了动态标签匹配策略。此外可以发现，夜间环境吸烟动作的检测准确率（mAP50）及召回率（Recall）最低，这是因为夜间弱光环境中，由于闭眼像素小，夜间图像曝光度低，闭眼极易被误判为背景，但可明显看出，融合Light-DCE算法后，NanoDet-Plus检测香烟及其他行为的mAP50及召回率明显得到提升，所有危险驾驶行为的mAP50及Recall均超过0.9，提升的同时其模型数量及推理时长仅略微增加（推理时长增加65 ms、模型增加0.052 M）。

表 1 各算法检测结果比较
图片

05

结 论


为提高夜间环境危险驾驶行为检测准确率，本文设计了一种基于深度学习夜间危险驾驶行为的检测算法。该算法中的弱光增强模块采用Light-DCE算法实时增强，该模块在低参数量情况下，仍具有较高的推理速度、信噪比及曝光度；检测模块使用引入动态软标签匹配策略的NanoDet-Plus，训练时模型速度较快，此外，融合Light-DCE后，NanoDet-Plus的夜间危险驾驶行为检测准确率明显提升，mAP50为0.913，推理速度仅72 ms，模型大小为2.452 M。虽然该算法在一定程度上提高了夜间环境危险驾驶行为检测准确率，但在夜间小目标检测上准确率仍有待提高，未来可以引入更多的优化策略，保证算法轻量化的同时，稳步提升该算法的准确率。




文献来源

[1]唐天俊,宋平.基于深度学习的夜间危险驾驶行为检测算法[J].电脑与信息技术,2024,32(04):9-13.DOI:10.19414/j.cnki.1005-1228.2024.04.029.

[2]C. G ,C. L ,J. G , et al.Zero-reference deep curve estimation for low-light image enhancement[J].Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2020,1777-1786.

[3]K. H ,Y. W ,Q. T , et al.GhostNet: More features from cheap operations[J].Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2020,1577-1586.

[4]LYU R. NanoDet-Plus: Super fast and high accuracy lightweight anchor-free object detection model[J]. URL: 2021.