基于深度学习的驾驶员分心行为识别

分心驾驶行为识别是提高驾驶安全的主要方法之一。针对分心驾驶行为识别精度低的问题,本文提出一种基于深度学习的驾驶员分心行为识别算法,由目标检测网络和行为精确识别网络级联构成。基于State Farm公开数据集,第一级利用目标检测算法SSD(Single Shot Multibox Detector)对数据集中的驾驶员原始图像进行局部信息提取,确定行为识别候选区域;第二级分别利用迁移学习VGG19、ResNet50和MobileNetV2模型对候选区域内的行为信息进行精确识别;最后,实验对比级联架构与单模型架构对分心驾驶行为的识别精度。结果表明,提出的级联网络模型相较于主流单模型检测方法,驾驶员行为识别的准确率总体上提升4~7%个百分点。该算法不仅减少噪声和其他背景区域对模型的影响,提高分心行为识别准确率,还可以有效识别更多的行为类别以避免动作的误分类。     

基于计算机视觉的疲劳及注意力检测算法

针对现有疲劳驾驶检测算法的准确率底、实用性差以及不能实时检测的问题,论文采用计算机视觉的方法首先利用Dlib提取眼部、嘴部、下巴周围的特征点的坐标,通过计算眼睛纵横比来实现瞌睡检测,并且类比眼睛纵横比提出一种用于哈欠检测的新方法—嘴部纵横比检测法,为了进一步判断驾驶员状态,论文进一步对驾驶员的注意力进行判断,一旦出现不安全行为,立马发出预警进行提醒,从而实现驾驶员疲劳及注意力检测.实验证明,该方法在疲劳驾驶检测的准确率、实时性等方面取得明显的性能提升.     

基于人体关节点的低头异常行人检测

近年来,随着智能手机的快速发展,低头族行人在过马路时依然保持浏览手机的姿态,由此造成的交通事故时有发生。如何有效检测低头族成为了当下亟待解决的问题。现有的检测方法需要大量的真实低头异常的数据集,且最终结果存在识别精度不高、速度不尽人意的问题。基于此,提出了一种快速有效的低头异常行人检测方法,与现有方法的区别在于该方法是基于关节点而不是图像。首先设计了一种构造数据集的方法,在识别人体关节点的基础上,调整左右腕关节坐标来模拟行人手持电子设备的姿态,解决了数据集缺少且需要大量标注的问题;其次,提出复杂环境中高效检测行人异常行为的算法,对上述关节点坐标进行分类识别,充分利用手臂与头部信息来实现行人异常行为检测。实验证明,所提算法能够实现实时检测,且检测精度达到了94.08%,从而可以为视频监控、驾驶员、辅助驾驶以及自动驾驶系统提供必要的参考信息。     

基于ICA和HMM的疲劳驾驶眼部状态识别算法

汽车司机疲劳驾驶是引发交通事故的一个重要原因。驾驶员在正常驾驶、瞌睡驾驶及疲劳驾驶3种状态下的眼睛张开程度有一定的区别。提出了一种ICA结合隐马尔可夫模型(HMM)识别眼部状态的识别算法,首先对彩色图像进行二值化处理,然后利用ICA算法进行眼部状态特征提取,为了加快特征提取的速度,这里采用FastICA算法;然后通过HMM进行眼部状态识别。实验结果表明,该算法可快速有效地识别出驾驶员眼部状态。     

基于级联宽度学习的疲劳驾驶检测

为减少因疲劳驾驶引发的交通事故,提出融合多参数的驾驶员疲劳检测算法。用渐进校准网络(PCN)检测人脸图像,通过基于CNN的回归模型定位人脸关键点;根据关键点坐标和面部器官的分布规律提取眼睛和嘴部图像,用宽度学习系统(BLS)分别识别眼睛与嘴巴的状态;将眼睛、嘴巴和头部状态的时序序列送入二级宽度网络对司机的状态进行判别。实验结果表明,该算法的疲劳检测准确率为94.9%,单帧检测时间52.43 ms。     

基于融合特征的疲劳驾驶检测系统实现

疲劳驾驶检测系统可对驾乘者给予一定程度的智能安全保障,避免事故发生。本文所述疲劳检测算法基于人体视觉特征的融合,提出根据嘴巴区域特征点坐标信息来计算嘴部张闭程度的MAR(Mouth Aspect Ratio)算法,并将其与眼睛纵横比EAR表示的眼部疲劳特征进行融合,最后得到MAR/EAR的比值用来度量驾驶员主观疲劳程度,系统实时测得的比值与设定的疲劳度阈值进行比较即可判定是否疲劳驾驶。系统实验结果验证了所提出方法的有效性。     

基于CNN和多尺度融合的驾驶员打电话行为检测

由于传统的驾驶员违规接听电话行为检测方法缺乏一套严谨的评判模型,难以满足现实中驾驶员违规接听电话的识别需要,因此如何建立一套合理有效的评判模型成为亟待解决的问题。针对目前评判模型的局限性,采用计算机视觉技术和深度学习模型相结合的方式对驾驶员违规接听电话行为进行科学评判。主要是通过提取的Haar-Like特征训练级联分类器捕获脸部特征,采用CNN模型和ROI技术提取手部特征,并利用YoloV3目标检测算法识别手机,依据特征间的空间位置关系来判断驾驶员是否存在违章接听电话行为。通过大量数据的实验测试,结果证明了该评判模型不仅能将精确度提高至96.28%,而且能实时检测到行车时违规接听电话行为并进行提醒,进而降低因违规接听电话发生交通事故的概率。     

基于深度学习的井下巷道行人视觉定位算法

自主驾驶矿井机车需要实时检测和定位行驶前方的巷道行人，激光雷达等非视觉类方法成本高昂，而传统基于特征提取视觉类方法无法解决井下光照差且光线不均匀的问题。提出一种基于深度学习的井下巷道行人视觉定位算法。首先给出基于深度学习网络的系统整体结构；其次，搭建目标检测多层卷积神经网络（CNN），生成自主驾驶机车前方视野范围内行人的二维坐标及边界框的尺寸；再次，通过多项式拟合计算出图像中行人到机车之间的第三维距离；最后通过真实样本集实施模型训练、验证与测试。实验结果表明，所提算法的检测准确率达94%，速度达每秒25帧，测距误差小于4%，实现了实时高效的巷道行人视觉定位。     

虚拟驾驶员决策行为模型研究

驾驶决策行为是驾驶行为研究的重要内容.为提高驾驶决策行为建模与仿真的可信度,提出了基于分层的驾驶员决策行为模型.将驾驶决策分为策略层、方法层、行动层和车辆控制层四个层次.重点对驾驶员行动层的决策行为进行实现.使用两点法和PID方法相结合,计算车辆转向角度,使用反应点跟车模型计算车辆纵向行驶速度.通过驾驶员跟车行为仿真,分析了跟车行为模型的稳定性和逼真性,说明了驾驶员决策行为模型的可信性,使驾驶行为模型的输出更加真实.     

基于计算机视觉的驾驶员低头行为检测

在驾驶过程中使用手机会引起驾驶员的注意力分散,为了对这种行为进行监督和提醒(在公共交通中检测更有意义),提出了一种基于脸部特征提取的驾驶员低头行为的检测方法。该方法使用主动型状模型(Active Shape Model,ASM)算法得到脸部特征点,在此基础上通过脸部特征点的位置信息计算出头部姿势描述信息,最后通过SVM将上述信息分类进而得出头部姿势,其可用于判断驾驶员是否在驾驶过程中低头看手机行为,该方法能够有效检测出驾驶员在驾驶过程中低头使用手机的行为。实验结果表明,该方法的平均检出率在94%以上。     

基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

目的 疲劳驾驶是引发车辆交通事故的主要原因之一,针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题,提出了一种基于自商图—梯度图共生矩阵的驾驶员眼部疲劳检测方法。方法 利用以残差网络（residual network,ResNet）为前置网络的SSD（single shot multibox detector）人脸检测器来获取视频中的有效人脸区域,并通过人脸关键点检测算法分割出眼睛局部区域图像;建立驾驶员眼部的自商图与梯度图共生矩阵模型,分析共生矩阵的数字统计特征,选取效果较好的特征用以判定人眼的开闭状态;结合眼睛闭合时间百分比（percentage of eyelid closure,PERCLOS）与最长闭眼持续时间（maximum closing duration,MCD）两个疲劳指标来判别驾驶员的疲劳状态。结果 在六自由度汽车性能虚拟仿真实验平台上模拟汽车驾驶,采集并分析驾驶员面部视频,本文方法能够有效识别驾驶员面部遮挡时眼睛的开闭状态,准确率高达99.12%,面部未遮挡时的识别精度为98.73%,算法处理视频的速度约为32帧/s。对比方法1采用方向梯度直方图特征与支持向量机分类器相结合的人脸检测算法,并以眼睛纵横比判定开闭眼状态,在面部遮挡时识别较弱;以卷积神经网络（convolutional neural network,CNN）判别眼睛状态的对比方法2虽然在面部遮挡情况下的准确率高达98.02%,但眨眼检测准确率效果不佳。结论 基于自商图—梯度图共生矩阵的疲劳检测方法能够有效识别面部遮挡时眼睛的开闭情况和驾驶员的疲劳状态,具有较快的检测速度与较高的准确率。     

基于关节点特征的跌倒检测算法

针对跌倒检测算法中存在网络计算量大和类跌倒行为难以区分的问题,提出一种基于关节点特征的跌倒检测算法。首先,在目前先进的CenterNet算法基础上提出了深度可分离卷积CenterNet （DSC-CenterNet）关节点检测算法,从而在减少骨干网络计算量的同时准确检测人体关节点并获取关节点坐标;然后,基于关节点位置和人体先验知识来提取可充分表达跌倒行为的空间特征和时间特征作为关节点特征;最后,把关节点特征向量输入全连接层,并经Sigmoid分类器输出跌倒或非跌倒两种类别,从而实现人体目标的跌倒检测。实验结果表明,所提算法在UR Fall Detection数据集上对不同状态变化下跌倒检测的平均准确率达到98.00%,区分类跌倒行为的准确率达到98.22%,跌倒检测速度为18.6 frame/s。与原CenterNet结合关节点特征跌倒检测的算法相比,DSC-CenterNet结合关节点特征算法的跌倒检测速度提升了22.37%,提高后的速度可有效满足视频监控下人体跌倒检测任务的实时性。该算法能有效提高跌倒检测速度并对人体跌倒状态进行准确检测,且进一步验证了基于关节点特征的跌倒检测算法在视频跌倒行为分析中的可行性与高效性。     

自动驾驶场景的尺度感知实时行人检测

目的 行人检测是目标检测中的一个基准问题,在自动驾驶等场景有着较大的实用价值,在路径规划和智能避障方面发挥着重要作用。受限于现实的算法功耗和运行效率,在自动驾驶场景下行人检测存在检测速度不佳、遮挡行人检测精度不足和小尺度行人漏检率高等问题,在保证实时性的前提下设计一种适合行人检测的算法,是一项挑战性的工作。方法 本文旨在解决自动驾驶场景中耗时长、行人遮挡和小尺度行人检测结果精度低的问题,提出了一种尺度注意力并行检测算法（scale-aware and efficient object detection,Scale-aware EfficientDet）：在特征提取与检测中使用了EfficientDet的主干网络,保证算法效率和功耗的平衡;在行人遮挡方面,为了提高模型对遮挡现象的检测精度,引入了可以增强行人与其他物体之间特征差异的损失函数;在提高小目标行人检测精度方面,采用scale-aware双路网络算法来增加对小目标行人的检测精度。结果 本文选择Caltech行人数据集作为对比数据集,选取YOLO（you only look once）、YOLOv3、SA-FastRCNN（scale-aware fast region-based convolutional neural network）等算法进行对比,在运行效率方面,本文算法在连续输入单帧图像的情况下达到了35帧/s,多图像输入时达到了70帧/s的工作效率;在模型精度测试中,本文算法也略胜一筹。本文算法应用于2020年中国智能汽车大赛中,在安全避障环节皆获得满分。结论 本文设计的尺度感知的行人检测算法,在EfficientDet高性能检测器的基础上,通过结合损失函数、scale-aware双路子网络的改进,进一步提升了本文检测器的鲁棒性。     

改进YOLOv5的交通标志检测算法

交通标志检测在自动驾驶、辅助驾驶等领域是一个重要的环节,关乎到行车安全问题。针对交通标志中存在目标小、背景复杂等难点,提出一种基于改进YOLOv5的算法。提出区域上下文模块,利用多种扩张率的空洞卷积来获取不同感受野,进而获取到目标及其相邻区域的特征信息,相邻区域的信息对交通标志小目标检测起到重要补充作用,可以有效解决目标小的问题;在主干部分引入特征增强模块,进一步提高主干的特征提取能力,利用注意力机制与原C3模块结合,使网络更能聚焦小目标信息,避免复杂背景的干扰;在多尺度检测部分,将浅层特征层与深层检测层进行特征融合,可以同时兼顾浅层位置信息与深层语义信息,增加目标定位与边界回归的准确度,更有利于小目标检测。实验结果表明,改进后的算法在交通标志检测数据集TT100K上取得了87.2%的小目标检测精度、92.4%的小目标召回率以及91.8%的mAP,与原YOLOv5算法相比较,分别提升了3.5、4.1、2.6个百分点,检测速度83.3 frame/s;在CCTSDB数据集上mAP为98.0%,提升了2.0个百分点,检测速度90.9 frame/s。因此,提出的改进YOLOv5算法可以有效...     

车路视觉协同的高速公路防碰撞预警算法

目的 基于视觉的前车防碰撞预警技术是汽车主动安全领域的一个重要研究方向,其中对前车进行快速准确检测并建立稳定可靠的安全距离模型是该技术亟待解决的两个难点。为此,本文提出车路视觉协同的高速公路防碰撞预警算法。方法 将通过图像处理技术检测出来的视频图像中的车道线和自车的行驶速度作为输入,运用安全区实时计算算法构建安全距离模型,在当前车辆前方形成一块预警安全区域。采用深度神经网络YOLOv3（you only look once v3）对前车进行实时检测,得到车辆的位置信息。根据图像中前车的位置和构建的安全距离模型,对可能发生的追尾碰撞事故进行预测。结果 实验结果表明,重新训练的YOLOv3算法车辆检测准确率为98.04%,提出算法与马自达CX-4的FOW（forward obstruction warning）前方碰撞预警系统相比,能够侧向和前向预警,并提前0.8 s发出警报。结论 本文方法与传统的车载超声波、雷达或激光测距的防碰撞预警方法相比,具有较强的适用性和稳定性,预警准确率高,可以帮助提高司机在高速公路上的行车安全性。     

基于贝叶斯网络的疲劳度及注意力检测

为提高基于单一特征检测算法的准确率和可靠性，提出基于贝叶斯网络融合多个特征参数的检测算法。定位眼睛和嘴巴，利用两眼和嘴巴组成的三角形建立头部旋转模型，提取各特征的参数并用贝叶斯网络进行融合，用来判断驾驶员的驾驶状态，当出现非正常驾驶状态时给以警告。实验结果表明，该算法对于检测出驾驶员的疲劳度和注意力分散状态有较高的准确性。     

融合人眼特征与深度学习的疲劳驾驶检测模型

针对现有疲劳驾驶检测技术不能有效平衡准确性和实时性的问题,通过融合人眼特征与深度学习,构建一种新的疲劳驾驶检测模型。设计GP-VGG16网络进行眼部状态识别,通过将人工先验信息集成到轻量级深度网络中,提高眼部状态识别的准确性、稳定性和实时性。在此基础上,利用眼部特征-疲劳等级模型将疲劳状态划分为9个等级,定量估计驾驶员状态,同时基于少样本学习建立高效的自动标签生成网络,减少对大量无标签驾驶数据的语义标注。实验结果表明,该模型的准确率达到97.1%,运行速度达到39.96 frame/s,能够有效提高驾驶员疲劳状态识别的准确性与时效性。     

双向特征融合与注意力机制结合的目标检测

目标检测使用特征金字塔检测不同尺度的物体时,忽略了高层信息和低层信息之间的关系,导致检测效果差;此外,针对某些尺度的目标,检测中容易出现漏检。本文提出双向特征融合与注意力机制结合的方法进行目标检测。首先,对SSD(single shot multibox detector)模型深层特征层与浅层特征层进行特征融合,然后将得到的特征与深层特征层进行融合。其次,在双向融合中加入了通道注意力机制,增强了语义信息。最后,提出了一种改进的正负样本判定策略,降低目标的漏检率。将本文提出的算法与当前主流算法在VOC数据集上进行了比较,结果表明,本文提出的算法在对目标进行检测时,目标平均准确率有较大提高。     

司机分心驾驶检测研究进展

随着车辆工业和世界经济的快速发展,私家汽车数量不断增加,导致交通事故越来越多,且交通安全问题已经成为全球关注的焦点问题。司机分心驾驶检测的研究主要分为传统计算机视觉（CV）算法和深度学习算法两种。基于传统CV算法的司机分心检测通过尺度不变特征转换（SIFT）、方向梯度直方图（HOG）等特征算子提取图像特征,然后结合支持向量机（SVM）建立模型并对图像进行分类。然而传统CV算法具有对环境的要求高、运用范围较窄、参数多、计算量大的缺点。近年来深度学习在提取数据特征方面表现出速度快、精度高等优异的性能,因此研究人员开始将深度学习引入到司机分心驾驶检测中。基于深度学习的方法可以实现端到端的司机分心驾驶检测网络,而且取得了很高的准确度。介绍了传统CV算法和深度学习算法在司机分心驾驶检测的研究现状,首先,阐释了传统CV算法用于图像领域和司机分心驾驶检测研究的情况;接着,介绍了基于深度学习的司机分心驾驶研究;而后,从准确度、模型参数量等方面对不同司机分心驾驶检测方法进行比较分析;最后,对现有的研究进行了总结并提出了未来司机分心驾驶检测需要解决的三个问题：驾驶过程中司机分心状态以及分心程度划分规范需进一步完善,需要综合考虑人－车－路三者以及如何才能更有效地减少神经网络参数。