基于深度学习的疲劳驾驶检测算法

针对现有疲劳驾驶检测算法实用性差或准确率低的问题,本文提出了一种基于深度学习的疲劳驾驶检测算法.首先,使用HOG （Histogram of Oriented Gradient）特征算子检测人脸的存在;其次,利用特征点模型实现人脸的对齐,同时实现眼睛、嘴巴区域的分割;最后通过深度卷积神经网络提取驾驶员的眼部疲劳特征,并融合驾驶员嘴部的疲劳特征进行疲劳预警.大量的实验表明,该方法在疲劳驾驶检测的准确率、实时性等方面都取得明显的性能提升.     

基于改进YOLOv5的人脸疲劳检测

针对疲劳驾驶检测问题，提出了一种改进YOLOv5模型的人脸疲劳检测方法。首先，对YOLOv5模型增加检测层和添加CA注意力机制的改进，用于检测驾驶员的面部区域。其次，使用Dlib库中的级联回归算法实现人脸部68个特征点的标定和眼部、嘴部的定位。最后，计算驾驶员眼部（EAR）和嘴部（MAR）的纵横比，依据眼睑闭合程度百分比（Percentage of Eyelid Closure Over the Pupil Over Time,PERCLOS）法则进行疲劳判定并进行预警处理。实验结果表明，改进后的YOLOv5算法的平均准确率达到92.5%，能够满足人脸疲劳检测对精度和速度的综合要求。     

基于眼嘴状态识别网络的疲劳驾驶检测

驾驶员疲劳驾驶是引发交通事故的重要因素，因此对驾驶员的驾驶状态进行精准检测尤为关键，然而现有的疲劳检测方法存在误判率高、鲁棒性低等问题。提出一种结合多特征融合与状态识别网络的疲劳驾驶检测方法，分析驾驶员的疲劳状态，利用优化后的单阶段人脸检测算法RetinaFace获取人脸位置及5个标志定位，根据双眼和嘴角关键点坐标将双眼及嘴部区域分别旋转至水平并截取。对现有数据集进行重新分类，用来训练以Ghost模块为基础的眼嘴状态识别网络（EMSD-Net），并对双眼开合状态及嘴部是否哈欠进行识别。最后，根据眼嘴状态，使用单位时间眼睛闭合的百分比、持续闭眼时间和持续哈欠时间为指标进行疲劳判断，并得出相应的疲劳程度，从而起到更有效的预警效果。在NHTU-DDD、YawDD和CEW数据集基础上构建的新数据集上的实验结果表明，所提方法的疲劳特征识别准确率为95.3%，单帧疲劳检测的平均时间为32.6 ms，具有较低的误判率，且在保证检测准确率基础上，有较高的实时性。     

基于计算机视觉的疲劳及注意力检测算法

针对现有疲劳驾驶检测算法的准确率底、实用性差以及不能实时检测的问题,论文采用计算机视觉的方法首先利用Dlib提取眼部、嘴部、下巴周围的特征点的坐标,通过计算眼睛纵横比来实现瞌睡检测,并且类比眼睛纵横比提出一种用于哈欠检测的新方法—嘴部纵横比检测法,为了进一步判断驾驶员状态,论文进一步对驾驶员的注意力进行判断,一旦出现不安全行为,立马发出预警进行提醒,从而实现驾驶员疲劳及注意力检测.实验证明,该方法在疲劳驾驶检测的准确率、实时性等方面取得明显的性能提升.     

基于级联宽度学习的疲劳驾驶检测

为减少因疲劳驾驶引发的交通事故,提出融合多参数的驾驶员疲劳检测算法。用渐进校准网络(PCN)检测人脸图像,通过基于CNN的回归模型定位人脸关键点;根据关键点坐标和面部器官的分布规律提取眼睛和嘴部图像,用宽度学习系统(BLS)分别识别眼睛与嘴巴的状态;将眼睛、嘴巴和头部状态的时序序列送入二级宽度网络对司机的状态进行判别。实验结果表明,该算法的疲劳检测准确率为94.9%,单帧检测时间52.43 ms。     

基于面部行为分析的驾驶员疲劳检测方法

眼睛和嘴部状态检测是疲劳检测方法的重要步骤,但眼镜遮挡及光照变化使得眼睛状态识别效果不佳。为此,提出一种新的驾驶员疲劳检测方法。使用红外采集设备对驾驶员面部图像进行采集,通过结合AdaBoost与核相关滤波器算法进行人脸检测及跟踪。采用级联回归方法定位特征点,提取眼睛和嘴部区域。运用卷积神经网络进行眼睛和嘴部状态识别,在此基础上计算多个疲劳参数进行疲劳检测。实验结果表明,该方法在多种情况下均能准确地检测眼睛和嘴部状态,可有效地进行疲劳检测。     

基于ASM和肤色模型的疲劳驾驶检测

疲劳驾驶研究中,面部关键特征精确定位与跟踪是个难点。提出了一种基于主动形状模型ASM和肤色模型的疲劳驾驶检测方法。首先,利用肤色模型检测到人脸区域为ASM提供初始定位;然后基于ASM进行人眼和嘴巴跟踪获得眼睛与嘴巴区域;再利用Canny算子对两个区域精确定位,获得疲劳检测参数;最后根据PERCLOS方法实现疲劳检测。考虑到基于HSV颜色模型的人脸检测不受姿势和角度的影响,但容易受到背景干扰,而ASM的优点是人脸关键点跟踪效果好,但初始定位困难,将二者结合实现了眼睛与嘴巴精确定位与跟踪。实验表明,眼睛检测准确率可以达到90.7%,哈欠检测准确率可以达到83.3%,疲劳检测准确率达到91.4%。     

基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

目的 疲劳驾驶是引发车辆交通事故的主要原因之一,针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题,提出了一种基于自商图—梯度图共生矩阵的驾驶员眼部疲劳检测方法。方法 利用以残差网络（residual network,ResNet）为前置网络的SSD（single shot multibox detector）人脸检测器来获取视频中的有效人脸区域,并通过人脸关键点检测算法分割出眼睛局部区域图像;建立驾驶员眼部的自商图与梯度图共生矩阵模型,分析共生矩阵的数字统计特征,选取效果较好的特征用以判定人眼的开闭状态;结合眼睛闭合时间百分比（percentage of eyelid closure,PERCLOS）与最长闭眼持续时间（maximum closing duration,MCD）两个疲劳指标来判别驾驶员的疲劳状态。结果 在六自由度汽车性能虚拟仿真实验平台上模拟汽车驾驶,采集并分析驾驶员面部视频,本文方法能够有效识别驾驶员面部遮挡时眼睛的开闭状态,准确率高达99.12%,面部未遮挡时的识别精度为98.73%,算法处理视频的速度约为32帧/s。对比方法1采用方向梯度直方图特征与支持向量机分类器相结合的人脸检测算法,并以眼睛纵横比判定开闭眼状态,在面部遮挡时识别较弱;以卷积神经网络（convolutional neural network,CNN）判别眼睛状态的对比方法2虽然在面部遮挡情况下的准确率高达98.02%,但眨眼检测准确率效果不佳。结论 基于自商图—梯度图共生矩阵的疲劳检测方法能够有效识别面部遮挡时眼睛的开闭情况和驾驶员的疲劳状态,具有较快的检测速度与较高的准确率。     

恶劣光照下驾驶人疲劳及注意力视觉监测算法

驾驶人驾驶行为监测及预警系统对于提高行车安全性及降低交通事故等问题具有重要作用,而利用机器视觉对驾驶人疲劳状态及注意力状态进行监测和分析是安全辅助驾驶领域内的研究热点之一。机器视觉受光照条件影响非常严重,甚至直接影响到图像处理算法的可靠性。在弱光和强光两种特殊照明条件下,介绍了驾驶人疲劳状态的检测思路,提出利用普尔钦斑点及投影曲线极点位置分割面部器官独立区域,最终获得眼睛的轮廓状态,利用PERCLOS判断驾驶人的疲劳状态。在驾驶人面部及面部器官定位的基础上,对驾驶人的头部旋转运动进行分析,提出了计算驾驶人头部旋转角度的计算方法,以驾驶人头部旋转角度为依据判断驾驶人的注意力是否分散。实践证明,在弱光和强光两种特殊照明条件之下,算法实时性好,准确率较高,效果非常理想,能够为驾驶人疲劳状态及注意力状态分析提供较为准确的依据。     

基于眼睛和嘴巴状态的驾驶员疲劳检测算法

针对列车驾驶员疲劳检测问题,提出一种基于人眼和嘴巴状态的驾驶员疲劳检测算法。首先采用改进的AdaBoost算法精确定位驾驶员脸部区域。然后通过模板匹配定位人眼,并根据人脸的几何特征定位嘴巴。最后计算每一帧图像的PERCLOS(per-cent eyelid closure)参数和嘴部动作频率,统计单位时间内双参数与对应阈值的关系,作为判断驾驶疲劳的依据。实验结果表明,在正常光照下,综合眼睛和嘴部信息,比采用单参数检测算法减少了误判、漏判的概率,具有较高的准确性和鲁棒性。     

一种基于卷积神经网络的疲劳驾驶检测方法

疲劳驾驶检测具有重要的警示作用,对检测方法的准确性和实时性均有较高要求。为此,提出了一种基于卷积神经网络的疲劳驾驶检测方法。首先,针对车内特定使用环境,对MTCNN算法进行了加速优化,在保证高准确率的同时检测速度提升高达27倍。其次,在实现人脸特征点精确定位基础上,提出了一种基于稀少特征点快速准确提取目标区域图像的ERFP（extracting images based on rare feature points）方法。再次,利用构建的眼、嘴数据集EMSD（eye and mouth state date sets）完成了眼、嘴部状态分类模型的训练。最终,利用训练得到的模型,结合相应的判定算法,实现了疲劳驾驶的检测判定。实验结果表明,该方法在实车环境下对瞌睡和哈欠行为的判定准确率均达到了96%以上,且每秒可完成约50帧图像的检测,具备良好的实时性。     

精神疲劳实时监测中多面部特征时序分类模型

针对现有疲劳监测方法仅根据单帧图像嘴巴形态进行哈欠识别准确率低,采用阈值法分析眨眼参数适应性较差,无法对疲劳状态的过渡进行实时监测等问题,提出一种新的进行精神疲劳实时监测的多面部特征时序分类模型.首先,通过面部视觉特征提取张口度曲线与虹膜似圆比曲线;然后,采用滑动窗口分段、隐马尔可夫模型(HMM)建模等方法在张口度曲线的基础上构建哈欠特征时序并进行类别标记,在虹膜似圆比曲线的基础上构建眨眼持续时间时序并进行类别标记;最后,在HMM的基础上增加时间戳,以便自适应地选取时序初始时刻点并进行多个特征时序的同步与标记结果的融合.实验结果表明,本文模型可降低哈欠误判率,对不同年龄的人群眨眼具有很好的适应性,并可实现对精神疲劳过渡状态的实时监测.     

基于时序性面部动作信息的驾驶员状态检测框架

通过网络摄像头获取驾驶员面部视频输入网络进行检测的方法主要通过分析驾驶员口型等面部表情来判断是否疲劳驾驶,但说话等很多类似的状态也被误检为疲劳。针对以上问题提出了一种基于时序性面部动作信息的检测框架,对驾驶员状态进行检测,从而提高检测准确率、降低误检率。该框架通过检测视频中的脸部轮廓,提取脸部的多种特征,形成面部动作单元;通过训练对应的LSTM网络,形成时序性的面部动作单元,根据其相关性进行多种动作单元融合,检测最终驾驶员的状态。在公共YawDD数据集上的检测结果表明,相比于现有的方法,该检测方法的准确率提高到了93.1%,同时大幅降低了疲劳状态的误检率。     

基于面部动作时空特征的疲劳预警算法

目前疲劳预警算法多采用实时监测报警的方式,这在高速行驶中具有很大的安全隐患。鉴于人类疲劳状态的时序相关性,提出一种基于面部动作时空特征提取的预警算法。首先,构建加入空间变换结构的卷积神经网络,识别人脸区域,对脸部特征点进行检测标记;其次,建立时空特征提取网络,利用采集的人脸图像序列,对未来图像序列进行预测并输出;最后,在输出的图像序列中根据眼部、嘴部综合状态判断是否发出警告。实验结果表明,以15 fps的速率采集图像,预测未来2 s 30帧图像的方式下,该算法能以90%以上的准确率提前26帧（约1.5 s）预警,且提前15帧（1 s）预警的准确率达到97%。在我国高速公路平均100 km/h的车速下,相当于提前40 m预警,能进一步减少交通事故的发生。     

基于FPGA的多特征融合司机疲劳状态检测系统设计

驾驶员的疲劳驾驶是造成交通事故的重要因素,为了实时有效地检测驾驶员的驾驶状态,设计了一种融合多种疲劳特征进行疲劳状态判定的检测算法,并构建了车载的基于现场可编程门阵列(FPGA)的嵌入式检测平台。该多检测算法融合了眼睛和嘴巴的疲劳特征,当某一特征的检测受到影响时可以使用另外的特征进行疲劳状态的判定,较传统的单一特征疲劳检测算法拥有更高的检测效率。实验结果表明:系统的算法简单、可靠、实时性强。     

基于CNN和SVM的疲劳驾驶闭眼特征实时检测

针对现有疲劳驾驶检测方法中实时性和泛化能力不足的问题, 本文提出了一种基于卷积神经网络(Convolutional Neural Networks, CNN)和支持向量机(Support Vector Machine, SVM)的疲劳驾驶闭眼特征检测方法, 使用CNN获取人脸相关特征点的位置并定位眼部感兴趣区域(Region Of Interest, ROI), 通过灰度化和直方图均衡化操作减弱光照差异的影响, 提取ROI的方向梯度直方图(Histogram of Oriented Gradient, HOG), 并用SVM对HOG进行分类, 相应的判断出原始图像是否包含疲劳驾驶闭眼特征. 本文给出了所提方法在PC平台和ARM平台实现的实时性验证, 在不同光照和背景条件下对多位受测人员进行测试, 实验结果表明该方法对疲劳驾驶闭眼特征检测准确率在94％以上, 处理速度满足实时性要求, 且具有较强的泛化能力.