基于眼部特征的驾驶员疲劳检测方法研究

随着汽车保有量的持续增加,随之而来的交通事故也持续增长,大部分的交通事故是由疲劳驾驶引起的.因此研究出一种能够有效检测驾驶员疲劳的方法具有重要意义.论文主要研究了基于级联的Adaboost驾驶员面部检测算法,在检测到人脸的基础上运用SDM算法进行人脸特征点定位,然后根据PERCLOS原理来判断驾驶员是否疲劳,实验表明该方法能够准确地检测驾驶员的疲劳状态.     

驾驶员疲劳检测系统的研究

为了减少由于驾驶员疲劳驾驶引起的交通事故,提出驾驶员疲劳状态检测系统的方案。使用3×3中值滤波去除噪声和光照对图像的影响,通过对AdaBoost算法的强分类器训练算法改进、级联分类器优化实现人脸的快速检测,在检测到的人脸区域,通过积分灰度投影和从粗到细改进的模板匹配方法对人眼进行准确定位;通过PERCLOS、眼睛闭合时间、眼睛眨眼频率、嘴巴张开程度、头部运动的计算,进行驾驶员疲劳程度的综合判定。实验结果表明,该方法准确率高,兼具了良好的实时性和鲁棒性。     

基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

目的 疲劳驾驶是引发车辆交通事故的主要原因之一,针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题,提出了一种基于自商图—梯度图共生矩阵的驾驶员眼部疲劳检测方法。方法 利用以残差网络（residual network,ResNet）为前置网络的SSD（single shot multibox detector）人脸检测器来获取视频中的有效人脸区域,并通过人脸关键点检测算法分割出眼睛局部区域图像;建立驾驶员眼部的自商图与梯度图共生矩阵模型,分析共生矩阵的数字统计特征,选取效果较好的特征用以判定人眼的开闭状态;结合眼睛闭合时间百分比（percentage of eyelid closure,PERCLOS）与最长闭眼持续时间（maximum closing duration,MCD）两个疲劳指标来判别驾驶员的疲劳状态。结果 在六自由度汽车性能虚拟仿真实验平台上模拟汽车驾驶,采集并分析驾驶员面部视频,本文方法能够有效识别驾驶员面部遮挡时眼睛的开闭状态,准确率高达99.12%,面部未遮挡时的识别精度为98.73%,算法处理视频的速度约为32帧/s。对比方法1采用方向梯度直方图特征与支持向量机分类器相结合的人脸检测算法,并以眼睛纵横比判定开闭眼状态,在面部遮挡时识别较弱;以卷积神经网络（convolutional neural network,CNN）判别眼睛状态的对比方法2虽然在面部遮挡情况下的准确率高达98.02%,但眨眼检测准确率效果不佳。结论 基于自商图—梯度图共生矩阵的疲劳检测方法能够有效识别面部遮挡时眼睛的开闭情况和驾驶员的疲劳状态,具有较快的检测速度与较高的准确率。     

嵌入式疲劳驾驶监测系统的设计与实现

疲劳驾驶是引发恶性交通事故的重要原因之一,驾驶员疲劳监测技术近年来已逐步成为图像处理领域的一个研究热点。基于改进的和提出的新算法,设计了一个嵌入式驾驶员疲劳监测系统。由可见光/近红外摄像头采集视频,首先采用Haar特征的级联分类器从图像中检测出人脸区域,并用钻石搜索法跟踪人脸区域;然后提取一个新的图像差分统计特征,并结合3个准则判断疲劳状态;最后采用全变分模型消除图像中的非均匀光照,以便实现鲁棒的人眼定位和人脸识别。实验测试结果表明,本系统的疲劳状态监测准确率达到95%以上。     

基于多特征融合的眼睛状态检测算法研究

疲劳驾驶检测算法研究对提升交通安全有着重要的意义。目前,已有大量关于疲劳驾驶的文献和成果。在疲劳驾驶检测算法中,眼睛开闭状态的判断起着至关重要的作用。深度级联卷积神经网络用来检测人脸和人脸特征,利用Dlib工具快速提取驾驶员人脸特征。基于眼睛特征计算眼睛宽高比,并将眼睛宽高比、传统人眼特征的人眼虹膜等用于判断眼睛开闭的参数。该文提出一种实时地融合了EAR、虹膜等多个特征的眼睛状态检测算法,可补偿传统人眼特征的像素值比较敏感的不足,也补偿了EAR在人脸倾斜、戴眼镜、光照变换、眼睛周围有光斑等情况下非常不可靠的不足。在640*480分辨率,帧率30 fps的视频上获得平均92%的检测正确率。实验结果表明融合后的算法可在光照变换、人脸倾斜、佩戴眼镜等条件下提升检测性能,鲁棒性较高。     

基于改进YOLOv5的人脸疲劳检测

针对疲劳驾驶检测问题，提出了一种改进YOLOv5模型的人脸疲劳检测方法。首先，对YOLOv5模型增加检测层和添加CA注意力机制的改进，用于检测驾驶员的面部区域。其次，使用Dlib库中的级联回归算法实现人脸部68个特征点的标定和眼部、嘴部的定位。最后，计算驾驶员眼部（EAR）和嘴部（MAR）的纵横比，依据眼睑闭合程度百分比（Percentage of Eyelid Closure Over the Pupil Over Time,PERCLOS）法则进行疲劳判定并进行预警处理。实验结果表明，改进后的YOLOv5算法的平均准确率达到92.5%，能够满足人脸疲劳检测对精度和速度的综合要求。     

基于计算机视觉的疲劳及注意力检测算法

针对现有疲劳驾驶检测算法的准确率底、实用性差以及不能实时检测的问题,论文采用计算机视觉的方法首先利用Dlib提取眼部、嘴部、下巴周围的特征点的坐标,通过计算眼睛纵横比来实现瞌睡检测,并且类比眼睛纵横比提出一种用于哈欠检测的新方法—嘴部纵横比检测法,为了进一步判断驾驶员状态,论文进一步对驾驶员的注意力进行判断,一旦出现不安全行为,立马发出预警进行提醒,从而实现驾驶员疲劳及注意力检测.实验证明,该方法在疲劳驾驶检测的准确率、实时性等方面取得明显的性能提升.     

基于视频的人眼跟踪方法研究

疲劳驾驶是交通事故发生的主要原因之一.在车载的驾驶员疲劳检测系统中,对于人眼的高效、实时、准确检测和跟踪是关键技术之一.本文研究基于视频信息的驾驶员人脸图像中眼睛的跟踪方法.采用Viola-Jones算法和AdaBoost算法设计了Haar级联人脸分类器,根据人脸的几何结构和眼睛的特性,通过两次定位的方法实现了对眼睛的定位和跟踪.实验表明,本文方法具有检测精度高、鲁棒性强的特点.     

基于模糊综合评价的疲劳驾驶检测算法研究

疲劳驾驶是引发交通事故的一个主要原因，对驾驶员疲劳驾驶做出准确、有效的检测和预防，具有重要的社会意义.在研究比较了前人工作的基础上，设计了一种基于机器视觉，图像处理的驾驶员疲劳检测机制.首先将传来的连续帧图像（视频）利用Adaboost算法进行人脸检测，根据人脸"三庭五眼"的分布特征分割出大致的人眼区域.在人眼定位过程中，采用OSTU阈值分割，非线性点运算和积分投影等预处理消除眉毛，并利用模糊综合评价算法对眼睛矩形区域的长宽比、拟合椭圆面积、瞳孔黑色素所占比例这3个影响因子进行分析，判别出眼睛的睁开闭合状态.最后根据PERCLOS原理对驾驶员的疲劳状态做出检测.实验结果表明，所提算法能够准确地判别出眼睛的睁闭状态及对驾驶员的疲劳状态的检测，具有较高的准确性和实用性.     

基于级联宽度学习的疲劳驾驶检测

为减少因疲劳驾驶引发的交通事故,提出融合多参数的驾驶员疲劳检测算法。用渐进校准网络(PCN)检测人脸图像,通过基于CNN的回归模型定位人脸关键点;根据关键点坐标和面部器官的分布规律提取眼睛和嘴部图像,用宽度学习系统(BLS)分别识别眼睛与嘴巴的状态;将眼睛、嘴巴和头部状态的时序序列送入二级宽度网络对司机的状态进行判别。实验结果表明,该算法的疲劳检测准确率为94.9%,单帧检测时间52.43 ms。     

基于多面部特征融合的驾驶员疲劳检测算法

本文将卷积神经网络（Convolutional Neural Network,CNN）应用到视频理解中,提出一种基于多面部特征融合的驾驶员疲劳检测算法.本文使用多任务级联卷积网络（Multi-Task Cascaded Convolutional Networks,MTCNN）定位驾驶员的嘴部、左眼,使用CNN从驾驶员嘴部、左眼图像中提取静态特征,结合CNN从嘴部、左眼光流图中提取动态特征进行训练分类.实验结果表明,该算法比只使用静态图像进行驾驶员疲劳检测效果更好,准确率达到87.4%,而且可以很好地区别在静态图像中很相似的打哈欠和讲话动作.     

基于时序性面部动作信息的驾驶员状态检测框架

通过网络摄像头获取驾驶员面部视频输入网络进行检测的方法主要通过分析驾驶员口型等面部表情来判断是否疲劳驾驶,但说话等很多类似的状态也被误检为疲劳。针对以上问题提出了一种基于时序性面部动作信息的检测框架,对驾驶员状态进行检测,从而提高检测准确率、降低误检率。该框架通过检测视频中的脸部轮廓,提取脸部的多种特征,形成面部动作单元;通过训练对应的LSTM网络,形成时序性的面部动作单元,根据其相关性进行多种动作单元融合,检测最终驾驶员的状态。在公共YawDD数据集上的检测结果表明,相比于现有的方法,该检测方法的准确率提高到了93.1%,同时大幅降低了疲劳状态的误检率。     

基于高斯眼白模型的疲劳驾驶检测

目的 为解决疲劳驾驶检测中人眼状态识别的难点,提出一种基于眼白分割的疲劳检测方法。方法 首先对获取图像进行人脸检测,利用眼白在Cb-Cr上良好的聚类性,基于YCbCr颜色空间建立高斯眼白分割模型;然后在人脸区域图像内做眼白分割,计算眼白面积;最后将眼白面积作为人眼开度指标,结合PERCLOS（percentage of eyelid closure over the pupil over time）判定人的疲劳状态。结果 选取10个短视频进行采帧分析,实验结果表明,高斯眼白分割模型能有效分离眼白,并识别人眼开合状态,准确率可达96.77%。结论 在良好光线条件下,本文方法能取得不错的分割效果;本文所提出的以眼白面积作为判定人眼开度的指标,能准确地判定人的疲劳状态。实验结果证明了该方法的有效性,值得今后做更深入的研究。     

智能驾驶中的行为辅助压力感知方法

人的压力与其行为紧密相关,特别是在智能驾驶时,驾驶员压力感知对实现辅助驾驶具有巨大的应用潜力.现有压力感知方法多用于静态环境,检测过程也缺乏便捷性,难以适应高度动态的智能驾驶应用需求.为了实现智能驾驶中自然、准确和可靠的压力检测,提出一种基于可穿戴系统的行为辅助压力感知方法.该方法基于行为伴随实现压力检测,并基于多指标执行压力状态判别,能够有效提高压力检测准确度.其基本原理在于每个人在不同压力状态下的生理特征和行为模式不同,会对压力相关的PPG数据和行为相关的IMU数据产生独特影响.首先使用嵌入多传感器的可穿戴手套测量驾驶员的生理和运动信息,通过多信号融合技术获得可靠的生理行为指标,最终使用泛化性能较好的SVM模型分类驾驶员的压力状态.基于所提出的方法在模拟驾驶环境下部署了验证实验,实验结果显示,压力分类精确度可达到95%.     

Real-time driving danger-level prediction

This paper introduces a driving danger-level prediction system that uses multiple sensor inputs and statistical modeling to predict the driving risk. Three types of features were collected for the research, specifically the vehicle dynamic parameter, the driver's physiological data and the driver's behavior feature. To model the temporal patterns that lead to safe/dangerous driving state, several sequential supervised learning algorithms were evaluated in the paper, including hidden Markov model, conditional random field and reinforcement learning. Experimental results showed that using reinforcement learning based method with the vehicle dynamic parameters feature outperforms the rest algorithms, and adding the other two features could further improve the prediction accuracy. Based on the result, a live driving danger-level prediction prototype system was developed. Compared to many previous researches that focused on monitoring the driver's vigilance level to infer the possibility of potential driving risk, our live system is non-intrusive to the driver, and hence it is very desirable for driving danger prevention applications. Subjective on-line user study of our prototype system gave promising results.     

A method for fatigue detection based on Driver's steering wheel grip

We propose a simple method to measure a driver's fatigue state by detecting the driver's grip force on the steering wheel while driving. We tested the grip force of 36 drivers on the steering wheel in conscious states (Alert) and fatigue states under actual road driving conditions. Using the Stanford sleepiness scale (SSS), we divided drivers into Alert Group A, fatigue Group A, and fatigue Group B. During 20-min real-road driving trials, we measured the steering wheel grip force, electroencephalogram index (R = (α + θ)/β), and blink frequency of each driver synchronously. We found that ΔF, the difference between the maximum/minimum grip force and the standard deviation of the grip force, σF, for each driver, strongly correlated with the driver's fatigue state. In the fatigue state, both ΔF and σF increased significantly. We examined these force indices using analysis of variance (ANOVA) and validated them against the R-value, blink frequency, and the driver's self-reported fatigue state. Using the grip force in fatigue detection, our method can achieve an overall recognition rate of 86.6% and an individual recognition rate of 88.3%. These results indicate that this method can effectively detect a driver's fatigue state during actual road driving. This new method has several advantages, such as a high signal-to-noise ratio, simple data collection, and no influence on daily driving. Thus, our proposed method may provide a theoretical foundation for the development of fatigue-detecting steering wheels     

Detecting driving stress in physiological signals based on multimodal feature analysis and kernel classifiers

Monitoring driving status has great potential in helping us decline the occurrence probability of traffic accidents and the aim of this research is to develop a novel system for driving stress detection based on multimodal feature analysis and kernel-based classifiers. Physiological signals such as electrocardiogram, galvanic skin response and respiration were record from fourteen drives executed in a prescribed route at real drive environments. Features were widely extracted from time, spectral and wavelet multi-domains. In order to search for the optimal feature sets, Sparse Bayesian Learning (SBL) and Principal Component Analysis (PCA) were combined and adopted. Kernel-based classifiers were employed to improve the accuracy of stress detection task. Analysis I used features from 10 s intervals of data which were recorded during well-defined rest, highway and city driving conditions to discriminate three levels of diving stress achieving an averaging accuracy over 99% at per-drive level and 89% in cross-drive validation. Analysis II made continuous stress evaluation throughout a complete driving test attaining a high coincidence with the true road situation especially at the switching interval of traffic conditions. Experimental results reveal that different levels of driving stress can be characterized by specific set of physiological measures. These physiological measures could be applied to in-vehicle intelligent systems in various approaches to help the drivers better manage their negative driving status. Our design scheme for driving stress detection could also facilitate the development of similar in-vehicle expert systems, such as driver's emotion management, driver's sleeping onset monitoring, and human-computer interaction (HCI).     

融合人眼特征与深度学习的疲劳驾驶检测模型

针对现有疲劳驾驶检测技术不能有效平衡准确性和实时性的问题,通过融合人眼特征与深度学习,构建一种新的疲劳驾驶检测模型。设计GP-VGG16网络进行眼部状态识别,通过将人工先验信息集成到轻量级深度网络中,提高眼部状态识别的准确性、稳定性和实时性。在此基础上,利用眼部特征-疲劳等级模型将疲劳状态划分为9个等级,定量估计驾驶员状态,同时基于少样本学习建立高效的自动标签生成网络,减少对大量无标签驾驶数据的语义标注。实验结果表明,该模型的准确率达到97.1%,运行速度达到39.96 frame/s,能够有效提高驾驶员疲劳状态识别的准确性与时效性。