基于面部特征识别的管制员疲劳检测算法研究

管制员疲劳是关系到航空安全的重要问题之一,本文通过安装在管制员工作台正前方的摄像头获取管制员工作时候的视频,运用一种使用多任务级联卷积网络(Multi-Task Convolutional Neural Network,MTCNN)对获得的视频图像,包含管制员的脸部,身体的姿态等特定部位进行定位,从获取的图像中提取管制员嘴部、左右眼等区域的光流图并进行特征融合,然后使用卷积神经网络(ConvolutionalNeuralNetwork,CNN)提取特征进行管制员疲劳检测,实验结果表明能够有效检测出管制员瞌睡、打哈欠、闭眼等一系列疲劳动作。     

基于深度学习的疲劳驾驶检测算法

针对现有疲劳驾驶检测算法实用性差或准确率低的问题,本文提出了一种基于深度学习的疲劳驾驶检测算法.首先,使用HOG （Histogram of Oriented Gradient）特征算子检测人脸的存在;其次,利用特征点模型实现人脸的对齐,同时实现眼睛、嘴巴区域的分割;最后通过深度卷积神经网络提取驾驶员的眼部疲劳特征,并融合驾驶员嘴部的疲劳特征进行疲劳预警.大量的实验表明,该方法在疲劳驾驶检测的准确率、实时性等方面都取得明显的性能提升.     

基于面部行为分析的驾驶员疲劳检测方法

眼睛和嘴部状态检测是疲劳检测方法的重要步骤,但眼镜遮挡及光照变化使得眼睛状态识别效果不佳。为此,提出一种新的驾驶员疲劳检测方法。使用红外采集设备对驾驶员面部图像进行采集,通过结合AdaBoost与核相关滤波器算法进行人脸检测及跟踪。采用级联回归方法定位特征点,提取眼睛和嘴部区域。运用卷积神经网络进行眼睛和嘴部状态识别,在此基础上计算多个疲劳参数进行疲劳检测。实验结果表明,该方法在多种情况下均能准确地检测眼睛和嘴部状态,可有效地进行疲劳检测。     

基于候选区域和并行卷积神经网络的行人检测

针对行人在部分自然场景图像中所占比例较小（以下简称小目标）,提取的特征容易丢失,检测准确率低的问题,提出基于候选区域和并行卷积神经网络（Parallel Convolutional Neural Network,PCNN）的行人检测方法。对于候选区域提取部分,改进了选择性搜索,使其更符合行人这一类别的候选区域提取;利用Edge Boxes对选择性搜索提取的大量预候选区域进行过滤,最终得到数量少、质量高的候选区域。在利用卷积神经网络（Convolutional Neural Network,CNN）进行特征提取时,针对深层卷积神经网络能够提取到更丰富更抽象的高层特征,但同时对于小目标容易造成特征丢失的问题,加入浅层网络组成并行卷积神经网络（Parallel Convolutional Neural Network,PCNN）提取深、浅层特征输出。最后将所提方法应用于行人检测,实验结果表明,所提方法对于小目标的检测准确率有较好的提升。     

基于卷积神经网络的图像识别方法

为了提高图像识别的全面性及准确性,研究了一种基于卷积神经网络（Convolutional Neural Network,CNN）的图像识别方法。该方法利用萤火虫算法获取分割阈值,实现图像目标和背景的分割;利用灰度共生矩阵和基于加速分割测试的特征（Features From Accelerated Segment Test,FAST）算法提取图像纹理和角点特征;以特征为输入,利用卷积神经网络实现目标类别识别。测试结果表明,设计的基于CNN的识别方法的F1分数为最大值,均在0.8以上,能够更全面、更准确地识别图像中的目标类型。     

CNN多层特征融合与ELM的乳腺疾病诊断方法

针对传统计算机辅助诊断方法准确率低、耗时长的问题,提出卷积神经网络（Convolutional Neural Networks,CNN）多层特征融合与极限学习机（Extreme Learning Machine,ELM）的乳腺疾病诊断方法。利用CNN从乳腺X光图像中提取多层特征;提出多尺度池化操作将各层提取的特征进行融合;使用极限学习机分类器进行乳腺疾病的快速诊断。实验结果表明,该乳腺疾病检测方法平均准确率高达97.13%,诊断时间是6.43 ms。该方法能有效地提高乳腺疾病诊断的准确率,缩短诊断时间,且具有较好的鲁棒性和泛化能力。     

基于级联宽度学习的疲劳驾驶检测

为减少因疲劳驾驶引发的交通事故,提出融合多参数的驾驶员疲劳检测算法。用渐进校准网络(PCN)检测人脸图像,通过基于CNN的回归模型定位人脸关键点;根据关键点坐标和面部器官的分布规律提取眼睛和嘴部图像,用宽度学习系统(BLS)分别识别眼睛与嘴巴的状态;将眼睛、嘴巴和头部状态的时序序列送入二级宽度网络对司机的状态进行判别。实验结果表明,该算法的疲劳检测准确率为94.9%,单帧检测时间52.43 ms。     

基于CNN和SVM的疲劳驾驶闭眼特征实时检测

针对现有疲劳驾驶检测方法中实时性和泛化能力不足的问题, 本文提出了一种基于卷积神经网络(Convolutional Neural Networks, CNN)和支持向量机(Support Vector Machine, SVM)的疲劳驾驶闭眼特征检测方法, 使用CNN获取人脸相关特征点的位置并定位眼部感兴趣区域(Region Of Interest, ROI), 通过灰度化和直方图均衡化操作减弱光照差异的影响, 提取ROI的方向梯度直方图(Histogram of Oriented Gradient, HOG), 并用SVM对HOG进行分类, 相应的判断出原始图像是否包含疲劳驾驶闭眼特征. 本文给出了所提方法在PC平台和ARM平台实现的实时性验证, 在不同光照和背景条件下对多位受测人员进行测试, 实验结果表明该方法对疲劳驾驶闭眼特征检测准确率在94％以上, 处理速度满足实时性要求, 且具有较强的泛化能力.     

基于LK-3DCNN网络特征的高光谱遥感图像分类算法

传统的高光谱图像分类方法均采用手工提取特征的方式,其表达能力有限,不能满足分类任务的高精度需求。因此,提出一种基于LK-3D卷积神经网络（Convolutional Neural Network,CNN）特征的高光谱遥感图像分类算法。该算法结合空洞卷积和三维卷积神经网络的双分支融合结构,对遥感图像进行深度特征提取,有利于提升小样本高光谱遥感图像数据分类的性能。在公开的3组高光谱遥感图像数据集上,与主成分分析（Principal Components Analysis,PCA）+3DCNN、PCA+3D-2DCNN算法进行对比,实验结果表明所提出的双分支融合网络提升了高光谱遥感图像的分类精度,具有较好的鲁棒性。     

基于改进YOLOv5的人脸疲劳检测

针对疲劳驾驶检测问题，提出了一种改进YOLOv5模型的人脸疲劳检测方法。首先，对YOLOv5模型增加检测层和添加CA注意力机制的改进，用于检测驾驶员的面部区域。其次，使用Dlib库中的级联回归算法实现人脸部68个特征点的标定和眼部、嘴部的定位。最后，计算驾驶员眼部（EAR）和嘴部（MAR）的纵横比，依据眼睑闭合程度百分比（Percentage of Eyelid Closure Over the Pupil Over Time,PERCLOS）法则进行疲劳判定并进行预警处理。实验结果表明，改进后的YOLOv5算法的平均准确率达到92.5%，能够满足人脸疲劳检测对精度和速度的综合要求。     

基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

目的 疲劳驾驶是引发车辆交通事故的主要原因之一,针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题,提出了一种基于自商图—梯度图共生矩阵的驾驶员眼部疲劳检测方法。方法 利用以残差网络（residual network,ResNet）为前置网络的SSD（single shot multibox detector）人脸检测器来获取视频中的有效人脸区域,并通过人脸关键点检测算法分割出眼睛局部区域图像;建立驾驶员眼部的自商图与梯度图共生矩阵模型,分析共生矩阵的数字统计特征,选取效果较好的特征用以判定人眼的开闭状态;结合眼睛闭合时间百分比（percentage of eyelid closure,PERCLOS）与最长闭眼持续时间（maximum closing duration,MCD）两个疲劳指标来判别驾驶员的疲劳状态。结果 在六自由度汽车性能虚拟仿真实验平台上模拟汽车驾驶,采集并分析驾驶员面部视频,本文方法能够有效识别驾驶员面部遮挡时眼睛的开闭状态,准确率高达99.12%,面部未遮挡时的识别精度为98.73%,算法处理视频的速度约为32帧/s。对比方法1采用方向梯度直方图特征与支持向量机分类器相结合的人脸检测算法,并以眼睛纵横比判定开闭眼状态,在面部遮挡时识别较弱;以卷积神经网络（convolutional neural network,CNN）判别眼睛状态的对比方法2虽然在面部遮挡情况下的准确率高达98.02%,但眨眼检测准确率效果不佳。结论 基于自商图—梯度图共生矩阵的疲劳检测方法能够有效识别面部遮挡时眼睛的开闭情况和驾驶员的疲劳状态,具有较快的检测速度与较高的准确率。     

基于模糊综合评价的疲劳驾驶检测算法研究

疲劳驾驶是引发交通事故的一个主要原因，对驾驶员疲劳驾驶做出准确、有效的检测和预防，具有重要的社会意义.在研究比较了前人工作的基础上，设计了一种基于机器视觉，图像处理的驾驶员疲劳检测机制.首先将传来的连续帧图像（视频）利用Adaboost算法进行人脸检测，根据人脸"三庭五眼"的分布特征分割出大致的人眼区域.在人眼定位过程中，采用OSTU阈值分割，非线性点运算和积分投影等预处理消除眉毛，并利用模糊综合评价算法对眼睛矩形区域的长宽比、拟合椭圆面积、瞳孔黑色素所占比例这3个影响因子进行分析，判别出眼睛的睁开闭合状态.最后根据PERCLOS原理对驾驶员的疲劳状态做出检测.实验结果表明，所提算法能够准确地判别出眼睛的睁闭状态及对驾驶员的疲劳状态的检测，具有较高的准确性和实用性.     

基于时序性面部动作信息的驾驶员状态检测框架

通过网络摄像头获取驾驶员面部视频输入网络进行检测的方法主要通过分析驾驶员口型等面部表情来判断是否疲劳驾驶,但说话等很多类似的状态也被误检为疲劳。针对以上问题提出了一种基于时序性面部动作信息的检测框架,对驾驶员状态进行检测,从而提高检测准确率、降低误检率。该框架通过检测视频中的脸部轮廓,提取脸部的多种特征,形成面部动作单元;通过训练对应的LSTM网络,形成时序性的面部动作单元,根据其相关性进行多种动作单元融合,检测最终驾驶员的状态。在公共YawDD数据集上的检测结果表明,相比于现有的方法,该检测方法的准确率提高到了93.1%,同时大幅降低了疲劳状态的误检率。     

基于高斯眼白模型的疲劳驾驶检测

目的 为解决疲劳驾驶检测中人眼状态识别的难点,提出一种基于眼白分割的疲劳检测方法。方法 首先对获取图像进行人脸检测,利用眼白在Cb-Cr上良好的聚类性,基于YCbCr颜色空间建立高斯眼白分割模型;然后在人脸区域图像内做眼白分割,计算眼白面积;最后将眼白面积作为人眼开度指标,结合PERCLOS（percentage of eyelid closure over the pupil over time）判定人的疲劳状态。结果 选取10个短视频进行采帧分析,实验结果表明,高斯眼白分割模型能有效分离眼白,并识别人眼开合状态,准确率可达96.77%。结论 在良好光线条件下,本文方法能取得不错的分割效果;本文所提出的以眼白面积作为判定人眼开度的指标,能准确地判定人的疲劳状态。实验结果证明了该方法的有效性,值得今后做更深入的研究。     

Monitoring drivers’ sleepy status at night based on machine vision

Driver fatigue is a chief cause of traffic accidents. For this reason, it is essential to develop a monitoring system for drivers’ level of fatigue. In recent years, driver fatigue monitoring technology based on machine vision has become a research hotspot, but most research focuses on driver fatigue detection during the day. This paper presents a night monitoring system for real-time fatigue driving detection, which makes up for the deficiencies of fatigue driving detection technology at night. First, we use infrared imaging to capture a driver’s image at night, and then we design an algorithm to detect the driver’s face. Second, we propose a new eye-detection algorithm that combines a Gabor filter with template matching to locate the position of the corners of the eye, and add an eye-validation process to increase the accuracy of the detection rate. Third, we use a spline function to fit the eyelid curve. After extracting eye fatigue features, we use eye blinking parameters to evaluate fatigue. Our system has been tested on the IMM Face Database, which contains more than 200 faces, as well as in a real-time test. The experimental results show that the system has good accuracy and robustness.     

驾驶员疲劳检测系统的研究

为了减少由于驾驶员疲劳驾驶引起的交通事故,提出驾驶员疲劳状态检测系统的方案。使用3×3中值滤波去除噪声和光照对图像的影响,通过对AdaBoost算法的强分类器训练算法改进、级联分类器优化实现人脸的快速检测,在检测到的人脸区域,通过积分灰度投影和从粗到细改进的模板匹配方法对人眼进行准确定位;通过PERCLOS、眼睛闭合时间、眼睛眨眼频率、嘴巴张开程度、头部运动的计算,进行驾驶员疲劳程度的综合判定。实验结果表明,该方法准确率高,兼具了良好的实时性和鲁棒性。     

A method for fatigue detection based on Driver's steering wheel grip

We propose a simple method to measure a driver's fatigue state by detecting the driver's grip force on the steering wheel while driving. We tested the grip force of 36 drivers on the steering wheel in conscious states (Alert) and fatigue states under actual road driving conditions. Using the Stanford sleepiness scale (SSS), we divided drivers into Alert Group A, fatigue Group A, and fatigue Group B. During 20-min real-road driving trials, we measured the steering wheel grip force, electroencephalogram index (R = (α + θ)/β), and blink frequency of each driver synchronously. We found that ΔF, the difference between the maximum/minimum grip force and the standard deviation of the grip force, σF, for each driver, strongly correlated with the driver's fatigue state. In the fatigue state, both ΔF and σF increased significantly. We examined these force indices using analysis of variance (ANOVA) and validated them against the R-value, blink frequency, and the driver's self-reported fatigue state. Using the grip force in fatigue detection, our method can achieve an overall recognition rate of 86.6% and an individual recognition rate of 88.3%. These results indicate that this method can effectively detect a driver's fatigue state during actual road driving. This new method has several advantages, such as a high signal-to-noise ratio, simple data collection, and no influence on daily driving. Thus, our proposed method may provide a theoretical foundation for the development of fatigue-detecting steering wheels