基于全方位视觉传感器的驾驶疲劳视频检测装置的设计

针对驾驶疲劳问题,设计了一种基于全方位视觉传感器的驾驶疲劳视频检测装置;首先使用全方位视觉传感器采集到驾驶员脸部、方向盘和道路环境的视频信息,接着采用图像识别手段检测各种能反应驾驶员疲劳的因素,如驾驶员的感知疲劳、判断疲劳和动作疲劳,最后根据以上所检测到的信息综合判断驾驶员是否处于驾驶疲劳状态;实验结果表明,该检测装置能有效地减少驾驶疲劳的漏判率和误判率。     

基于驾驶员面部时序数据的疲劳驾驶检测算法

针对传统疲劳驾驶检测方法识别准确率低、泛化能力差的问题,提出了一种基于CNNs和LSTM的端到端可训练网络,检测驾驶员的疲劳状态。根据驾驶员面部特征点提取ROI,将在其他计算机视觉任务上表现较好的深度网络迁移到疲劳检测任务中,并结合LSTM处理时序数据的能力,提出一种新的疲劳检测网络,该网络能够读入视频流中的时序数据并检测出驾驶员的疲劳状态。实验证明所提方法和模型在公开数据集中具有较高的识别准确率,并且在不同的数据集间具有很好的泛化能力,对于减少路面车祸、保障人身安全具有很重要的意义。     

基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

目的 疲劳驾驶是引发车辆交通事故的主要原因之一,针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题,提出了一种基于自商图—梯度图共生矩阵的驾驶员眼部疲劳检测方法。方法 利用以残差网络（residual network,ResNet）为前置网络的SSD（single shot multibox detector）人脸检测器来获取视频中的有效人脸区域,并通过人脸关键点检测算法分割出眼睛局部区域图像;建立驾驶员眼部的自商图与梯度图共生矩阵模型,分析共生矩阵的数字统计特征,选取效果较好的特征用以判定人眼的开闭状态;结合眼睛闭合时间百分比（percentage of eyelid closure,PERCLOS）与最长闭眼持续时间（maximum closing duration,MCD）两个疲劳指标来判别驾驶员的疲劳状态。结果 在六自由度汽车性能虚拟仿真实验平台上模拟汽车驾驶,采集并分析驾驶员面部视频,本文方法能够有效识别驾驶员面部遮挡时眼睛的开闭状态,准确率高达99.12%,面部未遮挡时的识别精度为98.73%,算法处理视频的速度约为32帧/s。对比方法1采用方向梯度直方图特征与支持向量机分类器相结合的人脸检测算法,并以眼睛纵横比判定开闭眼状态,在面部遮挡时识别较弱;以卷积神经网络（convolutional neural network,CNN）判别眼睛状态的对比方法2虽然在面部遮挡情况下的准确率高达98.02%,但眨眼检测准确率效果不佳。结论 基于自商图—梯度图共生矩阵的疲劳检测方法能够有效识别面部遮挡时眼睛的开闭情况和驾驶员的疲劳状态,具有较快的检测速度与较高的准确率。     

基于级联宽度学习的疲劳驾驶检测

为减少因疲劳驾驶引发的交通事故,提出融合多参数的驾驶员疲劳检测算法。用渐进校准网络(PCN)检测人脸图像,通过基于CNN的回归模型定位人脸关键点;根据关键点坐标和面部器官的分布规律提取眼睛和嘴部图像,用宽度学习系统(BLS)分别识别眼睛与嘴巴的状态;将眼睛、嘴巴和头部状态的时序序列送入二级宽度网络对司机的状态进行判别。实验结果表明,该算法的疲劳检测准确率为94.9%,单帧检测时间52.43ms。     

基于轮廓关键点和LSTM的摔倒检测方法

针对传统人体摔倒检测方法误检率高、无法有效结合时序特征等问题,提出一种新的人体轮廓关键点提取方法,并将该方法和LSTM网络相结合构建一种新的摔倒检测模型。该模型对视频中的人体进行轮廓检测,选取轮廓关键点坐标和质心坐标作为人体特征;使用LSTM对人体特征序列进行时序特征提取;用全连接层实现分类。在公开数据集上进行实验,结果表明该模型具有较高的准确率和良好的泛化性。     

基于DSP的疲劳驾驶预警系统的设计

本文描述了一个基于TI公司高速图像处理芯片TMS320DM642的疲劳检测预警系统,用以判定驾驶员的疲劳程度,降低交通事故.本系统采用非接触方法,先通过CCD摄像头拍下驾驶员的面部图像序列,然后检测出脸部,从而定位眼睛,再利用PERCLOS判定疲劳状态.本系统还结合免费的开源计算机视觉库OpenCV来加快开发速度和降低开发成本.     

基于多面部特征融合的驾驶员疲劳检测算法

本文将卷积神经网络（Convolutional Neural Network,CNN）应用到视频理解中,提出一种基于多面部特征融合的驾驶员疲劳检测算法.本文使用多任务级联卷积网络（Multi-Task Cascaded Convolutional Networks,MTCNN）定位驾驶员的嘴部、左眼,使用CNN从驾驶员嘴部、左眼图像中提取静态特征,结合CNN从嘴部、左眼光流图中提取动态特征进行训练分类.实验结果表明,该算法比只使用静态图像进行驾驶员疲劳检测效果更好,准确率达到87.4%,而且可以很好地区别在静态图像中很相似的打哈欠和讲话动作.     

基于TMS320DM643的驾驶员疲劳检测系统的实现

以德州仪器（TI）推出的多媒体图像处理器TMS320DM643作为核心单元,设计了一个单通道的视频采集分析存储系统。基于此系统提出了将PERCLOS测量方法在DSP上实现的方法,并给出了程序流程。设计此系统的目的是为了减少因疲劳驾驶而产生的交通事故的发生率。实验得出,文中提出的方法克服了传统的驾驶员疲劳检测系统需要在驾驶员身上安装测量装置或者需要驾驶员周期性重复某项动作的弊端。该系统疲劳检测准确率较高．可用于火车、长途客货车驾驶员防瞌睡,降低交通事故发生率。     

类别敏感的全局时序关联视频动作检测

目的 视频动作检测是视频理解领域的重要问题,该任务旨在定位视频中动作片段的起止时刻并预测动作类别。动作检测的关键环节包括动作模式的识别和视频内部时序关联的建立。目前主流方法往往试图设计一种普适的检测算法以定位所有类别的动作,忽略了不同类别间动作模式的巨大差异,限制了检测精度。此外,视频内部时序关联的建立对于检测精度至关重要,图卷积常用于全局时序建模,但其计算量较大。针对当前方法的不足,本文提出动作片段的逐类检测方法,并借助门控循环单元以较低的计算代价有效建立了视频内部的全局时序关联。方法 动作模式识别方面,首先对视频动作进行粗略分类,然后借助多分支的逐类检测机制对每类动作进行针对性检测,通过识别视频局部特征的边界模式来定位动作边界,通过识别动作模式来评估锚框包含完整动作的概率;时序建模方面,构建了一个简洁有效的时序关联模块,利用门控循环单元建立了当前时刻与过去、未来时刻间的全局时序关联。上述创新点整合为类别敏感的全局时序关联视频动作检测方法。结果 为验证本文方法的有效性,使用多种视频特征在两个公开数据集上进行实验,并与其他先进方法进行比较。在ActivityNet-1.3数据集中,该方...     

基于深度学习和面部多特征融合的驾驶员疲劳检测研究

驾驶员疲劳驾驶是造成交通事故的重要原因之一。本文提出了基于深度学习和面部多特征融合的驾驶员疲劳检测研究方法。首先采用多任务级联卷积神经网络MTCNN（Multi-task convolutional neural network)结构进行面部检测和特征点定位,并利用Dlib工具包中的面部68个地标,提取驾驶员面部的特征参数;其次,基于眼睛纵横比（EAR）,眼睛闭合百分比（PECLORS）和嘴巴高宽比（ MAR）的值按不同的权值相加得到参数M,在一定时间内累加M>0.605的帧数判断驾驶员疲劳的程度。最后,试验结果表明：本方法能够有效地利用视频图像实时检测驾驶员疲劳状态,其准确率和灵敏度分别为93.1%和90.2%,对于保护驾驶员及车辆行驶安全具有重大意义。     

A method for fatigue detection based on Driver's steering wheel grip

We propose a simple method to measure a driver's fatigue state by detecting the driver's grip force on the steering wheel while driving. We tested the grip force of 36 drivers on the steering wheel in conscious states (Alert) and fatigue states under actual road driving conditions. Using the Stanford sleepiness scale (SSS), we divided drivers into Alert Group A, fatigue Group A, and fatigue Group B. During 20-min real-road driving trials, we measured the steering wheel grip force, electroencephalogram index (R = (α + θ)/β), and blink frequency of each driver synchronously. We found that ΔF, the difference between the maximum/minimum grip force and the standard deviation of the grip force, σF, for each driver, strongly correlated with the driver's fatigue state. In the fatigue state, both ΔF and σF increased significantly. We examined these force indices using analysis of variance (ANOVA) and validated them against the R-value, blink frequency, and the driver's self-reported fatigue state. Using the grip force in fatigue detection, our method can achieve an overall recognition rate of 86.6% and an individual recognition rate of 88.3%. These results indicate that this method can effectively detect a driver's fatigue state during actual road driving. This new method has several advantages, such as a high signal-to-noise ratio, simple data collection, and no influence on daily driving. Thus, our proposed method may provide a theoretical foundation for the development of fatigue-detecting steering wheels     

基于深度学习的疲劳驾驶检测算法

针对现有疲劳驾驶检测算法实用性差或准确率低的问题,本文提出了一种基于深度学习的疲劳驾驶检测算法.首先,使用HOG （Histogram of Oriented Gradient）特征算子检测人脸的存在;其次,利用特征点模型实现人脸的对齐,同时实现眼睛、嘴巴区域的分割;最后通过深度卷积神经网络提取驾驶员的眼部疲劳特征,并融合驾驶员嘴部的疲劳特征进行疲劳预警.大量的实验表明,该方法在疲劳驾驶检测的准确率、实时性等方面都取得明显的性能提升.     

基于高斯眼白模型的疲劳驾驶检测

目的 为解决疲劳驾驶检测中人眼状态识别的难点,提出一种基于眼白分割的疲劳检测方法。方法 首先对获取图像进行人脸检测,利用眼白在Cb-Cr上良好的聚类性,基于YCbCr颜色空间建立高斯眼白分割模型;然后在人脸区域图像内做眼白分割,计算眼白面积;最后将眼白面积作为人眼开度指标,结合PERCLOS（percentage of eyelid closure over the pupil over time）判定人的疲劳状态。结果 选取10个短视频进行采帧分析,实验结果表明,高斯眼白分割模型能有效分离眼白,并识别人眼开合状态,准确率可达96.77%。结论 在良好光线条件下,本文方法能取得不错的分割效果;本文所提出的以眼白面积作为判定人眼开度的指标,能准确地判定人的疲劳状态。实验结果证明了该方法的有效性,值得今后做更深入的研究。     

基于模糊综合评价的疲劳驾驶检测算法研究

疲劳驾驶是引发交通事故的一个主要原因，对驾驶员疲劳驾驶做出准确、有效的检测和预防，具有重要的社会意义.在研究比较了前人工作的基础上，设计了一种基于机器视觉，图像处理的驾驶员疲劳检测机制.首先将传来的连续帧图像（视频）利用Adaboost算法进行人脸检测，根据人脸"三庭五眼"的分布特征分割出大致的人眼区域.在人眼定位过程中，采用OSTU阈值分割，非线性点运算和积分投影等预处理消除眉毛，并利用模糊综合评价算法对眼睛矩形区域的长宽比、拟合椭圆面积、瞳孔黑色素所占比例这3个影响因子进行分析，判别出眼睛的睁开闭合状态.最后根据PERCLOS原理对驾驶员的疲劳状态做出检测.实验结果表明，所提算法能够准确地判别出眼睛的睁闭状态及对驾驶员的疲劳状态的检测，具有较高的准确性和实用性.     

级联型P-RBM神经网络的人脸检测

目的 针对非理想条件下快速准确的人脸检测问题,提出一种基于概率态多层受限玻尔兹曼机(RBM)级联神经网络的检测方法。方法 它采用RBM中神经元的概率态表征来模拟人脑神经元连续分布的激活状态,并且利用多层P-RBM(概率态RBM)级联来仿真人脑对视觉的层次学习模式,又以逐层递减隐藏层神经元数来控制网络规模,最后采用分层训练和整体优化的机制来缓解鲁棒性和准确性的矛盾。结果 在LFW、FERET、PKU-SVD-B以及CAS-PEAL数据集上的测试都实现了优于现有典型算法的检测性能。对于单人脸检测,相比于Adaboost算法,将漏检率降低了2.92%;对于多人脸检测,相比于结合肤色的Adaboost算法,将误检率降低了14.9%,同时漏检率降低了5.0%,检测时间降低了50%。结论 无论是静态单张人脸,还是复杂条件下视频多人脸检测,该方法不仅在误检率和漏检率上表现更好,而且具有较快的检测速度,同时对于旋转人脸检测具有较强的鲁棒性。针对基于肤色的多人脸检测研究,该方法能显著降低误检率。     

非合作面部晃动情况下的心率检测

目的 心率是直接反映人体健康的重要指标之一,基于视频的非接触式心率检测在医疗健康领域具有广泛的应用前景。然而,现有的基于视频的方法不适用于复杂的现实场景,主要原因是没有考虑视频中目标晃动干扰和空间尺度特征,使得血液容积脉冲信号提取不准确,检测精度不尽人意。为了克服以上缺陷,提出一种抗人脸晃动干扰的非接触式心率检测方法。方法 本文方法主要包含3个步骤：首先,针对目标晃动干扰人脸区域选择的问题,利用判别响应图拟合检测参考图像的人脸区域及主要器官特征点,在人脸跟踪时首次引入倾斜校正思想,输出晃动干扰抑制后的人脸视频;然后,结合空间尺度的差异,采用颜色放大方法对晃动干扰抑制后的人脸视频进行时空处理,提取干净的血液容积脉冲信号;最后,考虑到小样本问题,通过傅里叶系数迭代插值的频域分析方法估计心率。结果 在人脸静止的合作情况以及人脸晃动的非合作情况下采集视频,对心率检测结果进行定量分析,本文方法在两种情况下的准确率分别为97.84%和97.30%,与经典和最新的方法相比,合作情况准确率提升大于1%,非合作情况准确率提升大于7%,表现了出色的性能。结论 提出了一种基于人脸视频处理的心率检测方法,通过有效分析人脸的晃动干扰和尺度特性,提取到干净的血液容积脉冲信号,提高了心率检测的精度和鲁棒性。     

语义关系引导的面部动作单元分析

面部动作单元分析旨在识别人脸图像每个面部动作单元的状态,可以应用于测谎,自动驾驶和智能医疗等场景.近年来,随着深度学习在计算机视觉领域的普及,面部动作单元分析逐渐成为人们关注的热点.面部动作单元分析可以分为面部动作单元检测和面部动作单元强度预测两个不同的任务,然而现有的主流算法通常只针对其中一个问题.更重要的是,这些方法通常只专注于设计更复杂的特征提取模型,却忽略了面部动作单元之间的语义相关性.面部动作单元之间往往存在着很强的相互关系,有效利用这些语义知识进行学习和推理是面部动作单元分析任务的关键.因此,通过分析不同人脸面部行为中面部动作单元之间的共生性和互斥性构建了基于面部动作单元关系的知识图谱,并基于此提出基于语义关系的表征学习算法（semantic relationship embedded representation learning,SRERL）.在现有公开的面部动作单元检测数据集（BP4D、DISFA）和面部动作单元强度预测数据集（FERA2015、DISFA）上,SRERL算法均超越现有最优的算法.更进一步地,在BP4D+数据集上进行泛化性能测试和在BP4D数据集上进行遮挡测试,同样取得当前最优的性能.