基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

目的 疲劳驾驶是引发车辆交通事故的主要原因之一,针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题,提出了一种基于自商图—梯度图共生矩阵的驾驶员眼部疲劳检测方法。方法 利用以残差网络（residual network,ResNet）为前置网络的SSD（single shot multibox detector）人脸检测器来获取视频中的有效人脸区域,并通过人脸关键点检测算法分割出眼睛局部区域图像;建立驾驶员眼部的自商图与梯度图共生矩阵模型,分析共生矩阵的数字统计特征,选取效果较好的特征用以判定人眼的开闭状态;结合眼睛闭合时间百分比（percentage of eyelid closure,PERCLOS）与最长闭眼持续时间（maximum closing duration,MCD）两个疲劳指标来判别驾驶员的疲劳状态。结果 在六自由度汽车性能虚拟仿真实验平台上模拟汽车驾驶,采集并分析驾驶员面部视频,本文方法能够有效识别驾驶员面部遮挡时眼睛的开闭状态,准确率高达99.12%,面部未遮挡时的识别精度为98.73%,算法处理视频的速度约为32帧/s。对比方法1采用方向梯度直方图特征与支持向量机分类器相结合的人脸检测算法,并以眼睛纵横比判定开闭眼状态,在面部遮挡时识别较弱;以卷积神经网络（convolutional neural network,CNN）判别眼睛状态的对比方法2虽然在面部遮挡情况下的准确率高达98.02%,但眨眼检测准确率效果不佳。结论 基于自商图—梯度图共生矩阵的疲劳检测方法能够有效识别面部遮挡时眼睛的开闭情况和驾驶员的疲劳状态,具有较快的检测速度与较高的准确率。     

基于有限状态自动机的人眼开度PERCLOS实现算法

针对驾驶员驾驶过程中因疲劳引起的眼睛开度变化问题, 在原有PERCLOS(percentage of eyelid closure over the pupil over time)标准的基础上, 提出了一种基于有限状态自动机的人眼开度PERCLOS计算方法, 并将其应用到疲劳驾驶预警系统中。该系统首先采用红外摄像头实时获取驾驶员的脸部视频图像, 使用ASM(active shape models)算法进行人脸检测, 在定位到的人脸范围内搜索人眼区域并计算人眼开度, 为了避免人与摄像头距离变化影响计算结果, 对人眼开度进行归一化处理; 然后依据建立的有限状态自动机模型计算PERCLOS值; 最后根据制定的预警机制实现基于人眼开度的疲劳预警。实验结果表明本方法能够实时监测驾驶员疲劳状况, 具有对光照变化、脸部配饰不敏感的特点。     

结合肤色分割与平滑的人脸图像快速美化

目的 针对目前人脸图像美化算法存在的对于细节丰富的眼睛和头发等区域处理过度平滑,美化后的图像整体美化效果较差等问题,提出一种基于肤色分割与平滑人脸图像的美化方法。方法 首先对脸部瑕疵特性,用双指数边缘保护滤波器平滑人脸图像的瑕疵,与此同时很好保持图像边缘信息;再通过利用色度直方图自适应快速检测、修正、分割肤色区域;然后利用拟合高斯羽化皮肤区域生成蒙版,融合平滑图像和原图像,保留图像头发背景等细节信息;最后基于人像美感标准,对皮肤亮度通过拟合log曲线实现快速自适应调整人脸图像亮度,增强眼睛等细节,从而快速实现人脸图像美化方法。结果 通过与其他人像美化算法相比较,在保留边缘方面,该算法更有效地对皮肤边缘上的瑕疵进行平滑,达到更好地美化人脸图像;而在时间复杂度方面,相对于前人的算法,计算速度快12倍,实现快速美化人脸图像。结论 该算法适应能力较强,对大部分人脸图像的脸部瑕疵完美去除的同时达到背景信息不变,肤色美白自然,使整体美化效果显著;尤其是细节丰富的边缘区域平滑适度,具有一定的实用性。     

卷积神经网络的人脸隐私保护识别

目的 近年来，随着人脸识别认证技术的发展及逐渐普及，大量人脸照片存放在第三方服务器上的现象十分普遍，如何对人脸进行隐私保护这个问题变得十分突出。方法 首先对人脸图像进行预处理，然后采用Arnold变换对人脸关键部位进行分块随机置乱，并将置乱结果图输入到深度卷积神经网络中。为了解决人脸照片在分块置乱时由于本身拍照角度的原因导致的分块不均等因素，在预处理时根据人眼进行特性点定位，再据此进行对齐处理，使得预处理后的照片人眼处于同一水平线。针对人脸隐私保护及加扰置乱后图像的识别，本文提出了基于分块随机加扰的深度卷积神经网络模型。不包含附加层，该模型网络结构由4个卷积层、3个池化层、1个全连接层和1个softmax回归层组成。服务器端通过深度神经网络模型直接对置乱后人脸图像进行验证识别。结果 该算法使服务器端全程不存储原始人脸模板，实现了对原始人脸图像的有效加扰保护。实验采用该T深度卷积神经网络对处理过后的ORL人脸库进行识别，最终识别准确率达到97.62%。同时通过多组对比实验，验证了本文方法的有效性。结论 与其他文献中手工提取特征并利用决策树和随机森林进行训练识别的方法相比，本文方法减少了人工提取特征的工作量，且具有高识别率。     

彩色序列图像的人脸分割与识别技术研究

为了构造一个精度高、处理快速的人脸检测系统,本文结合颜色信息和人脸构造特征,提出了一种从序列图像中实现人脸分割与识别的新方法.该方法基于混合高斯模型与贝叶斯判别技术,分两步实现,即运动目标分割和人脸特征识别.首先,通过建立自适应的混合高斯模型,对背景图像建模,分割出前景运动人体区域;然后采用贝叶斯判别法对人脸区域进行识别.实验结果显示,该方法具有很高的检测精度和较低的漏警率,具有良好的实用价值和工程应用前景.     

深度全卷积网络的IVUS图像内膜与中—外膜边界检测

目的 心血管内超声（IVUS）图像内膜和中—外膜（MA）轮廓勾画是冠脉粥样硬化和易损斑块定量评估的必要过程。由于存在斑点噪声、图像伪影和各类斑块,重要组织边界的自动分割是一个非常困难的任务。为此,提出一种用于检测20 MHz心电门控IVUS图像内膜和MA边界方法。方法 首先利用深度全卷积网络（DFCN）学习原始IVUS图像与所对应手动分割图像之间映射,预测出目标或者背景的概率图,实现医学图像语义分割。然后在此基础上,结合心血管先验形状信息,采用数学形态学闭、开操作,平滑内膜和MA边界,降低分割过程中错误分类像素或区域的影响。结果 针对来自10位病人的IVUS图像及其标注信息所组成的435幅国际标准公开数据集,从线性回归、Bland-Altman分析和面积交并比（JM）、面积差异百分比（PAD）、Hausdorff距离（HD）、平均距离（AD）等性能指标上,评价本文方法。实验结果表明,算法检测结果与手动勾画结果的相关性可达到0.94,其超过94.71%的结果落在95%置信区域内,具有良好一致性。内膜和MA边界的AD指标分别为：0.07 mm和0.08 mm;HD指标分别为：0.21 mm和0.30 mm。JM指标分别为0.92和0.93;PAD指标分别为5%和4%。此外,对临床所采集的100幅IVUS图像进行了测试,证明本文学习的模型在跨数据集上具有较好的泛化能力。结论 与现有的国际算法比较,本文方法提高了各类斑块、声影区域和血管分支等因素的识别能力,不受超声斑点的影响,能准确地、可重复地检测出IVUS图像中的关键目标边界。     

TransAS-UNet：融合Swin Transformer和UNet的乳腺癌区域分割

目的 乳腺癌在女性中是致病严重且发病率较高的疾病,早期乳腺癌症检测是全世界需要解决的重要难题。如今乳腺癌的诊断方法有临床检查、影像学检查和组织病理学检查。在影像学检查中常用的方式是X光、CT （computed tomography）、磁共振等,其中乳房X光片已用于检测早期癌症,然而从本地乳房X线照片中手动分割肿块是一项非常耗时且容易出错的任务。因此,需要一个集成的计算机辅助诊断（computer aided diagnosis,CAD）系统来帮助放射科医生进行自动和精确的乳房肿块识别。方法 基于深度学习图像分割框架,对比了不同图像分割模型,同时在UNet结构上采用了Swin架构来代替分割任务中的下采样和上采样过程,实现局部和全局特征的交互。利用Transformer来获取更多的全局信息和不同层次特征来取代短连接,实现多尺度特征融合,从而精准分割。在分割模型阶段也采用了Multi-Attention ResNet分类网络对癌症区域的等级识别,更好地对乳腺癌进行诊断医疗。结果 本文模型在乳腺癌X光数据集INbreast上实现肿块的准确分割,IoU （intersection over union）值达到95.58%,Dice系数为93.45%,与其他的分割模型相比提高了4%~6%,将得到的二值化分割图像进行四分类,Accuracy值达到95.24%。结论 本文提出的TransAS-UNet图像分割方法具有良好的性能和临床意义,该方法优于对比的二维图像医学分割方法。     

复杂背景下人眼自动定位

针对复杂背景下静态人脸灰度图像，提出一种人眼自动定位方法。首先基于人脸几何特征先验知识，建立人眼位置的判定准则，对分割阈值范围进行粗估计；然后采用分割阈值递增法，并结合人眼位置判定准则，判定分割图像中双眼黑块是否出现；最后利用二维相关系数作为对称相似性测度，检验检测出的双眼黑块的真实性。     

结合深度度量学习的血缘关系识别

目的 人脸图像分析是计算机视觉和模式识别领域的重要研究方向之一,基于人脸图像的血缘关系识别是对给定的一对或一组人脸图像,判断其是否存在某种血缘关系。人脸血缘关系识别不仅在生物特征识别领域有着重要研究价值,而且在社交媒体挖掘、失散家庭成员寻找等社会生活领域中有重要的应用价值。针对当前大多数算法都是基于传统机器学习方法,提出一种采用深度度量学习进行人脸图像血缘关系研究的新方法。方法 目前深度学习算法能很好地理解单张人脸图像,但是多个主体间的关系探究仍然是计算机视觉领域富有挑战性的问题之一。为此,提出一种基于深度度量学习的父母与子女的血缘关系识别方法。首先使用超过5 000 000张人脸图像的样本集训练一个深度卷积神经网络FaceCNN并提取父母与子女的人脸图像深度特征,之后引入判别性度量学习方法,使得具有血缘关系的特征尽可能地靠近,反之则尽可能地远离。然后对特征进行分层非线性变换使其具有更强判别特性。最后根据余弦相似度分别计算父亲、母亲和孩子的相似度并利用相似概率值得到双亲和孩子的综合相似度得分。结果 算法在TSKinFace数据集上验证了FaceCNN提取特征与深度度量学习结合进行血缘关系识别的有效性,最终在该数据集上父母与儿子和女儿的血缘关系识别准确率分别达到87.71%和89.18%,同时算法在进行血缘度量学习和双亲相似度计算仅需要3.616 s。结论 提出的血缘关系识别方法,充分利用深度学习网络良好的表征和学习能力,不仅耗时少,而且有效地提高了识别准确率。     

精确局部特征描述的表情识别

目的 针对传统局部特征提取方法在表情识别上的局限性,提出一种精确局部特征描述的表情识别方法。方法 首先将人的眉毛、眼睛和嘴巴3个对表情识别起关键作用的器官分割出来,使得特征描述更具有针对性。然后,构造充分矢量三角形以统计图像的轮廓特征与细节特征。最后,对于不同的表情器官采用不同尺度的充分矢量三角形描述,对于同种表情器官采用多种尺度的充分矢量三角形联合描述,从而充分描述关键器官的图像信息。结果 该算法在日本女性表情人脸库(JAFFE)、cohn-kanade库(CK)以及Pain expressions库上进行实验,分别取得了95.67%、97.83%、84.0%的平均识别率以及11.70 ms、30.23 ms、11.73 ms的平均特征提取时间,实验结果表明,精确局部特征描述的表情识别方法可以较快、较准确的进行人脸表情识别。结论 精确局部特征描述的表情识别方法通过器官的分割以及充分矢量三角形模式的构造与灵活运用,良好地表达了图像的局部特征且具有较低的时间复杂度,本文算法与目前典型的表情识别算法的实验对比结果也表明了本文算法的有效性。     

基于模糊综合评价的疲劳驾驶检测算法研究

疲劳驾驶是引发交通事故的一个主要原因，对驾驶员疲劳驾驶做出准确、有效的检测和预防，具有重要的社会意义.在研究比较了前人工作的基础上，设计了一种基于机器视觉，图像处理的驾驶员疲劳检测机制.首先将传来的连续帧图像（视频）利用Adaboost算法进行人脸检测，根据人脸"三庭五眼"的分布特征分割出大致的人眼区域.在人眼定位过程中，采用OSTU阈值分割，非线性点运算和积分投影等预处理消除眉毛，并利用模糊综合评价算法对眼睛矩形区域的长宽比、拟合椭圆面积、瞳孔黑色素所占比例这3个影响因子进行分析，判别出眼睛的睁开闭合状态.最后根据PERCLOS原理对驾驶员的疲劳状态做出检测.实验结果表明，所提算法能够准确地判别出眼睛的睁闭状态及对驾驶员的疲劳状态的检测，具有较高的准确性和实用性.     

基于深度学习的疲劳驾驶检测算法

针对现有疲劳驾驶检测算法实用性差或准确率低的问题,本文提出了一种基于深度学习的疲劳驾驶检测算法.首先,使用HOG （Histogram of Oriented Gradient）特征算子检测人脸的存在;其次,利用特征点模型实现人脸的对齐,同时实现眼睛、嘴巴区域的分割;最后通过深度卷积神经网络提取驾驶员的眼部疲劳特征,并融合驾驶员嘴部的疲劳特征进行疲劳预警.大量的实验表明,该方法在疲劳驾驶检测的准确率、实时性等方面都取得明显的性能提升.     

基于时序性面部动作信息的驾驶员状态检测框架

通过网络摄像头获取驾驶员面部视频输入网络进行检测的方法主要通过分析驾驶员口型等面部表情来判断是否疲劳驾驶,但说话等很多类似的状态也被误检为疲劳。针对以上问题提出了一种基于时序性面部动作信息的检测框架,对驾驶员状态进行检测,从而提高检测准确率、降低误检率。该框架通过检测视频中的脸部轮廓,提取脸部的多种特征,形成面部动作单元;通过训练对应的LSTM网络,形成时序性的面部动作单元,根据其相关性进行多种动作单元融合,检测最终驾驶员的状态。在公共YawDD数据集上的检测结果表明,相比于现有的方法,该检测方法的准确率提高到了93.1%,同时大幅降低了疲劳状态的误检率。     

视频图像中的视觉疲劳实时检测方法研究

提出一种新的适用于驾驶中视觉疲劳实时检测的人脸定位及眼睛状态分析算法。采用差分法快速找到视频图像中的目标运动区域,结合YCbCr色彩空间进行肤色分割定位人脸。对脸部区域进行灰度积分投影并结合Hough变换检测眼睑。对检测到的眼睑进行数据分析,得到眼睛开闭情况,结合眨眼分析,获得EOD值来判断驾驶员是否疲劳。实验结果显示该方法能在复杂背景下快速定位人脸,检测到眼睛睁开时的EOD值,满足视觉疲劳检测的实时需要。     

A method for fatigue detection based on Driver's steering wheel grip

We propose a simple method to measure a driver's fatigue state by detecting the driver's grip force on the steering wheel while driving. We tested the grip force of 36 drivers on the steering wheel in conscious states (Alert) and fatigue states under actual road driving conditions. Using the Stanford sleepiness scale (SSS), we divided drivers into Alert Group A, fatigue Group A, and fatigue Group B. During 20-min real-road driving trials, we measured the steering wheel grip force, electroencephalogram index (R = (α + θ)/β), and blink frequency of each driver synchronously. We found that ΔF, the difference between the maximum/minimum grip force and the standard deviation of the grip force, σF, for each driver, strongly correlated with the driver's fatigue state. In the fatigue state, both ΔF and σF increased significantly. We examined these force indices using analysis of variance (ANOVA) and validated them against the R-value, blink frequency, and the driver's self-reported fatigue state. Using the grip force in fatigue detection, our method can achieve an overall recognition rate of 86.6% and an individual recognition rate of 88.3%. These results indicate that this method can effectively detect a driver's fatigue state during actual road driving. This new method has several advantages, such as a high signal-to-noise ratio, simple data collection, and no influence on daily driving. Thus, our proposed method may provide a theoretical foundation for the development of fatigue-detecting steering wheels     

驾驶员疲劳驾驶中的眼睛定位创新算法

通过人眼图像来检测驾驶员疲劳驾驶是目前的主流方向,面部及眼睛定位是其中关键的环节。提出了一种新颖的精确定位眼睛的方法。该方法由两部分组成：第一部分,通过肤色聚类分割算法将人脸区域分割,对分割图进行几何过滤,对得到的候选人脸区域中的孔洞计算质心点找到可能的人眼对;第二部分,在检测到人脸区域和眼睛大致位置的基础上,结合提出的眼睛模型,采用新的Hough变换椭圆检测算法精确定位人眼的位置。实验证明所提出的算法是快速可靠的。     

一种基于视觉的PERCLOS特征提取方法

PERCLOS是有效地检测驾驶员瞌睡的特征.本文在前人研究的基础上,提出了一种快速、有效的计算眼睛睁开程度的检测算法.针对车内光线会有变化的特点,对肤色滤波之后的人脸灰度图像通过累计直方图阈值法进行二值化,很好地将面部五官从肤色中分离出来.最后利用连通域搜索算法得到双眼睁开的大小,并最终提取到PERCLOS.     

自然光普通摄像头的眼部分割及特征点定位数据集ESLD

目的 眼部状态的变化可以作为反映用户真实心理状态及情感变化的依据。由于眼部区域面积较小,瞳孔与虹膜颜色接近,在自然光下利用普通摄像头捕捉瞳孔大小以及位置的变化信息是当前一项具有较大挑战的任务。同时,与现实应用环境类似的具有精细定位和分割信息的眼部结构数据集的欠缺也是制约该领域研究发展的原因之一。针对以上问题,本文利用在普通摄像头场景下采集眼部图像数据,捕捉瞳孔的变化信息并建立了一个眼部图像分割及特征点定位数据集(eye segment and landmark detection dataset,ESLD)。方法 收集、标注并公开发布一个包含多种眼部类型的图像数据集ESLD。采用3种方式采集图像：1)采集用户使用电脑时的面部图像;2)收集已经公开的数据集中满足在自然光下使用普通摄像机条件时采集到的面部图像;3)基于公开软件UnityEye合成的眼部图像。3种采集方式可分别得到1 386幅、804幅和1 600幅眼部图像。得到原始图像后,在原始图像中分割出眼部区域,将不同尺寸的眼部图像归一化为256×128像素。最后对眼部图像的特征点进行人工标记和眼部结构分割。结果 ESLD数据集包含多种类型的眼部图像,可满足研究人员的不同需求。因为实际采集和从公开数据集中获取真实眼部图像十分困难,所以本文利用UnityEye生成眼部图像以改善训练数据量少的问题。实验结果表明,合成的眼部图像可以有效地弥补数据量缺少的问题,F1值可达0.551。利用深度学习方法分别提供了眼部特征点定位和眼部结构分割任务的基线。采用ResNet101作为特征提取网络情况下,眼部特征点定位的误差为5.828,眼部结构分割的mAP (mean average precision)可达0.965。结论 ESLD数据集可为研究人员通过眼部图像研究用户情感变化以及心理状态提供数据支持。     

基于边缘计算的疲劳驾驶检测方法

现有疲劳驾驶检测方法通常将驾驶过程中采集的数据传输至云端进行分析,然而在车辆移动过程中网络覆盖范围、响应速度等因素会造成检测实时性差。为在车载嵌入式设备上对驾驶人疲劳状态进行准确预警,提出一种基于边缘计算的疲劳驾驶检测方法。通过改进的多任务卷积神经网络确定人脸区域,根据人脸的面部比例关系定位驾驶人的眼部与嘴部区域,利用基于Ghost模块的轻量化AlexNet分类检测眼部与嘴部的开闭状态,并结合PERCLOS和PMOT指标值实现疲劳检测。在NHTU-DDD数据集上的实验结果表明,该方法在树莓派4B开发板上的检测准确率达到93.5%且单帧平均检测时间为180 ms,在保障检测准确率的同时大幅降低了计算量,能较好地满足疲劳驾驶的实时检测需求。