基于MTCNN的多特征融合学生疲劳检测算法研究

目前疲劳检测主要是通过眼部PERCLOS值来判断,但是这种方法检测疲劳特征较为单一,影响了检测的准确率.本文提出一种基于卷积神经网络的多特征融合学生疲劳检测算法,首先用MTCNN对人脸进行关键点定位,在此基础上用人脸归一化的方式精准提取眼睛和嘴部的特征图像并进行眼部定位;其次,构建眼、嘴数据集,完成眼、嘴部状态分类模型训练;最后,用训练好的模型将眼、嘴部的疲劳特征相融合并根据改良的MAR值判断方法进行疲劳检测.实验结果表明该方法的准确率达到了96.2％,实时性也得到了极大的改善.     

基于视频分析的学生网课疲劳检测方法

为了更好地提高学生在远程教育中的学习效率,避免学生出现走神瞌睡等情况,文中提出了一种基于视频分析的学生眼睛疲劳状态的检测方法.该方法的原理是将疲劳检测视为基于图像的序列识别.首先采用深度级联的多任务框架从视频中提取人眼区域;然后通过深层卷积学习空间特征,并通过长-短期记忆单元分析相邻帧之间的关系;最后,对学生状态进行序...     

基于人眼状态信息的非接触式疲劳驾驶监测与预警系统

疲劳驾驶预警系统对保障驾驶员的安全驾驶具有十分重要的作用。以驾驶员人眼图像信息处理为基础,建立了离散单位时间内非正常状态时间所占百分比疲劳判断模型,实现了对驾驶员疲劳状态的监控与预警。通过近红外光源对人眼主动照明,采用互补金属氧化物半导体摄像头实现对人眼图像信息的采集,基于Adaboost算法实现人眼准确定位,利用Harris强角点检测人眼中心区域,得到眼睛的视线状态信息,根据疲劳判断模型,设计可调的预警阈值,实现驾驶员疲劳状态的分级预警。实验结果表明:在一定条件下,系统判断响应时间为1.5 s,虚警率为4%,具有抗干扰性强和实时性好等特点。     

基于人眼特征的驾驶员疲劳检测方法分析

驾驶员的疲劳驾驶是交通事故的主要原因之一,是一个重大的社会问题。人眼特征的识别是驾驶员疲劳状态识别中的关键,要判断驾驶员是否处于疲劳驾驶,首先需要判断其眼睛的状态,即眼睛的睁闭情况。本文对基于人眼特征识别的驾驶员疲劳检测技术进行了分析和讨论。     

基于多形态红外特征与深度学习的实时驾驶员疲劳检测

疲劳驾驶是导致车祸的重要诱因，严重危害道路交通安全，而车辆行驶过程中的光照条件变化、驾驶员姿态调整和眼镜遮挡等因素将对疲劳检测任务产生不利的影响。针对以上问题，提出了基于深度学习的驾驶员疲劳检测算法。首先，使用850nm红外光源补光，在复杂光照和遮挡形态下采集驾驶员的面部图像；其次，利用红外图像中的多种特征，通过级联CNN确定人脸边框和特征点位置，提取眼睛区域并识别眼睛的睁闭状态；最后，将眼睛状态识别结果和连续图像中的特征点坐标差值输出至LSTM网络，检测驾驶员疲劳状态。实验结果表明:该疲劳检测算法的准确率可达94.48%，平均检测时间为65.64ms。     

卷积神经网络在脑疲劳检测中的研究

脑疲劳是由于持续进行脑力劳动导致的一种状态，脑电被认为是脑疲劳状态检测的最佳工具。如何选取合适的脑疲劳特征成为脑疲劳检测的关键问题，传统模式识别中手动提取特征会产生信息损失，针对脑电的时空特性，本文设计了具有时域卷积核、空间域卷积核的深层卷积神经网络和浅层卷积神经网络两种网络结构，将特征提取和状态分类合二为一，对正常态与疲劳态脑电数据进行分类，可视化了卷积神经网络的空间域卷积核。结果表明，浅层卷积神经网络平均分类正确率为98.868%，深层卷积神经网络平均分类正确率为98.217%，均高于传统分类方法，通过空间域卷积核的可视化，能够了解不同导联在网络中的参与程度，验证了该模型在脑疲劳检测任务中具有很高的有效性，同时为脑疲劳检测提供了新思路。      

基于红外差分图像的驾驶员疲劳检测系统

通过对各种疲劳检测方法进行比较分析,提出了一套基于PERCLOS的驾驶员疲劳检测系统总体设计方案。该系统采集图像使用红外光源,利用人眼对两种波长(850nm/950nm)红外光线的反射率的明显差异,应用图像差分的方法,采用直方图均衡化、二值化、膨胀、腐蚀等图像分析手段,同时利用Kalman(卡尔曼)滤波器对眼部位置进行跟踪预测,实现准确定位、跟踪并识别出驾驶员眼睛的睁开和闭合过程,通过分析眼睛闭合时间来判断疲劳程度。     

基于嵌入式平台人眼疲劳检测终端的设计与实现

设计并实现一套基于Android平台的人眼疲劳检测终端。从摄像头中获取驾驶员的脸部图像数据,快速识别并定位到人脸部。再进行人眼部的定位,利用最大类间法Otsu对人眼进行目标提取以及Robert Cross边缘检测获得人眼的轮廓,从而进行人眼状态分析;利用PERCLOS原理进行疲劳的状态判断,并且借助开源视觉库Android-Open CV提高了系统的开发效率。在室内环境的实验结果表明该终端的表现良好。     

基于多尺度信息处理和Gabor初始化的图像显著性对象检测

基于全卷积网络的图像显著性检测获得了广泛的关 注,并取得了令人瞩目的检测性能 。然而,该类型神经网络依然存在许多问题,如高复杂网络导致难以训练、显著性对象边缘 结果不准确等。针对这些问题,本文提出基于Gabor初始化的卷积神经网络。该网络主要特 点包括:1) 利用Gabor特征初始化卷积神经网络,提高神经网络训练效率; 2) 构建多尺 度 桥接模块,有效衔接编码和解码阶段,进而提高显著性检测结果; 3) 提出加权交叉熵损失 函数,提高训练效果。实验结果表明,本文提出的神经网络在三个不同的数据集上均显示出 优异的显著性对象检测性能。     

联合特征增强和锚点自动生成的遥感图像高精度目标检测

目标检测是遥感图像处理领域中一项重要而具有挑战性的任务,针对遥感图像中目标尺度差异较大以及方向分布随机等导致的遥感图像多尺度目标检测精度较低问题,本文提出一种基于特征增强和锚点框自动生成模块的目标检测方法。该方法在ResNet50网络中加入可操控的空洞卷积模块,并以此为基础设计了增强特征金字塔网络,提高网络对于目标多尺度特征表达能力。在区域建议网络中利用锚点框自动生成模块自主学习锚点框的位置和形状,以此获得更为稀疏和高质量的候选区域。本文在NWPU VHR-10数据集和飞机目标数据集上与多种基于卷积神经网络的目标检测算法进行对比实验,结果表明,本文所提方法在两个数据集上的mAP均为最优,分别为99.2%和87.7%,该方法具有较强的尺度自适应能力,有效的提高了遥感图像多尺度目标检测的精度。      

基于级联卷积神经网络的疲劳检测

为了诊断热核聚变等离子体状态,研制了用于热 斑区等离子体诊断用的新型X射线光谱仪,能够同 时探测X射线光谱与聚爆靶图像信息。光谱检测功能由4块椭圆晶体分析器实现,材料分别 为α-石英(1010)、 α-石英(2023)、α-石英(1011)和Si(111),几乎能够覆盖2~20 keV能带范围内的X射线特 征光谱。光谱检测 结构为光源位于椭圆的一个焦点,其辐射光谱经过椭圆反射聚焦于椭圆另一焦点,由X射线 成像板(IP)接收。图 像检测功能由分幅相机匹配小孔阵列成像完成,理想状态能够得到20 幅不同时间的聚爆靶图像。在谱仪与 聚爆靶之间的调整台上设置厚为60μm的Be膜,以保护针孔与晶体避 免聚爆溅射碎片破坏。在中物院“神光- Ⅱ”升级装置上进行了打靶实验,获取了X射线光谱与聚爆靶图像信号。分析了光谱及图像 信息,并针对光谱 仪漏光问题改进了光谱仪结构,最后在神光-Ⅲ原型装置上进行了验证实验并获得比较理想 的图像信号,信噪比(SNR)数据达到15dB。     

Driver fatigue detection based on deeply-learned facial expression representation

Driver fatigue detection is a significant application in smart cars. In order to improve the accuracy and timeliness of driver fatigue detection, a fatigue detection algorithm based on deeply-learned facial expression analysis is proposed. Specifically, the face key point detection model is first trained by multi block local binary patterns (MB-LBP) and Adaboost classifier. Subsequently, the eyes and mouth state are detected by using the trained model to detect the 24 facial features. Afterwards, we calculate the number of two parameters that can describe the driver's fatigue state and the proportion of the closed eye time within the unit time (PERCLOS) and yawning frequency. Finally, the fuzzy inference system is utilized to deduce the driver's fatigue state (normal, slight fatigue, severe fatigue). Experimental results show that the proposed algorithm can detect driver fatigue degree quickly and accurately.     

基于体素化图卷积网络的三维点云目标检测方法

针对激光雷达点云的稀疏性和空间离散分布的特点,通过结合体素划分和图表示方法设计了新的图卷积特征提取模块,提出一种基于体素化图卷积神经网络的激光雷达三维点云目标检测算法。该方法通过消除传统3D卷积神经网络的计算冗余性,不仅提升了网络的目标检测能力,并且提高了点云拓扑信息的分析能力。文中设计的方法在KITTI公开数据集的车辆、行人、骑行者的3D目标检测和鸟瞰图目标检测任务的检测性能相比基准网络均有了有效提升,尤其在车辆3D目标检测任务上最高提升了13.75%。实验表明:该方法采用图卷积特征提取模块有效提高了网络整体检测性能和数据拓扑关系的学习能力,为三维点云目标检测任务提供了新的方法。     

一种基于眼睛长宽比的船舵手疲劳检测方法

本文提出了一种基于眼睛长宽比的船舵手疲劳检测方法。实践证明,本文提出的疲劳航行检测方法,采用眼部信息而不是整个面部的信息来进行疲劳识别,数据量小,计算速度快。     

基于脑电信号深度迁移学习的驾驶疲劳检测

脑电信号一直被誉为疲劳检测的“金标准”,驾驶者的精神状态可通过对脑电信号的分析得到。但由于脑电信号具有非线性、非平稳性和空间分辨率低等特点,传统的机器学习方法在运用脑电信号进行疲劳检测时还存在识别率低,特征提取操作繁琐等不足。为此,该文基于脑电信号的电极-频率分布图,提出运用深度迁移学习实现的驾驶疲劳检测方法,即搭建深度卷积神经网络,并利用SEED脑电情绪数据集对其进行预训练,然后通过迁移学习方法将其用于驾驶疲劳检测。实验结果表明,卷积神经网络模型能够很好地从电极-频率分布图中获得与疲劳状态相关的特征信息,达到较好的识别效果。此外,基于迁移学习策略可以将训练好的深度网络模型迁移到其他识别任务上,有助于推动脑电信号在驾驶疲劳检测系统中的应用。     

基于改进SBR算法的人脸特征点稳定检测

基于图像的特征点检测器在静态图像上取得了卓越的性能,然而这些方法应用于视频或序列图像时其精度和稳定性显著降低。配准监督(Supervision-by-Registration, SBR)算法利用光流算法(Lucas-Kanade, LK)追踪,可通过无标注视频训练针对视频的特征点检测器,已取得较好的结果,但LK算法仍存在一定局限性,导致检测的特征点序列在时空上的连贯性不强。为获得精准、稳定、连贯的人脸特征点序列检测效果,提出了平滑一致性损失函数、权重掩码函数对传统SBR网络模型进行改进。网络中添加长短期记忆网络(Long Short-Term Memory, LSTM)提高模型训练鲁棒性,在模型训练中使用平滑一致性损失函数提供稳定性约束,获得准确且稳定的人脸视频特征点检测器。在300VW、Youtube Celebrities数据集上的验证显示,SBR改进模型将人脸视频特征点检测的标准化平均误差(Normalized Mean Error, NME)从4.74降低至4.56,且视觉上人脸特征点检测的抖动显著减少。     

Design and implementation of a real-time eye tracking system

Driver fatigue severely affects driver's alertness and ability to drive safely. There are vital problems related to drivers fatigue on driving of trains, vehicles and airplanes. Therefore, the driver fatigue research is important. In this paper, we first study the impact of eye locations on face recognition accuracy, with Haar-like feature and AdaBoost classifier, face and eye area can be detected quickly and accurately. In the part of eye tracking, cam-shift based mean-shift algorithm is used to track the eyes. This method could automatically adjust the size of tracking window according to the different posture of driver. The performance of our eye detection method is validated by using image database with more than 6000 pictures. In addition, our real-time eye tracking system has been tested on railway line segment (China). There are 5 train drivers involved in the experiment. The validation shows that our eye detector has an overall 93% eye detection rate.     

基于神经网络的图像弱边缘检测方法研究

主要立足于图像点处理与神经网络相结合的思想,提出了一种基于边缘点特征的BP神经网络图像边缘检测方法.利用提取出的图像边缘特征向量作为训练样本来训练BP神经网络,进一步完成图像边缘的检测.最后,通过实验与传统的边缘检测方法进行了对比,结果证明该方法检测的边缘轮廓清晰,检测速度较快,特别对含有弱边缘的图像能够更好避免漏检和...     

基于注意力机制的车牌快速检测方法研究

针对光照、车辆密集和低分辨率等复杂场景下车牌定位困难、检测速度慢和准确率 低等问题,提出了一种基于注意力机制的车牌快速检测方法。首先,综合车牌的特征,设计 了轻量级网络单元LeanNet,并使用该单元构建一种计算量低且精准的骨干网络。其次,设 计了MLA(muti-scale light attention)模块,用于引导网络关注不同尺度的车牌,生成 基 于车牌的局部显著图,抑制背景噪声。最后,设计了一个四尺度预测网络,其中的FSPF(fo ur scale pyramid fusion)模块能够生成四尺度特征金字塔,有利于实现不同尺度车牌的检测 。 实验结果表明,本文方法在CCPD(Chinese city parking dataset)数据集中的准确识别率 为 99.12%,与最新的YOLOv4(you only look once v4)检测方法相比,准确率提高了1.9%,运行速度提高了6倍,能 够在嵌入式设备中实现复杂场景下的车牌检测。     

Light bottle transformer based large scale point cloud classification

With the rapid development of computer vision, point clouds technique was widely used in practical applications, such as obstacle detection, roadside detection, smart city construction, etc. However, how to efficiently identify the large scale point clouds is still an open challenge. For relieving the large computation consumption and low accuracy problem in point cloud classification, a large scale point cloud classification framework based on light bottle transformer (light-BotNet) is proposed. Firstly, the two-dimensional (2D) and three-dimensional (3D) feature values of large scale point cloud were extracted for constructing point cloud feature images, which employed the prior knowledge to normalize the point cloud features. Then, the feature images are input to the classification network, and the light-BotNet network is applied for point cloud classification. It is an interesting attempt to combine the traditional image features with the transformer network. For proving the performance of the proposed method, the large scale point cloud benchmark Oakland 3D is utilized. In the experiments, the proposed method achieved 98.1% accuracy on the Oakland 3D dataset. Compared with the other methods, it can both reduce the memory consumption and improve the classification accuracy in large scale point cloud classification.