多特征融合的驾驶员疲劳状态检测方法

针对现有疲劳状态检测方法无法适用于疫情防控下的驾驶员，利用改进后的YOLOv5目标检测算法，对驾驶员的面部区域进行检测，建立多特征融合的疲劳状态检测方法.针对公交驾驶特性，建立包含佩戴口罩和未佩戴口罩情况的图像标签数据.通过增加YOLOv5模型的特征采样次数，提高眼、嘴、面部区域的检测精度.利用BiFPN网络结构保留多尺度的特征信息，使得预测网络对不同大小的目标更敏感，提升整体模型的检测能力.结合人脸关键点算法提出参数补偿机制，提高眨眼、打哈欠帧数的准确率.将多种疲劳参数融合归一化处理，开展疲劳等级划分.公开数据集NTHU和自制数据集的验证结果表明，该方法对佩戴口罩和未佩戴口罩情况均可以进行眨眼、打哈欠识别，可以准确地判断驾驶员的疲劳状态.     

基于深度相机的疲劳预警检测算法研究

为解决复杂环境下传统彩色图像对危险驾驶行为无法正确识别的难点,本文提出一种基于深度相机的疲劳预警检测方法。首先通过深度相机获取驾驶员的红外图像与深度图像,对获取的红外图像使用局部二值模式(local binary pattern,LBP)特征算子检测定位人脸区域;在人脸区域使用随机森林和全局线性回归相结合的方法训练出模型,并检测定位人脸的68个特征点,进而确定眼睛和嘴巴的闭合状态。为了增强疲劳检测的准确性,判断驾驶员佩戴眼镜情况,采用改进的疲劳检测算法判定驾驶员的疲劳状态,同时采用图像处理方法对眼部状态与嘴部状态进行疲劳检测。检测结果表明,本算法能够有效识别白天和夜间眼睛与嘴部的疲劳状态,具有较强的实用性。     

驾驶员疲劳检测技术的算法设计与硬件实现

为了减少由疲劳驾驶而引起的交通事故,提出了一种基于非接触式的驾驶员疲劳驾驶检测方法.利用摄像头对驾驶员的面部图像进行采集,经过图像前处理,采用在线识别的方法对驾驶员的面部特征进行识别,获取其疲劳状态;硬件采用DSP系列的TMS320DM642作为核心处理器,在判定驾驶员疲劳之后发出报警.实验结果表明,使用脉冲耦合神经网络方法对图像进行增强与在线识别,可以有效地确定人脸与人眼区域,主控芯片TMS320DM642的运算处理能力满足系统的要求,摄像头焦距为8 mm时,系统有效检测距离为30～150 cm.脉冲耦合神经网络方法对于驾驶员疲劳状态检测可靠性较高,合理地选择硬件平台以及系统的安装位置对检测效果有重要的影响.     

基于密集连接网络的驾驶疲劳状态检测方法

为了解决疲劳驾驶易造成交通事故的问题,提出了基于密集连接网络的驾驶疲劳状态检测方法.首先,借助摄像机采集驾驶状态视频,获取视频帧图像后利用图像处理技术进行图像预处理;利用自适应提升算法检测人脸,再用灰度积分投影和径向对称变换算法定位驾驶员的眼部区域;然后,通过密集连接网络精确判别眼睛状态,在网络中设置了3个密集连接块以减少特征参数和加快训练速度,且采用稀疏化结构以减少存储量和增强特征传播;最后,借助2个疲劳参数综合判断驾驶员的疲劳状态,使检测结果更为准确.定性和定量实验结果证明,该方法在准确率等方面优于现有技术.     

基于图像识别的疲劳驾驶监测方法研究

经研究提出使用摄像机直接朝向驾驶者的面部,以便实时监控驾驶者的疲劳程度.如果检测到疲劳将发出警告信号,提醒驾驶员.通过摄像头录制的视频文件并将其转换为帧,进行眼部跟踪定位,通过测量眼部区域中的图像强度的变化之间的距离可确定眼睛为闭眼或者睁眼.发现闭眼连续时间过长,系统判定驾驶员处于疲劳状态或者入睡状态,并发出警告信号的结论.通过对该算法测试,该方法可以有效的判定驾驶员的疲劳状态.     

基于Mean Shift算法和Hough变换的疲劳驾驶检测方法

依据PERCLOS基本原理,运用图像处理方法分析测量驾驶员疲劳状态的基本过程,提出一种采用Mean Shift算法和Hough变换的疲劳驾驶检测方法,给出了详细的实现步骤。实验表明,Mean Shift算法能对驾驶员眼部进行有效定位,Hough变换算法能正确判断眼睛闭合状态,所用方法对疲劳驾驶具有较好的检测效果。     

一种基于眼部状态的疲劳驾驶检测方法

针对传统的疲劳驾驶检测准确率低和实时性差的问题,提出了一种基于眼部状态的疲劳驾驶检测方法.利用CCD相机实时获取驾驶员的脸部图像,采用直方图均衡化增强图像的对比度;通过改进的cascade(Hear分类器)的人脸检测算法检测出脸部区域;利用OTSU阈值分割和形态学运算提取人眼区域,根据人眼的宽高比判定眼睛的闭合程度;依据PERCLOS-P80原理和眨眼频率判断驾驶员的疲劳状态.实验结果表明:改进的人脸检测算法对每帧图像的检测时间约为45ms,在人脸检测速度上提高了2.3倍,为整个疲劳驾驶检测节省了大量的时间.研究疲劳驾驶检测方法检测一帧图像的时间约为65ms,而且在不同的光照强度下的检测均有较高的准确率,满足疲劳驾驶检测对准确性和实时性的要求.     

电力工作人员面部疲劳状态识别系统研究

疲劳状态检测对于保护电力工作人员的安全具有重要作用。深度学习虽然已经成为面部疲劳状态检测方面的重要方法,但是其检测结果的准确性还需要提高。针对这一问题,提出了一种新的电力工作人员疲劳状态识别系统。该系统通过对采集到的视频图像使用人脸检测算法确定电力场景中工作人员的面部位置,利用YOLOv4-tiny目标检测算法提取眼睛部位的视觉特征,建立检测模型,以提升视觉特征的辨别能力;采用PERCLOSE准则分析眨眼频率并结合打哈欠的频率和瞌睡点头频率来判断电力场景中工作人员是否疲劳。实验结果证明了所提的基于深度学习的疲劳状态识别方法的有效性。     

基于多尺度融合的遥感图像变化检测模型

为精准识别双时相遥感图像的变化区域,提出了一种基于多尺度融合的遥感图像变化检测模型。该模型在源图像特征提取阶段构造多尺度输入金字塔,接受多层次的感受野,增强对特征信息的感知;并通过对深层差异特征进行多尺度计算,实现精准定位变化区域与充分挖掘细节信息间的平衡;同时融合网络不同层级的差异特征检测结果,极大程度识别并保留语义变化信息。实验结果表明：本文模型在主观评价与客观指标上都具有良好的表现效果。     

基于肤色模型和灰度积分投影的疲劳驾驶检测系统

根据驾驶室的特定环境,给出了一个基于肤色模型和灰度积分投影的驾驶员疲劳检测系统．该系统首先利用肤色模型粗略检测出人脸区域;然后根据驾驶员面部几何特征,利用灰度积分投影法对驾驶员眼睛进行准确定位;最后根据上下眼皮距离及闭眼持续时间对驾驶员疲劳状态做出判定．仿真实验表明：该系统可以准确定位驾驶员眼睛,并对驾驶员疲劳状态做出判断．     

一种红外可见光图像融合及其目标识别方法

为结合红外图像和可见光图像对目标检测识别的优点,提出了一种红外可见光图像融合及其目标识别方法.该方法根据数学形态学算法获得局部感兴趣区域,减少图像特征点生成范围,提高效率;通过使用基于多模态图像尺度与部分灰度不变图像特征算法建立合适的特征点定位和描述;最终根据局部不变性匹配原则,实现图像误匹配消除,得到配准关系.实验结果表明,本文方法能实现融合图像多目标的检测识别,其精度好,有一定的应用前景.     

基于图像多特征融合的野外水体障碍物检测

提出了一种基于图像多特征融合的方法来实现水体障碍物的检测方法.对于图像中水面的无倒影区,可以通过基于亮度和纹理特征的图像分割获得;而对于水面的倒影区,提出了基于立体视觉的方法来得到倒影区的距离和高度,并据此提取出相应的倒影区域,将所有特征进行融合获得了较完整且准确的水面区域.实验证明,该方法对野外复杂环境下的水体障碍物检测,特别是对包含有倒影的水体区域的检测有良好的效果;同时,算法简单实用,易于实时应用.     

基于多支路卷积神经网络的磁瓦表面缺陷检测算法

针对磁瓦表面缺陷检测难度大和精度低的问题,提出了一种新的磁瓦表面缺陷检测算法。首先,设计了一种多支路网络结构,并在各支路中构建了一种能有效提取磁瓦图像特征的卷积神经网络;然后,引入注意力模块突出图像的重要特征;最后,通过判别相关分析使同类特征的相关性和不同类特征的差异性最大化,并通过级联融合得到优化的磁瓦图像融合特征。在磁瓦图像数据集上,对算法检测性能进行了测试,测试精度达到99.90%;在实际检测工作中,本文算法的检测准确率保持在99%以上,检测速度达到129块/min。实验和运行结果表明：本算法检测精度高,性能稳定可靠,能满足磁瓦大批量生产实时在线检测要求。     

基于改进粒子滤波的煤矿视频监控模糊目标检测

针对煤矿井下智能视频监控采集到的视频图像质量较差、干扰多、噪点多、目标检测不准确等问题,提出了一种基于改进粒子滤波的模糊目标检测方法。在标准粒子滤波理论框架下,以视频多图像帧差为基础构建非线性、非高斯多系统状态空间融合模型;在图像帧差得到的关键点区域范围内进行粒子抽样及概率密度的传播;利用加权后验样本粒子表示多系统状态空间融合模型的后验概率密度;采用样本均值方法融合估计系统后验状态;最后对系统状态空间模型进行输出,得到目标检测结果。使用三交河煤矿井下视频监控数据进行试验验证,分别釆用改进的粒子滤波、标准粒子滤波、无损卡尔曼滤波以及扩展卡尔曼滤波等方法进行对比。试验结果表明:针对煤矿井下视频模糊目标检测问题,改进的多状态空间模型及关键区域采样粒子滤波算法具有良好的目标检测效果。     

基于多特征融合的表情识别算法

针对轻量级面部表情识别算法泛化能力的不足，提出了一种结合多特征融合和注意力机制的表情识别方法。使用局部二值模式(Local Binary Pattern, LBP)算子减少面部图像中无关信息的干扰，双分支神经网络提取原始人脸图像和LBP图像的特征，融合两个网络提取的中高层特征，并通过注意力机制加强重要特征，在保持较少参数量的同时生成大量的有效特征信息提高算法的识别效果。实验结果表明，该方法在Fer2013和CK+数据集上的识别率分别为70.21%和95.59%，有效地提高了轻量级表情识别算法的性能。     

基于独立特征融合的面部疲劳状态识别

为提高面部疲劳状态的识别效果,提出了一种融合全局特征和局部特征的面部疲劳特征表示方法.该方法将离散余弦变换(discrete cosine transform,DCT)和独立元分析(independent component analysis,ICA)技术以及Gabor变换相结合,通过融合全局独立DCT特征和局部动态Gabor特征得到最终的面部疲劳特征表示.基于前人自建的疲劳图像序列库进行了实验,结果表明该方法提取的疲劳特征更加具有鉴别力.     

驾驶员疲劳驾驶预警系统的设计

针对疲劳驾驶监测的要求,设计了一种基于IT公司高速图像处理芯片TMS320DM642的疲劳驾驶预警系统,用以判定驾驶员的疲劳程度,降低交通事故.系统采用机器视觉的方法,先通过CCD摄像头拍下驾驶员的面部图像序列,然后检测出脸部,从而定位眼睛,再利用PERCLOS算法判定疲劳状态.实验结果表明,该系统准确率高、速度快,可...     

非降采样Contourlet域方向区域多聚焦图像融合算法

提出了一种基于方向区域特性的非降采样Contourlet域多聚焦图像融合算法。算法将图像进行非降采样Contourlet变换为不同方向的高低频子带,低频子带和高频子带中分别采用方向区域的方差匹配度和能量作为融合规则,其中方向区域与当前子带分解方向保持一致,最后,通过反变换得到融合图像。实验结果表明,本文提出的方向区域方法能够更好地体现二维图像中的曲线或直线状边缘特征。将现有的融合算法和本文所提算法进行了主观和客观的对比,结果表明,基于非降采样Contourlet变换的方向区域特性的图像融合算法是一种有效可行的图像融合算法。     

NSST与引导滤波相结合的多聚焦图像融合算法

为进一步提高融合图像的对比度和清晰度,提出一种非下采样剪切波变换(简称NSST变换)与引导滤波相结合的多聚焦图像融合算法.首先,利用NSST变换对多聚焦源图像进行多尺度、多方向分解;然后针对低频子带系数,通过计算局部区域改进拉普拉斯能量和进行加权映射,构建初始融合权重,利用引导滤波修正初始融合权重,提出一种基于局部区域改进拉普拉斯能量和的引导滤波加权融合规则;针对高频子带系数,结合人眼视觉特性,通过计算显著信息、局部区域平均梯度、边缘信息和局部区域改进拉普拉斯能量和来构建初始融合权重,利用引导滤波修正初始融合权重,提出一种基于人眼视觉特征的引导滤波加权融合规则;最后,进行NSST逆变换,获得融合图像. 4组多聚焦源图像的仿真实验结果表明,无论是从主观评价还是客观评价上,与其余4种融合算法相比,本文算法均较好地保留多聚焦源图像的边缘轮廓、细节和纹理等信息,也无细节信息缺失,提高融合图像的对比度和清晰度.     

Directionlet域的多波段遥感图像融合算法研究

提出一种有效的基于Directionlet变换的多波段遥感图像融合算法。Directionlet变换是一种新的基于格子的歪斜多尺度多方向各向异性小波变换工具,具有更高的逼近精度和更好的稀疏表达能力的图像分解变换,与小波变换相比,抑制了小波变换在图像边缘方向表示的固有局限性。首先采用具有多尺度、多方向特点的Directionlet变换对多波段遥感图像进行分解。对于低频系数采用平均融合算法,方向高频系数采用区域边缘检测实现多波段遥感图像的融合处理。实验结果表明,提出的算法与传统融合算法相比不仅原始图像的边缘和纹理信息可保留,而且可获得更好的融合视觉效果。