基于深度卷积网络和在线学习跟踪的驾驶员打哈欠检测

提出了一种基于多信息融合的驾驶员打哈欠检测方法。首先,建立驾驶员面部图像数据库并训练深度卷积神经网络来依次检测驾驶员的面部和鼻子;然后,采用局部二比特特征和随机森林分类器训练生成在线鼻子检测器,以此来校正光流跟踪器在鼻子跟踪过程中产生的漂移误差等参数;最后,分析鼻子下方嘴部区域的边界梯度变化情况,并结合鼻子跟踪器置信度、面部横向运动等信息来判断驾驶员是否打哈欠。实验结果表明,深度卷积网络相对于其他面部分类方法,可以获得更好的分类检测效果;基于在线学习的跟踪方法可以很好地减小光流跟踪引起的漂移误差;整个算法可以在多种驾驶环境下以较高准确率检测驾驶员打哈欠事件的发生。     

基于关键帧的轻量化行为识别方法研究

针对目前双流卷积神经网络通常使用堆叠RGB帧和光流图分别提取视频的表观信息和运动信息,存在信息冗余和计算复杂度高的问题,基于时域分割网络提出了一种结合光流图、差分图像和并行卷积神经网络的行为识别算法。首先通过分析行为视频中存在的运动模糊现象,设计了一种基于图像特征量的关键帧选取算法,同时构建了一个包含表观信息流和运动信息流的改进时域分割网络,将关键帧RGB图像、非关键帧光流图像和差分图像并行地输入特征提取网络计算分类得分,最后将关键帧与非关键帧的行为类别得分进行平均融合后输入SoftMax层得到视频类别概率。为进一步降低算法的参数量和计算复杂度,设计了一种轻量化卷积神经网络作为特征提取网络。本文算法在UCF101数据集的识别准确率为94.7%,在HMDB51数据集的识别准确率为69.3%,推理速度相比于时域分割网络快了45.3%。实验结果表明,该算法能够高效利用视频的表观信息和运动信息,且具有较高的行为识别准确率。     

基于PX-LBP和像素分类的装配体零件识别研究

针对机械产品装配维修诱导中零件和装配体的识别、监测问题,对装配体零件识别及装配监测进行了研究,对LBP算子进行了改进,提出了一种基于像素局部二值模式(PX-LBP)和像素分类的装配体零件识别及装配监测方法。首先将LBP算子与像素分类融合,提出了PX-LBP算子;然后对深度图像进行了PX-LBP特征提取,生成了训练集和测试集;最后训练随机森林分类器,并利用训练好的随机森林分类器实现了对测试集深度图像的像素分类,生成了像素预测图像,通过像素预测图像与标记图像对比实现了装配体零件的识别及装配过程的监测。研究结果表明:该方法对于模型深度图像的像素识别率可达到98.81%,对于真实装配体深度图像的像素识别率也可达到77.51%;该方法兼具了一定的实时性与鲁棒性,可用在装配维修诱导、装配监测和自动化装配邻域中。     

战场可疑目标智能识别与跟踪框架研究

针对陆战场人、装备等典型目标图像,提出了一套战场可疑目标智能识别与跟踪框架,用于目标检测与图像识别,以及对可疑目标进行跟踪。人脸检测基于MTCNN网络,可以有效检测人脸及人脸中的5个关键点;人脸识别基于FaceNet网络,并且使用随机森林算法作为分类器,训练用于识别10位在影视剧中饰演军人的演员模型,在测试集上的准确率为94.76%;装备目标检测与识别基于YOLO v3模型,能够检测与识别20种武器装备;可疑目标跟踪基于BACF算法,在10个10s测试视频中,跟踪准确率为90%,平均输出速率为24fps。     

随机采样子空间保局投影人脸识别算法

在模式识别中,融合多个有差异且互补的弱分类器进行识别,可以提高系统的识别精度及稳定性。Bagging、Boosting和随机子空间等弱学习方法是常用的弱分类器融合方法。本文针对单一保局投影算法分类识别能力弱的问题,提出了一种随机采样子空间保局投影算法。该算法在对训练样本的主元子空间进行随机采样的基础上,利用保局投影得到了多个既有差异且又互补的保局投影子空间;测试样本被分别投影到这些保局投影子空间上,然后利用最近邻分类器进行分类识别,最后根据多数投票原则融合多个子空间上的分类结果来确定样本所属类别。在FERET人脸图像子库上的实验表明,随机采样子空间保局投影算法有效地融合了各LPP投影空间的互补信息,可以显著地提高人脸识别的精度。     

基于稀疏编码空间金字塔匹配和GA-SVM的列车故障自动识别

针对货车运行故障动态图像中车辆挡键、集尘器和安全链锁紧螺栓的故障检测,提出一种基于稀疏编码空间金字塔匹配和遗传算法优化的支持向量机相结合的通用故障自动识别算法。首先在不同尺度空间对样本图像进行划分,对每个部分提取尺度不变特征变换特征,利用随机抽取样本的SIFT特征通过迭代学习生成字典并进行稀疏编码;其次利用主成分分析定义编码后的特征对故障识别准确率的贡献值,并据此对编码特征进行降维;然后利用编码降维后的特征结合遗传算法对线性SVM分类器进行训练;最后用训练好的分类器模型对挡键、集尘器和安全链锁紧螺栓的故障进行识别。实验结果表明,本文提出的算法能较好的应用于3种不同类型的故障识别,识别率分别为97.25%、99.00%和97.50%,同时对噪声和光照变化具有一定的鲁棒性,能满足车辆故障的实际检测需求。     

采用PHOG融合特征和多类别Adaboost分类器的行为识别

为了解决类能量图易受人体运动时间和位置移动等因素影响而难以有效描述动作细节特征的问题,本文提出了一种基于类能量图金字塔梯度直方图(PHOG)融合特征和多类别Adaboost分类器的人体行为识别方法。该方法首先对经过躯体配准的运动人体目标轮廓图像构造平均运动能量图(AMEI)和增强的运动能量图(EMEI),分别提取其分层梯度方向直方图(PHOG)特征并进行串联融合,作为一种多层次的行为特征描述;然后使用基于查找表的LUT-Real Adaboost算法设计多类别分类器,实现图像中人体行为动作的识别。实验结果显示其在典型的人体动作数据集DHA上的正确识别率达97.6%,高于其它采用单一特征描述和SVM等分类器的方法。表明该方法将整体与局部特征相结合,可以有效描述不同尺度下的动作细节特征,增强了人体行为特征的描述能力,提高了识别性能。     

利用随机森林识别二元自相关过程异常

针对二元自相关过程异常模式识别问题,提出基于随机森林的模式分类器。首先采用Monte-Carlo仿真方法搭建二元自相关过程AR模型,并通过该模型随机产生数据集;其次,使用数据集进行基于随机森林分类器的异常模式识别实验;最后,结合BP神经网络的实验结果,对比两者的识别性能。实验结果表明,在相同的训练时长下,随机森林对二元相关过程异常模式的识别有着更高的识别准确率,验证了随机森林的优异性能。     

多模深度卷积神经网络应用于视频表情识别

由于视频中的手工特征和主观情感之间的直接相关性很小,识别视频序列中的面部表情是一项很有挑战性的任务,为了克服这个缺陷,有效提高视频中的人脸表情识别性能。本方法采用两个深度卷积神经网络,即空间卷积神经网络和时间卷积神经网络,用于视频中的时空表情特征学习。其中,空间卷积神经网络用于提取视频中每一帧静态的表情图像的空间信息特征,而时间卷积神经网络用于从视频中多帧表情图像的光流信息中提取动态信息特征。然后,将这两个深度卷积神经网络学习到的时空特征进行基于深度信念网络(DBN)的特征层融合,输入到支持向量机实现视频中的人脸表情分类任务。在公共的RML和BAUM-1s视频情感数据集的测试结果表明,该方法分别取得了71.06%和52.18%的正确识别率,明显优于现有文献报导的结果。多模深度卷积神经网络的人脸表情识别方法能提高视频中人脸表情的识别性能。     

基于视觉的航天电连接器的智能识别与装配引导

为提高操作空间狭小的精密航天产品的手工装配效率,提出一种基于视觉的航天电连接器的智能识别与装配引导方法。利用肤色特征与零件的轮廓特征提取原始图像中零件所在的区域。提取电连接器的斑点特征和尺度不变特征变换特征放入支持向量机的分类器,训练得到零件训练模型。借助Hough变换与零件训练模型实现了电连接器的在线分类识别,整个识别过程无需人工干预。通过预先构建完善的三维装配工艺信息模型,利用识别结果实时触发并调取对应零件的装配工艺信息,用于指导装配。实例验证表明,零件识别平均准确率达90%以上,单幅图片识别时间在2s内,能够满足在线识别精度和效率的要求。     

遥测数据驱动的无人机飞行状态识别方法

无人机飞行状态的识别是无人机飞行状态分析必要的基础,可为无人机任务调度、智能维护维修和设计优化提供参考信息。无人机的遥测数据是对其飞行状态识别的重要依据,针对无人机遥测数据量大、各飞行状态持续时间不同、数据混有噪声、无法直接提供飞行意图信息等问题,提出一种基于切比雪夫特征提取和随机森林分类(Chebyshev-random forest,C-RF)算法的无人机状态识别方法。采用Chebyshev拟合法对遥测数据进行特征提取和降维,利用随机森林算法实现飞行状态的自适应分类。所提出方法将Chebyshev拟合系数计算简单、接近最佳拟合的优点与随机森林算法的训练速度快、分类准确率高和抗噪能力强等优点相结合,可覆盖无人机的各类样本且避免过拟合问题,实现了无人机飞行状态的有效识别。采用真实无人机遥测数据进行验证,总体识别准确率高于90%,少类样本亦可被准确识别,证明了所提出方法的有效性和实用性。     

基于关键帧定位和时空图卷积的异常行为识别

为提高监控视频中行人异常行为检测效率,提出了结合关键帧定位和时空图卷积的异常行为识别方法。该方法在人体骨架关键点检测的基础上,采用关键点运动特性定位视频中行人异常行为关键序列,利用时空图卷积网络可以提取行人时空特征的优点,在关键帧序列上构建人体骨架时空图,同时建立基于瓶颈残差模块的时空图卷积网络行为识别模型,实现对监控视频中行人异常行为的高效识别。采用自建数据集和公开数据集对该方法有效性进行检验,结果表明,该键帧定位算法可高效实现异常行为定位,结合基于瓶颈残差模块时空图卷积网络,在减少时空图卷积网络计算复杂度的同时提升了网络性能,能够有效判断行人异常行为。     

基于时空张量融合的人体骨架行为自适应识别方法

针对人体行为的空间复杂性和时间差异性问题,提出了一种基于时空张量融合的人体骨架行为自适应识别方法。 首先 充分利用人体行为骨架序列的帧内空间关系和帧间时间关系,构建相邻帧时空特征张量;其次通过计算相邻帧时空特征张量的 差异性获取关键相邻帧时空特征张量并组成行为时空特征张量;之后利用行为时空特征张量的空间特征差异和多尺度时间卷 积构建行为时空特征张量自适应注意力机制,完成行为时空特征融合;最后,使用深度随机配置网络根据行为时空特征融合张 量识别人体行为。 使用 NTU RGB-D 数据集进行实验仿真,识别准确率达到 84. 57% ,并且设计相应的系统进行实际应用验证, 结果表明本文所提方法是一种适合应对人体行为空间复杂性和时间差异性问题的人体行为识别方法。     

基于迁移学习和模型融合的粗糙度检测系统设计

针对传统粗糙度测量方法识别准确率不高的问题,提出了基于迁移学习和模型融合的粗糙度检测方法。首先,采用所设计粗糙度检测系统中的CCD相机模组采集工件表面图像并制作数据集;其次,通过迁移微调VGGNet-19、Inception-V3 以及DenseNet121进行多模型融合,得到了适用的粗糙度检测模型;最后,用数据集进行网络训练以提取图像中的纹理细节特征,实现对粗糙度等级的精准识别。针对车削、铣削和磨削共15种粗糙度等级图像进行实验验证,系统识别精度可达91%。结果表明,所提出的系统可有效地实现粗糙度等级自动检测。     

多核融合多尺度特征的高光谱影像地物分类

对于高光谱影像地物分类问题,为更加有效地利用像元空间信息和光谱信息,提高地物分类精度,提出了多核融合多尺度特征的分类方法。首先,通过多尺度空间滤波和PCA白化,提取出多尺度特征;接着在核稀疏表示分类器内使用多核方式对分别表示每项特征,在分类器内实现特征自动融合,根据子核与理想核、子核之间距离求取核组合的权重,使用训练集所构成的字典在特征空间内对待测样本进行线性表示,根据每类地物的重构误差确定待测像元所属地物类别。实验结果表明:对于Indian Pines影像和Pavia University影像总体分类精度分别达到99.51%和97.96%,较传统方法明显提高,并且对于小样本地物识别精度也都能达到90%以上。本文算法对于高光谱影像地物具有更强的识别能力,并且具有较强的稳定性和鲁棒性。     

一种用于动作识别的双分支网络

动作识别是计算机视觉领域的一项重要任务,主要有基于RGB视频和人体骨架两种数据模态的领域,主流方法分别是3D卷积神经网络和图卷积神经网络。针对视频和人体骨架两种数据模态的不同特点,设计了双分支网络分别对两种数据模态进行建模。对于人体骨架数据,基于自注意力机制设计了图卷积神经网络,该算法能在基于骨架的动作识别任务中达到先进的性能。对于视频数据,采用3D卷积网络进行特征提取。同时,利用深监督方法对两种数据模态的中间特征进行监督,提高两种数据特征的耦合度,进一步提高网络效率。这种算法的网络结构简单,在NTU-RGBD60（CS）数据集上仅用3.37×10⁷的参数量可达到95.6%的精度。     

基于改进双流时空网络的人体行为识别

针对传统双流网络无法捕捉视频序列中的时序关系从而导致对时序依赖较大的行为识别效果不理想的问题,提出一种基于改进双流时空网络的人体行为识别算法。首先利用时间移位思想,使卷积神经网络对视频中的时序关系建模,从而高效地捕捉视频中的时空信息;同时使用注意力机制改善由于通道信息在时间轴上移动导致的空间特征学习能力下降的问题;在此基础上构建了一个包含时空表观信息流和时空运动信息流的双流网络结构;最后,采用加权平均的方式融合双流网络,得到最终的识别结果。在UCF101和HMDB51数据集上分别进行了实验,识别准确率为96.3%和77.7%,实验结果表明,与传统双流网络方法相比,识别准确率得到了一定的提升,验证了本文算法能够有效捕捉视频中的时序关系,增强网络的特征表达能力,提高对时序依赖较大的行为和近似行为的辨识能力。     

基于误差注意力的晶圆制造数据异常检测

针对晶圆制造数据异常检测过程中异常特征提取难度大且检测效率不高的问题，提出了一种基于误差注意力的晶圆制造数据异常检测方法。在保持数据分布不变的前提下，将晶圆制造数据转化成灰度图像，根据与正常样本的误差对灰度图像生成基于位置的柔性注意力图，增加误差特征的显性表达并略去冗余特征；利用深度学习神经网络LeNet-5模型将注意力图进行卷积训练，得到异常检测的最优化模型。采用晶圆制造数据集与现有方法进行对比，所提方法耗时缩短160%、F2-Score提高3%，证明了所提方法的有效性。     

基于元胞自动机的动态背景运动目标检测

针对传统运动目标检测算法在动态背景条件下难以准确检测出运动目标的问题,提出了一种基于元胞自动机的动态背景运动目标检测算法。首先,根据SLIC算法分割视频图像,并应用多模态混合动态纹理模型对视频图像进行背景建模。然后,融合空时显著性检测与基于元胞自动机的自动更新机制得到优化的显著性图。最后,通过对优化后的显著性图做适当的阈值分割处理得到视频图像中的运动目标。实验仿真结果表明,在动态背景条件下该算法可以有效的抑制视频图像中非运动目标的显著性物体对检测结果带来的影响,检测运动目标的精度较高,并且具有一定的鲁棒性。