基于多模态特征学习的人体行为识别方法

由于从单一行为模态中获取的特征难以准确地表达复杂的人体动作,本文提出基于多模态特征学习的人体行为识别算法.首先采用两条通道分别提取行为视频的RGB特征和3D骨骼特征,第1条通道C3DP-LA网络由两部分组成:(1)包含时空金字塔池化(Spatial Temporal Pyramid Pooling,STPP)的改进3D CNN;(2)基于时空注意力机制的LSTM,第2条通道为时空图卷积网络(ST-GCN),然后,本文将提取到的两种特征融合使其优势互补,最后用Softmax分类器对融合特征进行分类,并在公开数据集UCF101和NTU RGB+D上验证.实验表明,本文提出的方法与现有行为识别算法相比具有较高的识别准确度.     

基于人体关节点多特征融合的暴力行为识别

针对目前视频中暴力行为识别算法识别准确率不高的问题,提出一种基于人体关节点多特征融合的暴力行为识别方法。使用YOLO-Pose算法实现人体检测与姿态估计,获取人体关节点位置信息,基于人体结构提取关节点的距离特征和形状特征,基于运动特性提取关节点的动态特征和姿态特征,将所有特征信息进行融合,构建Bi-LSTM行为识别模型实现暴力行为识别分类,并设计行为识别结果稳定器,解决识别过程中因随机干扰导致的行为误判问题。在公开暴力行为数据集Violent-Flows与自制暴力行为数据集Vio-B上验证提出方法的有效性,实验表明,在Violent-Flows数据集与Vio-B数据集上本方法准确率分别达到97.9%与98.5%,高于现有方法。     

基于上下文特征融合的行为识别算法

针对LSTM网络无法充分提取短时信息导致人体行为识别率不高的问题,提出一种基于上下文特征融合的卷积长短时记忆网络联合优化架构,用于仅具有RGB数据的行为识别网络。使用3D卷积核对输入的动作序列提取其空间特征和短时时间特征,并将多通道信息进行融合,将融合后的特征送入下一级卷积神经网络和LSTM层中进行长期时间的特征学习,获取上下文的长期时空信息,最后用Softmax分类器进行人体行为的分类。实验结果表明,在人体行为识别公开数据集UCF-101上,提出的基于上下文特征融合的卷积长短时记忆网络的平均识别准确率达93.62%,相比于未进行特征融合的卷积长短时记忆网络提高了1.28%,且平均检测时间降低了37.1%。     

基于CNN与关键区域特征的人脸表情识别算法

为了克服目前公开的人脸表情数据集的数据量较少,并且有一些类别的表情表达存在一定的相似这两个因素对人脸表情识别率的影响,提出一种基于关键区域特征融合的人脸表情分类算法。算法首先提取人脸图像中表情表达的关键区域,然后分别提取关键区域的特征信息并融合,最终使用融合的特征进行分类。通过实验验证:算法在JAFFE和CK+公开数据集上均取得了较好的识别准确率。     

脑电信号多维特征融合与分类算法研究

针对目前运动想象脑电信号特征提取单一,分类识别准确率低等现象,结合卷积神经网络分类器,提出了一种多维度特征加权融合的特征融合算法来提高运动想象脑电识别率。对预处理后的脑电信号进行小波包变换,提取其共空间特征、能量特征、边际谱熵特征以及非线性动力学特征,然后加权融合,使用卷积神经网络分类器分类。为验证算法的合理性,使用BCI-IV Dataset 2a数据集对提出的特征融合算法进行验证分析,结果表明,所提出的加权特征融合算法结合CNN分类器可以有效提高运动想象识别准确率。实验中,9位志愿者平均分类准确率达到75.88%,平均Kappa系数为0.70。     

基于启发式集成特征选择的人体活动识别

针对人为提取的冗余特征集和无关特征集导致可穿戴传感器的人体活动识别分类性能降低的问题,提出一种基于启发式集成特征选择的人体活动识别方法。该方法首先选取了包含功率谱密度（Power spectrum density, PSD）的特征集用于识别易混淆的活动,在此基础上借助皮尔逊系数法（Pearson correlation coefficient, PCC）筛选出低相关的特征子集,然后使用改进的正余弦优化算法（Sine cosine algorithm, SCA）进行特征优化,通过两次特征筛选得到最优特征子集。实验结果表明,在实验室采集的数据集中使用该方法后的特征子集维数为34,识别准确率达到了98.21%。在公开的SCUT-NAA数据集中进行对比实验,特征子集维数为39,低于以往基于该数据集研究方法的特征维数,并且识别准确率达到了96.51%。     

基于视听觉感知系统的多模态情感识别

情绪识别作为人机交互的热门领域,其技术已经被应用于医学、教育、安全驾驶、电子商务等领域.情绪主要由面部表情、声音、话语等进行表达,不同情绪表达时的面部肌肉、语气、语调等特征也不相同,使用单一模态特征确定的情绪的不准确性偏高,考虑到情绪表达主要通过视觉和听觉进行感知,本文提出了一种基于视听觉感知系统的多模态表情识别算法,分别从语音和图像模态出发,提取两种模态的情感特征,并设计多个分类器为单特征进行情绪分类实验,得到多个基于单特征的表情识别模型.在语音和图像的多模态实验中,提出了晚期融合策略进行特征融合,考虑到不同模型间的弱依赖性,采用加权投票法进行模型融合,得到基于多个单特征模型的融合表情识别模型.本文使用AFEW数据集进行实验,通过对比融合表情识别模型与单特征的表情识别模型的识别结果,验证了基于视听觉感知系统的多模态情感识别效果要优于基于单模态的识别效果.     

结合SVM与DS证据理论的信息融合分类方法

针对多传感器数据融合分类中,DS证据理论基本概率赋值难以解决的问题,提出了一种结合SVM与DS证据理论的信息融合改进方法。根据SVM对输入数据分类的实际情况和基于混淆矩阵得到的分类器局部识别可信度来构造基本概率赋值函数,实现了两者的有效结合,建立了SVM与DS证据相结合的多传感器信息融合模型。在决策融合过程中,重视和考虑了分类器局部识别可信度信息,并对算法进行了复杂度分析。基于UCI数据集和人工数据集的仿真结果表明该方法能够有效地降低融合识别的误差率,提高识别的可信度。     

多模态零样本人体动作识别

目的 在人体行为识别算法的研究领域,通过视频特征实现零样本识别的研究越来越多。但是,目前大部分研究是基于单模态数据展开的,关于多模态融合的研究还较少。为了研究多种模态数据对零样本人体动作识别的影响,本文提出了一种基于多模态融合的零样本人体动作识别（zero-shot human action recognition framework based on multimodel fusion, ZSAR-MF）框架。方法 本文框架主要由传感器特征提取模块、分类模块和视频特征提取模块组成。具体来说,传感器特征提取模块使用卷积神经网络（convolutional neural network, CNN）提取心率和加速度特征;分类模块利用所有概念（传感器特征、动作和对象名称）的词向量生成动作类别分类器;视频特征提取模块将每个动作的属性、对象分数和传感器特征映射到属性—特征空间中,最后使用分类模块生成的分类器对每个动作的属性和传感器特征进行评估。结果 本文实验在Stanford-ECM数据集上展开,对比结果表明本文ZSAR-MF模型比基于单模态数据的零样本识别模型在识别准确率上提高了4 %左右。结论 本文所提出的基于多模态融合的零样本人体动作识别框架,有效地融合了传感器特征和视频特征,并显著提高了零样本人体动作识别的准确率。     

基于卷积长短时记忆网络的人体行为识别研究

人体行为识别利用深度学习网络模型自动提取数据的深层特征,但传统机器学习算法存在依赖手工特征提取、模型泛化能力差等问题。提出基于空时特征融合的深度学习模型（CLT-net）用于人体行为识别。采用卷积神经网络（CNN）自动提取人体行为数据的深层次隐含特征,利用长短时记忆（LSTM）网络构建时间序列模型,学习人体行为特征在时间序列上的长期依赖关系。在此基础上,通过softmax分类器实现对不同人体行为分类。在DaLiAc数据集的实验结果表明,相比CNN、LSTM、BP模型,CLT-net模型对13种人体行为的总体识别率达到了97.6%,具有较优的人体行为识别分类性能。     

人脸识别中基于核的子空间鉴别分析

尽管基于Fisher准则的线性鉴别分析被公认为特征抽取的有效方法之一，并被成功地用于人脸识别，但是由于光照变化、人脸表情和姿势变化，实际上的人脸图像分布是十分复杂的，因此，抽取非线性鉴别特征显得十分必要。为了能利用非线性鉴别特征进行人脸识别，提出了一种基于核的子空间鉴别分析方法。该方法首先利用核函数技术将原始样本隐式地映射到高维（甚至无穷维）特征空间；然后在高维特征空间里，利用再生核理论来建立基于广义Fisher准则的两个等价模型；最后利用正交补空间方法求得最优鉴别矢量来进行人脸识别。在ORL和NUST603两个人脸数据库上，对该方法进行了鉴别性能实验，得到了识别率分别为94％和99．58％的实验结果，这表明该方法与核组合方法的识别结果相当，且明显优于KPCA和Kernel fisherfaces方法的识别结果。     

不相关最佳鉴别矢量集的有效算法

线性鉴别分析中处理小样本问题的方法有两类：①在模式识别之前,通过降低模式样本特征向量的维数达到消除奇异性的目的;②发展算法获得低维鉴别特征。将这两种方法结合起来,解决了高维小样本情况下基于广义Fisher线性鉴别准则的不相关最优鉴别矢量集的求解问题,给出了抽取最优鉴别矢量的有效算法。     

一种基于LDAO的唇读特征提取算法

在语音与唇读识别应用中,传统的LDA(linear discriminant analysis)算法一般以音节、半音节、HMM状态等基元为类别进行数据分段,经线性判别分析后获得的特征投影方向与识别率不直接相关,影响了识别率。提出了一种新的基于LDAO(linear discriminant analysis based on object)的唇读特征提取算法,该算法以待识别对象为类别进行线性判别分析,在理论上保证了唇读特征矢量向最具判别能力的方向投影。基于唇读数据库的实验证明,该算法明显优于现有各种唇读特征提取算法,比DCT+LDA算法识别率提高了3%。     

一种有效的手写体汉字组合特征的抽取与识别算法

基于特征融合的思想,从有利于模式分类的角度,推广了典型相关分析的理论,建立了广义的典型相关分析用于图像识别的理论框架。在该框架下,首先利用广义的典型相关判据准则函数,求取两组特征矢量的广义投影矢量集,构成一对变换矩阵;然后根据所提出的新的特征融合策略,对两种手写体汉字特征进行融合,所抽取的模式的相关特征矩阵,在普通分类器下取得了良好的分类效果,优于已有的特征融合方法及基于单一特征的PCA 方法和FLDA 方法。     

宫颈细胞细粒度分类方法

针对宫颈细胞图像的相似性极高,其细粒度分类存在准确率低的问题,提出了一种基于双路径网络与局部判别损失函数的DRMNet(dense reset module net)算法.该算法在特征提取阶段以残差结构为主体,加入密集连接路径,结合两者优点,使网络对特征有着高复用率、低特征冗余度的同时,保持探索新特征的能力.在分类阶段...     

判别相关分析双注意力机制的目标检测算法

针对两阶段目标检测算法中模型存在目标识别率低、部分小目标物漏检等问题,提出了一种基于判别相关分析的双注意力机制的目标检测算法。该算法通过改进Faster R-CNN主干网络,引入判别相关分析技术最大化两个特征集中对应特征的相关关系,同时最大化不同类之间的差异,来保证信息间的交互,有效缓解常规特征融合方式存在的特征提取能力不足问题。同时,结合残差结构构建残差双注意力机制,进行深层次的特征提取,来弥补深度CNN后高分辨率信息弱化问题,采用混合卷积层的设计在扩大感受野的同时又减少了信息损失,最大限度地保证了网络的特征提取性能。采用PASCAL VOC2007、KITTI以及Portrait三类数据集对网络进行训练,并将提出的算法模型与多个经典目标检测算法进行对比。实验结果表明,提出的算法具有较高的检测精度。     

基于深度信息的特征学习与动作识别方法

为了进行复杂交互动作识别,提出基于深度信息的特征学习方法,并使用两层分类策略解决相似动作识别问题.该方法从频域的角度分析深度图像动作序列,提取频域特征,利用VAE对特征进行空间特征压缩表示,建立HMM模拟时序变化并进行第一层动作识别.为了解决相似动作识别问题,引入三维关节点特征进行第二层动作识别.实验结果表明,两种特征在动作数据集SBU-Kinect上能够有效地表示姿态含义,策略简单有效,识别准确率较高.     

基于相似度分布的开集人脸识别方法

利用相似度多个维度的信息进行开集判别,以提高开集人脸识别的准确率。该方法首先通过大量带标识的测试样本获得已知类样本和非已知类样本相似度向量的分布,然后引入线性判别分析学习两个类中相似度向量的分布特征,在开集判别中通过相似度向量的特征匹配来判断样本是否为已知类。利用相似度分布中的分类信息,训练出的特征具有更强的分类能力。不同人脸库的实验表明,相对于传统方法,文中方法能提高开集识别的准确率。     

The joint use of sequence features combination and modified weighted SVM for improving daily activity recognition

Two serious problems affecting the implementation of human activity recognition algorithms have been acknowledged. The first one corresponds to non-informative sequence features. The second is the class imbalance in the training data due to the fact that people do not spend the same amount of time on the different activities. To address these issues, we propose a new scheme based on a combination of principal component analysis, linear discriminant analysis (LDA) and the modified weighted support vector machines. First we added the most significant principal components to the set of features extracted using LDA. This work shows that a suitable sequence feature set combined with the modified WSVM based on our criterion classifier achieves good improvement and efficiency over the traditional used methods.     

广义并行2维复判别分析的人脸识别

目的 针对2维线性鉴别分析提取人脸特征向量稳定性较差、仅对行或列方向提取特征时容易丢失不同行或列间有助于鉴别分析的协方差信息、同时存在特征维数较高的问题,提出一种广义并行2维复判别分析的人脸识别方法。方法 首先对人脸图像进行广义并行2维线性判别分析处理,根据特征值贡献率动态选取特征向量组成正交投影矩阵,完成水平和垂直方向上的投影;其次将处理后得到的两类特征矩阵以复数的实部和虚部形式相加,对融合后的特征矩阵进行广义2维复判别分析处理得到复特征矩阵;然后以复特征矩阵的特征值大小来衡量特征矩阵分量的识别性能,对特征矩阵分量进行重新排序,选取最具鉴别力的分量形成最终表征人脸的特征;最后采用最大相似度分类器比较测试样本与训练样本特征的相似度,进行人脸图像特征的分类识别。结果 在Yale、ORL、FERET、CMU-PIE及LFW人脸数据库上进行实验测试,该方法的最优识别率分别为100%、100%、98.98%、99.76%及98.67%,特征维数在8590之间,表明该方法对复杂条件下的人脸识别有较高的准确率和较低的空间占有率。结论 该方法能够有效克服2维线性鉴别分析提取特征稳定性差、特征空间中特征重叠、存储系数多、特征维数高的缺点,表现出较高鲁棒性和准确率及较低空间复杂度的特性。