基于光流的动态人脸表情识别

文章提出了一种人脸表情识别的新方法.利用光流技术对人脸表情图像序列中的特征点进行跟踪,并提取特征向量.最后,利用神经网络对六种基本表情进行分类识别.     

时空结合相机关联自适应特征增强的视频行人再识别算法研究

针对行人姿势、外部遮挡、光照强度和摄像设备等内外部条件变化导致的行人再识别率较低的问题,提出时空特征结合相机关联自适应特征增强-MFA的视频行人再识别算法。本文首先基于视频提取时空梯度方向直方图(HOG3D)特征,基于图像提取表观特征,然后将两者结合作为视频行人目标的特征描述子,从而提高特征描述有效性;距离度量时将特征进行自适应特征增强后再作边际费希尔分析(Marginal Fisher Analysis, MFA),增强共性特征之间的联系,进一步提高距离度量阶段对特征的判别性。基于iLIDS-VID 和PRID 2011两大视频行人数据集讨论加入时空梯度方向直方图特征和相机关联自适应特征增强的算法性能提升,多组实验结果表明,该算法能够充分利用视频中包含的运动信息,得到鲁棒的视频行人再识别匹配模型,提高行人再识别的匹配精度。      

融合局部纹理和形状特征的人脸表情识别

针对局部二值模式(LBP)、中心对称局部二值模式(CS-LBP)和梯度方向直方图(HOG)的不足进行改进,该文提出中心对称局部平滑二值模式(CS-LSBP)和绝对梯度方向直方图(HOAG),并提出一种融合局部纹理特征和局部形状特征的人脸表情识别方法。该方法首先采用CS-LSBP算子和HOAG算子分别提取人脸表情图像的局部纹理特征和局部形状特征,然后使用典型线性分析法(CCA)进行特征融合,最后利用支持向量机(SVM)进行表情分类。在JAFFE人脸表情库和Cohn-Kanade(CK)人脸表情库上的实验结果表明,改进的特征提取方法能更加完整、精确地提取图像的细节信息,基于CCA的特征融合方法能充分发挥特征的表征能力,该文所提人脸表情识别方法取得了较好的分类识别效果。     

基于多视觉描述子及音频特征的动态序列人脸表情识别

关于面部表情识别的应用也正在渗透至各个领域,如安全驾驶、商品销售、临床医学等等.本文对面部表情识别相关技术进行研究,主要工作及贡献如下：研究非约束条件下人脸动态表情识别,提出了一种基于多视觉描述子及音频特征融合策略的动态表情识别算法.借助多视觉描述子的空时局部特征描述实现动态表情特征的提取;而视频、音频特征的融合策略改善了表情识别性能.基于协方差矩阵及时间轴分段的动态规整,有效地解决了具有不同时长的动态表情序列的样本描述.为进一步改善表情识别模型的泛化性能,本文引入了基于多个体识别模型加权投票的集成识别模型.针对投票过程中的权值学习,提出了基于随机重采样的投票权重学习以及基于个体分类模型相对优势的投票权重学习方法.集成决策进一步改善了表情识别性能.基于AFEW5.0的动态表情库实验验证了算法的有效性.     

基于稀疏特征挑选和概率线性判别分析的表情识别研究

提出一种基于稀疏特征挑选（Sparse selection）和概率线性判别分析（Probabilistic linear discriminant analysis）的表情识别方法SS-PLDA.该方法由两部分构成：第一部分是使用稀疏的方法挑选出人脸与表情相关的区域,构造表情的完备特征集;第二部分是针对构造的表情完备特征集里仍含有一些其他信息,运用概率线性判别分析实现表情特征与干扰信息的分离,学习出一个只含有表情信息的子空间,最后基于该表情子空间进行表情识别分析.通过在CK+和JAFFE这两个数据库上面的实验,证实了基于稀疏特征挑选的方法可以得到识别性能的改善,且先使用特征挑选再对所挑选结果应用概率线性判别分析可以达到更好的提升效果.     

基于时空分割融合的视频对象提取改进算法

提出一种基于时空分割融合的视频对象提取改进算法：时间分割基于变化检测，其关键是通过直方图分析选取合适的阈值；空间分割采用修正的分水岭变换，并通过一种基于时间距离和空间距离测度的区域合并算法克服“过分割”问题。实验结果表明，它可取得比COST211 AM更好的分割结果。     

基于Gabor小波变换的人脸表情识别

在人脸表情识别中,针对Gabor小波变换特征维数很大的问题,提出了一种新的多方向特征编码方法。通过对Gabor特征幅值进行统计处理,将每个像素点同一尺度不同方向的Gabor特征幅值闽值化成二进制,加强了Gabor小波对图像局部结构信息的表征。同时,结合了类似旋转不变LBP的方法对图像进行降维。为了进一步提高表情的正确识别率,采用一种局部区域融合的方法,最后在JAFFE表情库上进行测试,得到比较好的识别率,验证了所提方法的有效性。     

基于多尺度细节增强的面部表情识别方法

人类面部表情是其心理情绪变化的最直观刻画,不同人的面部表情具有很大差异,现有表情识别方法均利用面部统计特征区分不同表情,其缺乏对于人脸细节信息的深度挖掘。根据心理学家对面部行为编码的定义可以看出,人脸的局部细节信息决定了其表情意义。因此该文提出一种基于多尺度细节增强的面部表情识别方法,针对面部表情受图像细节影响较大的特点,提出利用高斯金字塔提取图像细节信息,并对图像进行细节增强,从而强化人脸表情信息。针对面部表情的局部性特点,提出利用层次结构的局部梯度特征计算方法,描述面部特征点局部形状特征。最后,使用支持向量机(SVM)对面部表情进行分类。该文在CK+表情数据库中的实验结果表明,该方法不仅验证了图像细节对面部表情识别过程的重要作用,而且在小规模训练数据下也能够得到非常好的识别结果,表情平均识别率达到98.19%。     

基于改进的LTP人脸表情识别算法

针对人脸表情识别背景复杂导致识别率低的缺点,提出了一种中心对称三值模式(CSTP)算法,首先对人脸表情图像进行分块处理,在每一子块上提取CSTP特征,并对该子块进行CSTP特征的直方图统计,然后求出各个子块对应的信息熵,构造自适应加权系数,再分别和各个子块的直方图相乘,将自适应加权后的各个子块特征向量级联作为最终的纹理特征,最后利用支持向量机(SVM)进行表情分类.在JAFFE和CMU-AMP表情库上进行试验,通过对比其他传统方法发现该算法对表情识别更有效.     

融合空间-时间双网络流和视觉注意的人体行为识别

该文受人脑视觉感知机理启发,在深度学习框架下提出融合时空双网络流和视觉注意的行为识别方法。首先,采用由粗到细Lucas-Kanade估计法逐帧提取视频中人体运动的光流特征。然后,利用预训练模型微调的GoogLeNet神经网络分别逐层卷积并聚合给定时间窗口视频中外观图像和相应光流特征。接着,利用长短时记忆多层递归网络交叉感知即得含高层显著结构的时空流语义特征序列;解码时间窗口内互相依赖的隐状态;输出空间流视觉特征描述和视频窗口中每帧标签概率分布。其次,利用相对熵计算时间维每帧注意力置信度,并融合空间网络流感知序列标签概率分布。最后,利用softmax分类视频中行为类别。实验结果表明,与其他现有方法相比,该文行为识别方法在分类准确度上具有显著优势。     

基于融合DCT和LBP特征提取的面部表情识别

针对离散余弦变换(DCT)只能提取面部表情图像的全局特征,而忽略了临近像素之间的关系、不能提取纹理特征信息、不能准确区分相似表情等问题,提出一种融合离散余弦变换方法和局部二值模式(LBP)特征的表情特征提取方法。该方法首先将人脸图像经过DCT获得的低频系数作为表情的全局特征;然后用LBP对贡献率较大的嘴部、眼睛区域进行局部纹理特征提取,通过将LBP提取到的局部纹理特征与DCT提取到的全局特征进行融合,从而得到更有效的表情特征;最后利用支持向量机(SVM)进行识别。实验结果表明:该方法比单独使用DCT方法提取的表情特征更有利于识别,提高了表情识别的准确性,并将这个表情识别方法用于智能轮椅的控制上,收到了良好的效果。     

融合表面肌电和加速度信号的下肢运动模式识别研究

为了提高下肢运动模式识别率,本文设计了一种融合表面肌电和加速度信号的下肢运动模式识别方法.首先,用局部均值分解将表面肌电信号分解为多个乘积函数（Product Functions,PFs）,再计算PF成分的多尺度排序熵.然后,通过拉普拉斯权重（Laplacian score,LS）特征选择算法选定每路肌电信号的一个尺度排序熵为特征,并把该特征和加速度信号的排序熵组成特征向量.最后,根据类内欧氏距离和类间样本分布,设计了改进的二叉树支持向量机,把特征向量输入该支持向量机进行下肢运动模式分类.实验结果表明所提方法对七个日常动作的平均识别率达到98.62%,相较于其他方法有较高的识别率.     

基于信息融合的视频序列图像中运动目标分割的研究

该文提出一种基于信息融合的方法分割视频序列图像运动目标。在彩色图像分割中,将部分空间信息介入到迭代均值偏移过程,实现无参数聚类。然后利用所提出的求等同标志连通区域的方法,将聚类后的图像划分成不同的独立区域;再利用HOS(高阶统计)方法进行运动检测,经后处理,得到运动目标粗模板。统计这个运动粗模板中等同颜色区域占原图像相应独立区域的比重,比重超过预置阈值的,则将该独立区域作为待融合区域。最后,将所有的待融合区域连接起来,就构成了运动目标模板。     

支持向量机的全局局部特征融合目标识别

提出一种基于支持向量机的全局局部特征融合目标识别方法,并将其运用到雷达一维距离像目标识别。该方法采用非线性辨别方法与局部保留映射方法分别提取样本的非线性全局特征与局部特征,并进行特征融合,以便提取更全面的样本特征,得到更加准确的识别结果,随后采用支持向量机进行分类识别,利用其对于非线性小样本问题的强大处理能力,进一步改善识别结果。对三种飞机目标的实测雷达一维距离像进行了仿真实验,结果表明了方法的有效性。     

基于心电与光电容积脉搏波特征层融合的身份识别方法

针对单模态的心电信号(ECG)或光电容积脉搏波信号(PPG)识别技术中存在的精度不高,未考虑类内相关性等问题,该文提出基于判别相关分析法(DCA)对ECG与PPG组合特征矩阵进行特征层融合以及对K-最近邻(KNN)和支持向量机(SVM)分类器在决策层融合的识别方法。实验结果表明,使用融合特征(ECG-PPG)与融合分类器(KNN-SVM)的方法对23名受试者进行分类识别的准确率可以达到98.2%,识别精度在常规环境下优于单模态识别。为多模生物特征身份识别提供了一种有效模型。     

基于曲面类型与深度学习融合的三维掌纹识别技术

传统的2维掌纹识别在图像采集时容易受到干湿度、残影和压力等影响,使得其鲁棒性和准确性降低。为解决这些问题,3维掌纹识别技术应运而生。现有的3维掌纹身份认证技术需要将掌纹的特征提取与匹配识别分开进行,不仅延缓了识别时间,更增加了不同方法优化组合的难度。该文提出一种基于曲面类型(ST)与深度学习融合的3维掌纹识别方法。该方法利用ST图像表示3维掌纹特征,并将其作为卷积神经网络(CNN)的输入,实现网络的训练。测试图像可自行提取掌纹图像特征信息并在网络中直接完成识别。实验结果表明,该文方法在公开数据集上得到了99.43%的准确率和28 ms的识别时间,与传统3维掌纹识别方法相比均有提高,实现了3维掌纹的快速高精度识别。