面部表情认知预处理与仿真

探讨面部表情认知预处理与仿真的实现,完成对人脸图像预处理算法实现和手绘图像表情识别两方面的研究工作。由于人面部表情的多变和面部皮肤存在不同干扰区域,对图像干扰颗粒处理的扫描标号算法进行了研究,同时对手绘图像表情识别的识别率进行了分析。     

基于图像的面部表情识别方法综述

近年来,面部表情识别在教育、医学、心理分析以及商业领域得到了广泛关注。针对目前表情识别方法不够系统、概念模糊的问题,对面部表情识别的步骤及其方法进行了综述探讨。首先,介绍了目前常用的人脸表情数据集,并回顾了面部表情识别的发展历程;然后,介绍了人脸表情识别的面部表情编码和面部表情识别过程这两个方面,归纳了人脸面部表情识别的四个过程,重点总结了特征提取和表情分类两个过程中的经典算法以及这些算法的基本原理和优劣比较;最后,指出了目前面部表情识别存在的问题和未来可能的发展趋势。     

基于加权多头并行注意力的局部遮挡面部表情识别

面部表情识别在诸多领域具有广泛的应用价值, 但在识别过程中局部遮挡会导致面部难以提取有效的表情识别特征, 而局部遮挡的面部表情识别可能需要多个区域的表情特征, 单一的注意力机制无法同时关注面部多个区域特征. 针对这一问题, 本文提出了一种基于加权多头并行注意力的局部遮挡面部表情识别模型, 该模型通过并行多个通道-空间注意力提取局部未被遮挡的多个面部区域表情特征, 有效缓解了遮挡对表情识别的干扰, 大量的实验结果表明, 本文的方法相比于很多先进的方法取得了最优的性能, 在RAF-DB和FERPlus上的准确率分别为89.54%、89.13%, 在真实遮挡的数据集Occlusion-RAF-DB和Occlusion-FERPlus的准确率分别为87.47%、86.28%. 因此, 本文的方法具有很强的鲁棒性.     

图像生成和深度度量学习的身份感知面部表情识别方法

为解决面部表情识别中不同图像的背景信息和身份特征会干扰分类准确率的问题,提出一种将图像合成技术和深度度量学习相结合的身份感知人脸表情识别方法,通过在面部表情识别任务中创建相同身份下的表情组,对人脸图像特征进行比较分类.其结构中对抗生成网络,目标在于学习表情信息并生成表情组;特征提取网络用于将图像转化成为可进行度量学习的...     

结合关键点与权重分配残差网络的表情识别

现有人脸表情识别算法易受图像背景、非表情内容等无关因素的影响。此外,部分人脸表情（例如害怕、生气、伤心等表情）的类间差异较小也制约着算法的性能。针对上述两个问题,提出了一种融合面部关键点和权重分配残差网络的表情识别算法。通过面部关键点获取最大的表情范围以消除图像背景和非表情内容的干扰,将预处理后的表情图像作为深度残差网络的输入,引入权重分配机制从通道和空间维度上进行注意权重推断,实现不同区域的权重分配,进而引导深度残差网络学习对表情具有鉴别力的局部特征。该算法分别在FER2013和CK+表情数据集上达到了74.14%和98.99%的识别准确率,有效改善了生气、伤心、害怕等类间差异较小的表情识别准确率。     

疲劳表情识别的研究与仿真

研究疲劳状态的表情识别问题.针对当人体处在疲惫状态与常规表情中的人脸面部特征变化不是很明显,在普通状态下的面部表情差别不大.传统的表情识别算法很难准确高效的识别.为提高识别率,提出了关联面部特征的表情识别方法.首先对人脸主要图像进行特征检测,然后建立特征集,根据特征向量之间的变化将细节特征向量进行有效联系,克服传统方法的弊端,根据微小的关联变化完成表情识别.实验结果表明,方法的能够对面部特征细微变化下的人脸图像进行有效的疲惫表情识别,提高了识别的准确度.     

基于支持向量机的实时表情识别

从实时图像中识别面部表情和推断情感是一个极具挑战性的研究课题。文章介绍了一种根据视频图像对面部表情进行实时识别的方法。使用ASM方法和改进的L-K光流算法进行面部特征定位和特征跟踪,提取的面部特征位移作为支持向量机分类器的输入。实验证明,支持向量机和特征跟踪的方法能很好地识别面部表情。     

面部表情识别研究进展

面部表情识别是计算机视觉中一个具有挑战性的课题,该文对国内外面部表情识别做了系统综述与比较,分析了面部表情识别目前存在的问题,并对今后发展提出了几点思考.     

深度人脸表情识别研究进展

随着人脸表情识别任务逐渐从实验室受控环境转移至具有挑战性的真实世界环境,在深度学习技术的迅猛发展下,深度神经网络能够学习出具有判别能力的特征,逐渐应用于自动人脸表情识别任务。目前的深度人脸表情识别系统致力于解决以下两个问题：1）由于缺乏足量训练数据导致的过拟合问题;2）真实世界环境下其他与表情无关因素变量（例如光照、头部姿态和身份特征）带来的干扰问题。本文首先对近十年深度人脸表情识别方法的研究现状以及相关人脸表情数据库的发展进行概括。然后,将目前基于深度学习的人脸表情识别方法分为两类：静态人脸表情识别和动态人脸表情识别,并对这两类方法分别进行介绍和综述。针对目前领域内先进的深度表情识别算法,对其在常见表情数据库上的性能进行了对比并详细分析了各类算法的优缺点。最后本文对该领域的未来研究方向和机遇挑战进行了总结和展望：考虑到表情本质上是面部肌肉运动的动态活动,基于动态序列的深度表情识别网络往往能够取得比静态表情识别网络更好的识别效果。此外,结合其他表情模型如面部动作单元模型以及其他多媒体模态,如音频模态和人体生理信息能够将表情识别拓展到更具有实际应用价值的场景。     

基于混淆交叉支撑向量机树的自动面部表情分类方法

面部表情自动分类是情感信息处理研究中的重要内容,为了提高表情识别的准确率以及鲁棒性,提出了一种基于混淆交叉支撑向量机树的面部表情自动分类方法。该方法依据伪Zernike矩特征,以混淆交叉支撑向量机树对矩特征进行学习,实现面部表情的自动分类。混淆交叉支撑向量机树的结构使模型能够根据教师信号将面部表情识别问题分解,在不同的层次上以相对较低的复杂度解决子问题;在训练阶段,对当前中间节点划分的两个子样本集进行混淆交叉,增强了模型在面部表情识别上的整体泛化性能以及鲁棒性。实验对Cohn-Kanade面部表情数据库中的6类基本表情进行自动分类,准确率达到96.31%;与同样基于该数据库的识别方法相比,该方法在识别正确率和鲁棒性上具有较大的优势。     

面向类内差距表情的深度学习识别

目的 为解决真实环境中由类内差距引起的面部表情识别率低及室内外复杂环境对类内差距较大的面部表情识别难度大等问题,提出一种利用生成对抗网络（generative adversarial network,GAN）识别面部表情的方法。方法 在GAN生成对抗的思想下,构建一种IC-GAN（intra-class gap GAN）网络结构,使用卷积组建编码器、解码器对自制混合表情图像进行更深层次的特征提取,使用基于动量的Adam（adaptive moment estimation）优化算法进行网络权重更新,重点针对真实环境面部表情识别过程中的类内差距较大的表情进行识别,使其更好地适应类内差异较大的任务。结果 基于Pytorch环境,在自制的面部表情数据集上进行训练,在面部表情验证集上进行测试,并与深度置信网络（deep belief network,DBN）和GoogLeNet网络进行对比实验,最终IC-GAN网络的识别结果比DBN网络和GoogLeNet网络分别提高11%和8.3%。结论 实验验证了IC-GAN在类内差距较大的面部表情识别中的精度,降低了面部表情在类内差距较大情况下的误识率,提高了系统鲁棒性,为面部表情的生成工作打下了坚实的基础。     

一种机器视觉的人脸表情识别检测系统

针对目前老师无法及时发现学生在课堂上走神、不认真听讲的现象,以及课堂教学质量和效率较低等问题,提出了一种基于机器视觉技术的人脸表情识别检测系统.通过VS与OpenCv开发的人脸表情识别算法,对获取到的学生面部表情图像进行预处理,经过阈值分割处理后得到面部表情二值化图像,结合开闭运算对不同面部的不同表情特征进行形态学的运...     

疲劳驾驶面部表情识别算法

针对疲劳驾驶的六种表情 ,提出几何规范化结合 Gabor滤波提取表情特征 ,使用支持向量机对疲劳驾驶的面部表情分类识别的系统。首先对视频图像预处理进行几何规范化 ,利用二维 Gabor核函数构造最优滤波器 48个,获取 48个面部表情特征点 ,最后利用支持向量机进行面部表情分类识别。实验结果表明径向基函数的 SVM性能最好。     

人脸疼痛表情识别综述

自动疼痛识别技术在医疗保健,特别是在对无法用语言表达疼痛的病人的治疗和护理中具有广泛的应用前景,因此逐步受到研究者的关注。由于人的面部线索是很重要的疼痛评估依据,并且基于计算机视觉技术的人脸表情识别研究已取得很大进展,因此利用面部表情信息实现自动疼痛识别成为了一条有效的途径。本文首先简要介绍了目前常用的STOIC表情数据库、 婴儿疼痛表情分类（COPE）数据库、UNBC-McMaster肩部疼痛数据库和BioVid热疼痛数据库,然后从静态图像疼痛表情识别、视频序列疼痛表情识别、特定人物疼痛识别以及多信息融合疼痛识别4个方面对近10年的疼痛表情识别主要方法进行了详细 的介绍,最后对目前人脸疼痛表情识别现状进行总结和分析,并阐述了其存在的挑战和未来的发展方向。     

结合LBP圆形算子的CNN面部表情识别研究

利用机器学习中卷积神经网络(CNN)擅长处理图像的优势，结合改进的局部二值模式(LBP)圆形算子，实现了人脸面部表情的识别。提取的人脸表情特征纹理信息得到增强，抑制了图像中光照、背景等干扰因素，并达到了灰度和旋转不变性的要求。在FER2013数据库上的实验结果表明，相比于原始图像的输入，结合LBP圆形算子的CNN结构能够有效提高面部表情识别的准确率。     

面向学前教育对话机器人的多模态情感识别实现关键技术

为进一步提高学前教育对话机器人交互过程的准确性，结合多模态融合思想，提出一种基于面部表情情感和语音情感融合的识别技术。其中，为解决面部表情异常视频帧的问题，采用卷积神经网络对人脸进行检测，然后基于Gabor小波变换对人脸表情进行特征提取，最后通过残差网络对面部表情情感进行识别；为提高情感识别的准确性，协助学前教育机器人更好地理解儿童情感，在采用MFCC对连续语音特征进行提取后，通过残差网络对连续语音情感进行识别；利用多元线性回归算法对面部和语音情感识别结果进行融合。在AVEC2019数据集上的验证结果表明，表情情感识别和连续语音情感识别均具有较高识别精度；与传统的单一情感识别相比，多模态融合识别的一致性相关系数最高，达0.77。由此得出，将多模态情感识别的方法将有助于提高学前教育对话机器人交互过程中的情感识别水平，提高对话机器人的智能化。     

融合表情和BVP生理信号的双模态视频情感识别

目的 针对当前视频情感判别方法大多仅依赖面部表情、而忽略了面部视频中潜藏的生理信号所包含的情感信息,本文提出一种基于面部表情和血容量脉冲（BVP）生理信号的双模态视频情感识别方法。方法 首先对视频进行预处理获取面部视频;然后对面部视频分别提取LBP-TOP和HOG-TOP两种时空表情特征,并利用视频颜色放大技术获取BVP生理信号,进而提取生理信号情感特征;接着将两种特征分别送入BP分类器训练分类模型;最后利用模糊积分进行决策层融合,得出情感识别结果。结果 在实验室自建面部视频情感库上进行实验,表情单模态和生理信号单模态的平均识别率分别为80%和63.75%,而融合后的情感识别结果为83.33%,高于融合前单一模态的情感识别精度,说明了本文融合双模态进行情感识别的有效性。结论 本文提出的双模态时空特征融合的情感识别方法更能充分地利用视频中的情感信息,有效增强了视频情感的分类性能,与类似的视频情感识别算法对比实验验证了本文方法的优越性。另外,基于模糊积分的决策层融合算法有效地降低了不可靠决策信息对融合的干扰,最终获得更优的识别精度。     

基于PCA与SVM结合的面部表情识别的智能轮椅控制

为了实现基于面部表情识别的智能轮椅控制,在传统的支持向量机(SVM)面部表情识别与分类方法的基础上,采用基于"八眼"的面部有效区域提取方法,将基于主成分分析(PCA)的面部表情特征提取方法与支持向量机分类方法相结合,实现了面部表情的识别与分类,并最终实现基于面部表情识别的智能轮椅的运动控制。实验结果表明,所采用的方法在识别率上明显优于传统SVM与PCA方法。     

视频中非特定人的面部表情分析算法

针对视频人脸表情识别存在对非特定人的面部表情识别率低(约75%),有效的特征信息提取困难等问题,提出了基于分块的三维正交平面的完全局部二值模式(CLBP-TOP)的特征提取方法,实现了对任意长度视频的面部表情识别和分析。对表情视频序列进行预处理;对人脸主要区域的每个分块提取CLBP-TOP特征,得到最后的联合统计直方图特征;利用动态时间规划度量距离的最近邻规则进行表情识别;提出的表情持续时间和表情强度指数实现了对表情分析的详细描述。在CK+数据库上测试,提出的方法与LBP-TOP方法相比平均识别率提高了12. 04%,且能够对任意长度的表情视频片段进行表情识别和相关系数分析。     

面部表情的深度卷积级联森林识别

面部表情识别广泛应用于各种研究领域,针对面部表情识别使用深度神经网络方法结构复杂、可解释性差和传统机器学习方法特征提取缺乏多样性、识别率低的问题.提出了一种新的深度卷积级联森林(Deep Convolution Cascade Forest,DCCF)方法用于人脸面部表情识别,该方法通过卷积神经网络深度学习人脸面部显著...