基于数据融合的表情识别

本文为了解决表情识别中单一数据所包含人脸表情信息不全面的问题,融合了图像与标记点数据;针对传统模式识别方法中手动提取特征的复杂性,采用了神经网络框架,从而实现特征的自动提取。本文算法以人脸表情的图像与标记点数据为基础,以神经网络为框架,采用稀疏自动编码器对网络进行预训练,实现了网络的稀疏连接,另外,在网络权值更新过程中结合了结构化正则项（Structured Regularization）,限制了不同数据与隐层神经元的连接。实验表明：图像与标记点数据的融合更全面地表达了人脸表情信息;稀疏自动编码器和结构化正则项的运用能更有效的提取关键特征并使神经网络自动分析不同输入数据在表情识别中所起到的作用强弱。     

一种基于卷积神经网络的人脸表情自动识别方法

针对传统机器学习方法在人脸表情识别上存在特征提取繁琐、表情识别准确率不高的问题,提出一种基于深度学习的人脸表情自动识别方法.设计了一个卷积神经网络模型,以原始图像数据为输入,中间以卷积层和池化层交替作为隐层进行特征自动提取,最后将提取到的特征数据映射到全连接层,并采用Softmax函数作为分类器计算分类得分概率,实现人脸表情的自动识别分类.在公开的人脸表情数据集CK+上进行实验,结果表明本文方法能更准确地识别人脸表情.     

面向面部表情识别的双通道卷积神经网络

面部表情识别是机器感知人类情绪变化的重要途径,但表情识别受不同个体及情绪强弱差异影响较大,难以手动设计准确的特征.提出一种基于双通道卷积神经网络的面部表情识别方法,首先对采集得到的人脸图像进行预处理以限制分析范围,同时分析人脸灰度图像与对应的LBP图像以兼顾全局与细节特征;针对双通道输入数据,利用不同参数的卷积神经网络自动提取面部特征,通过加权融合分类网络进行特征融合,并利用softmax分类不同表情.实验结果表明,该算法能够以较高的准确率识别6种基本面部表情(高兴、悲伤、愤怒、沮丧、恐惧及惊讶).该方法性能优于基于手动设计特征的面部表情识别方法及单通道CNN方法,相比于其他双通道CNN方法,能通过更简单的处理得到近似的识别结果.     

一种基于改进的卷积神经网络的人脸表情识别方法

针对人脸表情识别的准确率较低、鲁棒性较差的问题,本文提出一种加深层数的卷积神经网络,将卷积神经网络LeNet的2层卷积、2层池化、一层全连接分别修改为4层卷积、4层池化、2层全连接.首先对人脸表情图像进行关键点定位、人脸裁剪、图像归一化等预处理,然后利用卷积层提取人脸图像的低维度和高维度的特征信息,池化层对提取的人脸特征信息进行降维处理.最后采用softmax分类器对训练样本图像的表情进行分类识别.为了提高表情识别的准确率,在表情训练集中加入了自制的标注图片集.仿真对比实验表明改进的模型精度更高、损失曲线更平滑,验证了改进网络的有效性.     

基于多特征融合的表情识别算法

针对轻量级面部表情识别算法泛化能力的不足，提出了一种结合多特征融合和注意力机制的表情识别方法。使用局部二值模式(Local Binary Pattern, LBP)算子减少面部图像中无关信息的干扰，双分支神经网络提取原始人脸图像和LBP图像的特征，融合两个网络提取的中高层特征，并通过注意力机制加强重要特征，在保持较少参数量的同时生成大量的有效特征信息提高算法的识别效果。实验结果表明，该方法在Fer2013和CK+数据集上的识别率分别为70.21%和95.59%，有效地提高了轻量级表情识别算法的性能。     

基于特征融合的人脸表情识别算法研究

为了避免传统表情识别方法中复杂的特征手动提取过程,同时保证能够提取到更多的表情特征,文中提出一种融合卷积神经网络(Convolutional Neural Network,CNN)、方向梯度直方图(Histogram of Oriented Gradient,HOG)以及人脸关键点定位(facial landmark detection)的人脸表情识别方法.该方法首先通过在图像预处理中使用多任务卷积神经网络(Multi-task convolutional neural network,MTCNN)对不同尺度输入图像进行人脸检测并得到人脸的关键点位置信息(facial landmark).然后根据facial landmark的位置信息计算出人脸表情图像的几何结构特征,并且计算人脸表情图像局部区域的方向梯度直方图来构成HOG特征,采用特征融合的方式将facial landmark和HOG特征做进一步的融合形成新的特征向量LM_HOG.最后将融合后的特征与经过CNN提取的全局特征再次融合输入到支持向量机(Support Vector Machine,SVM)和Softmax中进行表情识别.在FER2013和Extended Cohn-Kanade(CK+)人脸表情库上的实验结果表明,将融合得到的LM_HOG特征作为局部特征,用以描述图像的局部性差异,CNN提取的特征作为全局特征,用以描述人脸表情图像的整体性差异,融合后的特征能更好的提取图像细节特征,平均识别率分别达到了75.14％和97.86％,具有优越的性能.     

基于公共空间视频的人脸情绪识别

针对公共空间中人脸情绪识别准确率不高的问题,提出一种结合不同感受野和双流卷积神经网络的人脸情绪识别方法。首先建立基于公共空间视频的人脸表情数据集;然后设计一个双流卷积网络,以尺寸为224×224的单帧人脸图像输入卷积神经网络(convolution neural network,CNN),分析图像纹理静态特征;以尺寸为336×336视频序列输入CNN网络,再将提取的特征送入长短期记忆网络(long short term memory network,LSTM)分析局部、全局运动特征;最后通过Softmax分类器将两通道网络的描述子进行加权融合,得到分类结果。结果表明,本文方法能有效利用不同感受野的信息特征清晰识别公共空间的4种典型人脸情绪,识别准确率达88.89%。     

一种识别表情序列的卷积神经网络

传统的人脸表情识别方法需要人为指定特征训练方向,卷积神经网络方法虽然可以自动训练分类特征,但是存在无法识别表情序列的弊端．针对此问题,运用一种多网络融合技术,使构建的网络能够对表情序列进行识别．网络构建方法为:首先构建多个卷积神经网络,使每个网络处理一帧图片;然后将处理结果在融合层进行融合;最后通过一个分类器输出识别结果．在CK+人脸表情数据库上,分别对3帧、4帧和5帧表情序列进行实验,均获得了较高的识别率．     

基于人工智能技术的人脸图像局部细节信息识别研究

为了提高人脸图像局部细节信息识别能力,提出基于人工智能技术的人脸图像局部细节信息识别方法.提取不同表情下的人脸图像,结合多区域融合聚类分析方法进行不同表情下的人脸动态特征提取,建立人脸图像的边缘轮廓特征检测模型;采用相似度特征分析方法进行不同表情下人脸图像的鲁棒性重构;提取不同表情下人脸图像的模糊度辨识特征信息,通过多...     

基于判别式字典的正则化稀疏表示人脸识别算法

为了克服非约束性(光照、表情变化)条件下会大大降低人脸识别率的缺陷,提出一种基于Fisher判别准则的正则化稀疏表示人脸识别算法.首先将人脸图像经过Gabor滤波器滤波得到Gabor幅值图像,提取其统一化的局部二进制直方图,然后利用Fisher判别准则学习得到新的字典,最后通过正则化的稀疏表示判断测试图像所属类.利用AR数据库的数据进行实验的结果表明,与SRC、FDDL、RSC识别算法相比,本文算法在非约束性条件下具有最佳的识别率.     

一种基于稀疏自编码网络的数据降维方法研究

高维数据的“维数灾难”问题制约了机器学习、模式识别等诸多研究领域的发展研究。因此高维数据的降维方法,即将高维的特征数据化简投射到低维空间中,成为当前研究热点之一。稀疏自动编码器(Sparse Autoencoder)网络通过训练具有多隐含层的神经网络将高维数据进行降维,能有效地解决了高维数据由于维数过大导致的识别率低的问题。将网络用于手写体数字图像识别及人脸图像识别实验,取得了较好地识别结果,表明稀疏自动编码网络能有效地对高维数据降维。     

基于递归双对抗网络模型的人脸表情生成

针对目前表情生成网络中存在的人脸表情失真、不同帧间图像明暗差异明显的问题,提出一种基于递归双对抗网络模型的人脸表情生成框架。首先通过提取深度人脸特征并生成表情特征图,将其作为监督信号,生成人脸表情种子图像;然后使用生成的种子图像和原始目标人脸一起作为输入,生成特征保持图像,作为当前帧的输出,同时该特征保持图像也作为下一帧种子图像生成的输入;最后,将种子图像生成网络和特征保持图像生成网络递归进行下一帧图像的生成,多次递归得到与原始输入表情一致的特征保持人脸表情视频序列。在CK+和MMI数据库上的实验结果表明,提出的方法能够生成清晰自然的人脸表情视频帧,且在目标人脸形状和驱动的表情特征图像有较大形状差异时具有鲁棒性。     

基于LGRP和多特征融合的人脸表情识别

针对复杂的Gabor滤波器直接抽取人脸特征数据存在一些冗余信息以及提取的表情特征较为单一的缺点,提出了基于LGRP和多特征融合人脸表情的识别方法。首先,提取人脸表情图像的Gabor多方向和多尺度特征,进一步编码得到局部Gabor排序模式(LGRP),以增强鲁棒性以及区分能力;其次,引入Haar小波和Otsu阈值分割法分别提取表情特征,通过级联融合3种不同的特征,可以全面地表达图像的局部特征和全局特征;最后,采用支持向量机(SVM)对人脸表情进行多分类。在CK+表情库上进行仿真实验,平均识别率达到94. 36%。与其他方法的比较结果表明,该方法取得了很好的识别率和鲁棒性。     

基于Semi-Supervised LLE的人脸表情识别方法

目的 为提取有效的鉴别特征和降低鉴别向量的维数来识别人脸表情图像.方法 将流行学习(Manifold leaming,ML)和半监督学习(Semi-Supervised leaming,SSL)结合起来,利用人脸表情图像数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸表情识别.结果 该方法 能充分利用数据的结构信息和有限的标签信息,使具有标签信息的同类样本之间的距离最小化,不同类数据之间的距离最大化,进而可以有效地提取数据的低维鉴别子流形,使得分类性能要优于非监督的雏数约简方法 .结论 笔者提出的半监督局部线性嵌入算法能有效地提高人脸表情识别的性能.     

基于深度卷积自编码网络的小样本光伏热斑识别与定位

针对传统卷积神经网络训练需要大量数据、而热斑效应图像样本量较少的现状,构建一种深度卷积自编码网络模型用于小样本光伏热斑识别与定位.首先对原始光伏红外图像做预处理得到小样本数据集,然后构建一种以卷积神经网络为基础、结合自编码器的深度卷积自编码网络模型.该模型能自动学习并提取小样本图像中的有效特征,提高识别准确率.实验结果...     

年龄算子深度稀疏融合扩展表情识别

为解决不同年龄段的人群在表情特征上的特质差异,提出了年龄算子深度稀疏融合扩展表情识别模型.该模型利用高层级形式的线性字典序列作为稀疏表示的输入信号,将输入对象以线性组合的方式构造训练集,并在所有求解中以稀疏级别为指标选择最优解,进一步通过卷积神经网络的卷积、池化和全连接处理,通过融合扩展策略解决数据集相似度高、数量不足及分布不均的问题.在此基础上结合了年龄算子作为特征元素与表情特征一并提取并作为分类决策依据.通过深度稀疏融合扩展,并利用年龄算子的人体测量模型、内部角度构算和皮肤皱纹检测作为表情特征提取附加因子,经过多数据集实验结果比对,证明了本算法跨数据集的有效性和稳定性,并通过代表性跨年龄表情分类算法横向比对,证明了本算法的优势.该方法对跨年龄表情识别准确度和鲁棒性有较好效果,有一定研究价值和参考意义.     

基于深度卷积神经网络的羽绒图像识别

由于图像中羽绒形态及其多样性,传统的图像识别方法难以正确识别羽绒分拣图像中的羽绒类型,其识别精度也难以达到实际生产的要求.为解决上述问题,构造了一种用于羽绒类型识别的深度卷积神经网络,并对其权值初始化方法进行了改进.首先利用视觉显著性模型提取羽绒图像的显著部分,然后将图像的显著部分输入到稀疏自动编码器中进行训练,得到一组符合数据集统计特性的卷积核集合.最后采用Inception及其变种模块实现深度卷积神经网络的构造,通过增加网络深度来提高网络的识别精度.试验结果表明,用所构造的深度卷积神经网络对羽绒图像识别的精度较传统卷积神经网络的提高了2.7%,且改进的权值初始化方法使网络的收敛速度提高了25.5%.     

一种基于局部特征点匹配的人脸识别方法

在局部特征分析思想的基础上提出了用基于正则化函数的的稀疏成分分析法来提取局部特征点,并利用两种匹配方法进行了匹配度的计算,依据匹配度的大小完成识别.实践证明该方法对人脸正面图像能进行准确的识别,并且对目标的局部区域变化能够保持很好的鲁棒性.     

基于卷积-反卷积网络的正交人脸特征学习算法

身份特征与表情特征是人脸图像分析中的两组重要特征,传统的有监督正交人脸特征学习(supervised orthogonal facial feature learning,SOFFL)算法虽然能够在给定表情和身份标签时学习这一对特征,但因数据要求较高令其应用受限.提出一种低数据要求的无监督正交人脸特征学习(unsupervised orthogonal facial feature learning,UOFFL)算法,通过提取正交人脸特征的统一框架,假设人脸图像空间中仅有身份和表情变化,使用重构损失、分类损失和相关性最小化损失的组合,采用深度卷积-反卷积神经网络,从已对齐的人脸图像中联合学习,提取身份和表情特征.其中,分类损失用于学习表情特征;相关性最小化损失用于提高身份特征和表情特征之间的独立性;重构损失用于确保两组特征组合的信息完整性.在大规模合成人脸表情数据集(large-scale synthesized facial expression dataset,LSFED)和受限的Radboud人脸数据集(Radboud faces dataset,RaFD)上进行验证,将所学身份特征空间中的欧氏距离用于人脸验证任务,结果表明,算法性能接近联合贝叶斯等有监督人脸识别方法.UOFFL算法可在身份标签缺失的条件下,仅使用表情特征学得身份特征.相比改进前的SOFFL算法,该方法缓解了对身份标签的依赖,适用场合更广.     

融合表示学习的中医面部穴位检测框架

现有智能穴位检测方法存在依赖红外等外部设备、特征表示挖掘不足、穴位检测精度较低等问题。在分析穴位检测需求的基础上,将其定义为基于视觉图像的关键点检测任务,提出融合特征表示学习的中医面部穴位检测模型框架FADbR。首先,构建基于自监督学习机制的对抗自编码网络模型,通过人脸图像重建任务实现特征表示学习,利用神经网络提取人脸隐性知识,深度挖掘面部抽象特征。随后,基于自监督学习对抗自编码器构建监督学习面部穴位检测模型,充分利用学习到的人脸隐性知识提高智能面部穴位检测精度。最后,基于现有人脸数据库构建稠密人脸穴位数据集FAcupoint并用于方法验证。实验结果表明,FADbR可以通过表示学习挖掘面部关键特征支撑穴位检测任务,即使在少量训练样本的情况下也能够获得较好的检测性能。