一种基于改进的卷积神经网络的人脸表情识别方法

针对人脸表情识别的准确率较低、鲁棒性较差的问题,本文提出一种加深层数的卷积神经网络,将卷积神经网络LeNet的2层卷积、2层池化、一层全连接分别修改为4层卷积、4层池化、2层全连接.首先对人脸表情图像进行关键点定位、人脸裁剪、图像归一化等预处理,然后利用卷积层提取人脸图像的低维度和高维度的特征信息,池化层对提取的人脸特征信息进行降维处理.最后采用softmax分类器对训练样本图像的表情进行分类识别.为了提高表情识别的准确率,在表情训练集中加入了自制的标注图片集.仿真对比实验表明改进的模型精度更高、损失曲线更平滑,验证了改进网络的有效性.     

面向面部表情识别的双通道卷积神经网络

面部表情识别是机器感知人类情绪变化的重要途径,但表情识别受不同个体及情绪强弱差异影响较大,难以手动设计准确的特征.提出一种基于双通道卷积神经网络的面部表情识别方法,首先对采集得到的人脸图像进行预处理以限制分析范围,同时分析人脸灰度图像与对应的LBP图像以兼顾全局与细节特征;针对双通道输入数据,利用不同参数的卷积神经网络自动提取面部特征,通过加权融合分类网络进行特征融合,并利用softmax分类不同表情.实验结果表明,该算法能够以较高的准确率识别6种基本面部表情(高兴、悲伤、愤怒、沮丧、恐惧及惊讶).该方法性能优于基于手动设计特征的面部表情识别方法及单通道CNN方法,相比于其他双通道CNN方法,能通过更简单的处理得到近似的识别结果.     

一种识别表情序列的卷积神经网络

传统的人脸表情识别方法需要人为指定特征训练方向,卷积神经网络方法虽然可以自动训练分类特征,但是存在无法识别表情序列的弊端．针对此问题,运用一种多网络融合技术,使构建的网络能够对表情序列进行识别．网络构建方法为:首先构建多个卷积神经网络,使每个网络处理一帧图片;然后将处理结果在融合层进行融合;最后通过一个分类器输出识别结果．在CK+人脸表情数据库上,分别对3帧、4帧和5帧表情序列进行实验,均获得了较高的识别率．     

基于特征融合的人脸表情识别算法研究

为了避免传统表情识别方法中复杂的特征手动提取过程,同时保证能够提取到更多的表情特征,文中提出一种融合卷积神经网络(Convolutional Neural Network,CNN)、方向梯度直方图(Histogram of Oriented Gradient,HOG)以及人脸关键点定位(facial landmark detection)的人脸表情识别方法.该方法首先通过在图像预处理中使用多任务卷积神经网络(Multi-task convolutional neural network,MTCNN)对不同尺度输入图像进行人脸检测并得到人脸的关键点位置信息(facial landmark).然后根据facial landmark的位置信息计算出人脸表情图像的几何结构特征,并且计算人脸表情图像局部区域的方向梯度直方图来构成HOG特征,采用特征融合的方式将facial landmark和HOG特征做进一步的融合形成新的特征向量LM_HOG.最后将融合后的特征与经过CNN提取的全局特征再次融合输入到支持向量机(Support Vector Machine,SVM)和Softmax中进行表情识别.在FER2013和Extended Cohn-Kanade(CK+)人脸表情库上的实验结果表明,将融合得到的LM_HOG特征作为局部特征,用以描述图像的局部性差异,CNN提取的特征作为全局特征,用以描述人脸表情图像的整体性差异,融合后的特征能更好的提取图像细节特征,平均识别率分别达到了75.14％和97.86％,具有优越的性能.     

基于卷积-反卷积网络的正交人脸特征学习算法

身份特征与表情特征是人脸图像分析中的两组重要特征,传统的有监督正交人脸特征学习(supervised orthogonal facial feature learning,SOFFL)算法虽然能够在给定表情和身份标签时学习这一对特征,但因数据要求较高令其应用受限.提出一种低数据要求的无监督正交人脸特征学习(unsupervised orthogonal facial feature learning,UOFFL)算法,通过提取正交人脸特征的统一框架,假设人脸图像空间中仅有身份和表情变化,使用重构损失、分类损失和相关性最小化损失的组合,采用深度卷积-反卷积神经网络,从已对齐的人脸图像中联合学习,提取身份和表情特征.其中,分类损失用于学习表情特征;相关性最小化损失用于提高身份特征和表情特征之间的独立性;重构损失用于确保两组特征组合的信息完整性.在大规模合成人脸表情数据集(large-scale synthesized facial expression dataset,LSFED)和受限的Radboud人脸数据集(Radboud faces dataset,RaFD)上进行验证,将所学身份特征空间中的欧氏距离用于人脸验证任务,结果表明,算法性能接近联合贝叶斯等有监督人脸识别方法.UOFFL算法可在身份标签缺失的条件下,仅使用表情特征学得身份特征.相比改进前的SOFFL算法,该方法缓解了对身份标签的依赖,适用场合更广.     

基于公共空间视频的人脸情绪识别

针对公共空间中人脸情绪识别准确率不高的问题,提出一种结合不同感受野和双流卷积神经网络的人脸情绪识别方法。首先建立基于公共空间视频的人脸表情数据集;然后设计一个双流卷积网络,以尺寸为224×224的单帧人脸图像输入卷积神经网络(convolution neural network,CNN),分析图像纹理静态特征;以尺寸为336×336视频序列输入CNN网络,再将提取的特征送入长短期记忆网络(long short term memory network,LSTM)分析局部、全局运动特征;最后通过Softmax分类器将两通道网络的描述子进行加权融合,得到分类结果。结果表明,本文方法能有效利用不同感受野的信息特征清晰识别公共空间的4种典型人脸情绪,识别准确率达88.89%。     

深度连续卷积神经网络模型构建与性能分析

为了提升卷积神经网络特征提取能力,设计了一种基于连续卷积的深度卷积神经网络模型.该模型采用小尺度的卷积核来更细致地提取局部特征,并借助连续的两个卷积层增加模型的非线性表达能力,结合Dropout技术降低神经元之间的相互依赖,利用抑制网络过拟合对模型进行优化.人脸表情、手写数字字符和彩色图像的目标识别实验表明,在图像较为复杂时,该模型在识别的准确性和泛化性能上比手工特征提取方法及一般的2、3层卷积结构具有明显的优势.     

基于多群体遗传算法的人脸表情识别

人脸表情识别是目前比较活跃的研究课题。该文提出一种采用多群体遗传算法进化的支持向量机对人脸表情进行分类的新型算法。先提取人脸表情特征,然后采用多群体遗传算法自动选择最优的支持向量机核函数,最后用支持向量机的方法进行分类．在日本JAFFE人脸表情库上进行了仿真实验,并与其他方法进行了比较,该文提出的方法获得了更好的识别效果。     

一种边缘二进制码的表情识别方法

针对如何从图像中提取有效的表情特征来提高表情识别率的问题,提出了一种基于边缘二进制码的表情特征提取方法,用于表情识别.该方法首先对图像进行边缘检测,然后对边缘的局部结构进行二进制码描述作为表情特征,最后利用支持向量机进行表情分类.在JAFFE人脸表情数据库上,分别用该方法和传统的方法进行试验,结果表明,该方法可显著提高表情识别率.     

基于Semi-Supervised LLE的人脸表情识别方法

目的 为提取有效的鉴别特征和降低鉴别向量的维数来识别人脸表情图像.方法 将流行学习(Manifold leaming,ML)和半监督学习(Semi-Supervised leaming,SSL)结合起来,利用人脸表情图像数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸表情识别.结果 该方法 能充分利用数据的结构信息和有限的标签信息,使具有标签信息的同类样本之间的距离最小化,不同类数据之间的距离最大化,进而可以有效地提取数据的低维鉴别子流形,使得分类性能要优于非监督的雏数约简方法 .结论 笔者提出的半监督局部线性嵌入算法能有效地提高人脸表情识别的性能.     

基于卷积神经网络和PCA的人脸识别

主要研究了在基于深度学习的人脸识别算法中,对于由深度卷积神经网络提取得到的人脸特征进行降维处理是否有助于提高人脸识别的准确率.利用VGG网络模型提取人脸图像的深度特征,然后利用主成分分析(PCA)对提取到的深度特征进行降维,最后利用余弦分类器进行分类识别,并在LFW人脸库上进行实验.实验结果表明通过PCA降维后的深度特征具有较高识别率.     

基于卷积神经网络的人脸图像特征提取

为了提高对人脸的自动识别和检测能力,提出了一种基于卷积神经网络的人脸特征提取技术。采用连续模板匹配技术进行人脸边缘轮廓的检测,采用Harris角点检测方法进行人脸的关键特征点定位,在人脸的分块区域内进行人脸的肤色特征分析和外包矩形轮廓区域特征提取,结合肤色特征对图像中人脸特征点进行图像重构和精确定位,对提取的人脸特征点采用卷积神经网络进行分类,实现对人脸图像特征的优化提取。仿真结果表明,采用该方法进行人脸特征提取的准确性较高,具有较好的特征匹配能力。     

年龄算子深度稀疏融合扩展表情识别

为解决不同年龄段的人群在表情特征上的特质差异,提出了年龄算子深度稀疏融合扩展表情识别模型.该模型利用高层级形式的线性字典序列作为稀疏表示的输入信号,将输入对象以线性组合的方式构造训练集,并在所有求解中以稀疏级别为指标选择最优解,进一步通过卷积神经网络的卷积、池化和全连接处理,通过融合扩展策略解决数据集相似度高、数量不足及分布不均的问题.在此基础上结合了年龄算子作为特征元素与表情特征一并提取并作为分类决策依据.通过深度稀疏融合扩展,并利用年龄算子的人体测量模型、内部角度构算和皮肤皱纹检测作为表情特征提取附加因子,经过多数据集实验结果比对,证明了本算法跨数据集的有效性和稳定性,并通过代表性跨年龄表情分类算法横向比对,证明了本算法的优势.该方法对跨年龄表情识别准确度和鲁棒性有较好效果,有一定研究价值和参考意义.     

基于数据融合的表情识别

为了解决表情识别中单一数据所包含人脸表情信息不全面的问题,融合了图像与标记点数据;针对传统模式识别方法中手动提取特征的复杂性,采用神经网络框架,从而实现了特征的自动提取。本文算法以人脸表情的图像与标记点数据为基础,以神经网络为框架,采用稀疏自动编码器对网络进行预训练,实现了网络的稀疏连接,另外,在网络权值更新过程中结合了结构化正则项(structured regularization),限制了不同数据与隐层神经元的连接。实验表明:图像与标记点数据的融合更全面地表达了人脸表情信息;稀疏自动编码器和结构化正则项的运用能更有效地提取关键特征,并使神经网络自动分析不同输入数据在表情识别中所起到的作用强弱。     

基于数据融合的表情识别

本文为了解决表情识别中单一数据所包含人脸表情信息不全面的问题,融合了图像与标记点数据;针对传统模式识别方法中手动提取特征的复杂性,采用了神经网络框架,从而实现特征的自动提取。本文算法以人脸表情的图像与标记点数据为基础,以神经网络为框架,采用稀疏自动编码器对网络进行预训练,实现了网络的稀疏连接,另外,在网络权值更新过程中结合了结构化正则项（Structured Regularization）,限制了不同数据与隐层神经元的连接。实验表明：图像与标记点数据的融合更全面地表达了人脸表情信息;稀疏自动编码器和结构化正则项的运用能更有效的提取关键特征并使神经网络自动分析不同输入数据在表情识别中所起到的作用强弱。     

基于LGRP和多特征融合的人脸表情识别

针对复杂的Gabor滤波器直接抽取人脸特征数据存在一些冗余信息以及提取的表情特征较为单一的缺点,提出了基于LGRP和多特征融合人脸表情的识别方法。首先,提取人脸表情图像的Gabor多方向和多尺度特征,进一步编码得到局部Gabor排序模式(LGRP),以增强鲁棒性以及区分能力;其次,引入Haar小波和Otsu阈值分割法分别提取表情特征,通过级联融合3种不同的特征,可以全面地表达图像的局部特征和全局特征;最后,采用支持向量机(SVM)对人脸表情进行多分类。在CK+表情库上进行仿真实验,平均识别率达到94. 36%。与其他方法的比较结果表明,该方法取得了很好的识别率和鲁棒性。     

卷积神经网络混合模型的心律失常分类算法

心律失常表现为不规则的心跳,心律失常类型的判断是心血管疾病早期预防和诊断的关键.为提高心律失常分类的准确率和速度,实现心律失常类型的自动识别,研究并提出了一种以卷积神经网络(convolutional neural network, CNN)为核心的7层混合模型结构.为保持心拍的完整性,根据R-R间期对心电信号进行动态分割得到不同长度的心拍.通过卷积层卷积核的滑动提取心拍的局部特征,平均池化层进行下采样,降低特征的维度.空间金字塔池化(spatial pyramid pooling, SPP)层以不同的池化步长二次提取心拍特征,不同长度的输入特征经过SPP层的特征融合后得到相同长度的输出特征.利用极限学习机(extreme learning machine, ELM)作为分类器可以提高分类的速度,缩短训练时间.使用MIT-BIH数据集和十折交叉验证方法验证心律失常4分类模型的有效性,最终得出在测试集上分类总体准确率为99.16%,灵敏度为99.85%,特异性为98.89%,精度为99.85%.在相同软件环境下验证混合模型与单个模型的准确率与训练时间,实验结果表明:混合模型能以更少的训练时间获得更高的准确率,为快速准确地识别心律失常类型提供了一种可行方案.     

基于小波变换及加权主元分析的人脸表情识别

为了更准确地识别人脸的表情信息,采用加权主元分析识别人脸表情.首先通过小波变换进行图像分解来抽取面部区域的有效鉴别特征,然后将特征加权和主元分析相结合,根据加权重建误差最小化,计算出各类训练样本的加权子空间,最后计算测试样本到加权子空间的Mahalanobis距离,并根据距离进行分类识别.通过CMU人脸表情数据库试验证明,该方法与传统的主元分析相比可以在不增加运算量的情况下大大提高识别率.     

人脸面部表情图像的隐马尔科夫建模及情感识别

文中旨在使用隐马尔科夫模型对人脸面部表情图像进行建模以对人脸表情中的情感进行识别,采用子窗口对人脸面部表情图像进行采样,利用离散余弦变换提取了所需要的特征向量,通过对人脸面部图像进行隐马尔科夫建模,使用获得的特征向量作为观测向量对人脸面部图像的隐马尔科夫模型进行训练.使用训练后的隐马尔科夫模型对JAFFE人脸图像测试集中的人脸表情图像进行情感识别.测试结果表明:隐马尔科夫模型用于人脸面部表情图像的情感识别有效可行,其总体正确识别率达到87.3%.     

基于深度特征聚类的海量人脸图像检索

针对海量人脸图像数据库检索时长的问题,提出了一种基于深度特征聚类的海量人脸图像检索算法.该算法首先使用人脸图像训练集对深度卷积神经网络模型进行人脸图像分类训练,在此基础上采用三元组损失方法对已训练好的人脸图像分类网络模型进行微调,使得网络能够更加有效地提取人脸图像的高层语义特征,构建更具有表征性的人脸图像深度特征.其次采用K-means聚类算法对提取的人脸图像深度特征进行聚类,使得同一个人的人脸图像能够划分到同一簇中,然后在相应的簇中进行人脸图像的深度特征相似度匹配执行人脸图像检索任务.为了进一步提高系统的检索性能,提出人脸图像深度特征融合的查询扩展方法,对待检索的人脸图像深度特征进行融合再次执行检索任务得到最终的检索结果.通过在两个人脸检索数据集(Celebrities Face Set和Labeled Faces in the Wild dataset)上进行详尽实验验证,结果表明,该算法能极大地缩小海量人脸图像数据库的检索范围,在保证一定准确率的前提下有效地提高了人脸图像检索的速度.