融合全局和局部特征并基于神经网络的表情识别

在表情中含有最多特征信息的是面部眉毛、眼睛和嘴巴这三个区域,为充分利用这些特征,减少图像中无用信息在识别过程中对计算机内存的占用,提高人脸表情识别系统的准确率和速度,首先采用haar 和 adaboost人脸检测算法,对图像中的人脸进行识别,获得人脸图像并提取眉毛、眼睛和嘴巴,生成局部(眉毛、眼睛、嘴巴)二值化图,利用PCA方法对人脸图像降维,降维后的全局和局部灰度特征值组成一个列向量。样本由表情数据库产生,经过神经网络样本训练后,进行表情识别。结果表明,该系统对人脸表情识别速度明显快于Gabor 小波算法;识别的准确率高于单独使用PCA算法和神经网络算法;消耗内存比用Gabor 小波算法少,运行较流畅。得出结论：因为提取出包含表情特征信息集中区的眉毛、眼睛和嘴巴,尽可能地多保留了这些局部特征信息,因而提高了表情识别准确率,同时,采用PCA方法对原始图像进行降维处理,有效的减少了信息冗余。     

基于VGG-NET的特征融合面部表情识别

为了解决在面部表情特征提取过程中卷积神经网络CNN和局部二值模式LBP只能提取面部表情图像的单一特征,难以提取与面部变化高度相关的精确特征的问题,提出了一种基于深度学习的特征融合的表情识别方法。该方法将LBP特征和CNN卷积层提取的特征通过加权的方式结合在改进的VGG-16网络连接层中,最后将融合特征送入Softmax分类器获取各类特征的概率,完成基本的6种表情分类。实验结果表明,所提方法在CK+和JAFFE数据集上的平均识别准确率分别达到了97.5%和97.62%,利用融合特征得到的识别结果明显优于利用单一特征识别的效果。与其他方法相比较,该方法能有效提高表情识别准确率,对光照变化更加鲁棒。     

面部表情的深度卷积级联森林识别

面部表情识别广泛应用于各种研究领域,针对面部表情识别使用深度神经网络方法结构复杂、可解释性差和传统机器学习方法特征提取缺乏多样性、识别率低的问题.提出了一种新的深度卷积级联森林(Deep Convolution Cascade Forest,DCCF)方法用于人脸面部表情识别,该方法通过卷积神经网络深度学习人脸面部显著特征,并采用基于随机森林的级联结构森林逐层学习识别出不同的面部表情特征,提高了人脸表情的识别准确率.DCCF在JAFFE、CK+和Fer2013 3个公开面部表情数据集进行了实验,并对面部表情提取的5种特征和7种分类方法进行了比较分析,结果显示DCCF在对比的算法中人脸表情识别性能最好,3个数据集的准确率分别达到91.4%,98.7%,71.6%.     

基于面部结构的表情识别

心理学上的研究表明,面部表情变化主要集中在眼睛、眉毛、鼻子、嘴巴等面部器官上.受其启发,提出一种基于面部结构的表情识别方法,重点分析眼睛、眉毛、鼻子、嘴巴等关键区域的联动变化来分析表情.首先,使用鲁棒的判别响应图拟合(discriminative response map fitting,DRMF)方法自动检测出对识别人脸表情最为关键的局部人脸区域,即眼睛、眉毛、鼻子和嘴巴的部分;然后从这些关键部分中提取Haar特征;最后采用Boosting学习和联动机制,学习得到基于联合Haar特征的表情分类器.在CMU表情数据库和JAFFE表情数据库上的实验结果表明了上述方法的良好性能,即基于面部构件识别表情的方法获得了与手工精准标注人脸面部构件识别表情方法相近的识别效果.     

基于人脸表情识别的在线课堂学生专注度分析

针对人脸表情识别在特征提取时容易丢失大量有用的特征信息, 无法提取更加全面的人脸表情特征的问题, 提出了一种多尺度特征融合网络模型(DS-EfficientNet). 该模型包括深层网络和浅层网络两部分, 浅层网络用来提取面部表情的细节纹理信息, 深层网络提取表情的全局信息. 并在浅层网络中加入注意力机制, 增强对浅层细节信息的提取能力. 最终在通道上进行特征融合, 融合之后网络可以提取更加丰富的人脸表情信息. 为了减少模型参数, 提高模型的泛化性能, 将全连接层替换为全局平均池化层, 加入批归一化. 本文提出的方法在Fer2013和CK+上进行实验, 识别准确率达到了73.47%和98.84%. 实验证明该方法可以提取人脸更加丰富的表情信息, 模型具有更强的泛化能力.     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

结合关键点与权重分配残差网络的表情识别

现有人脸表情识别算法易受图像背景、非表情内容等无关因素的影响。此外,部分人脸表情（例如害怕、生气、伤心等表情）的类间差异较小也制约着算法的性能。针对上述两个问题,提出了一种融合面部关键点和权重分配残差网络的表情识别算法。通过面部关键点获取最大的表情范围以消除图像背景和非表情内容的干扰,将预处理后的表情图像作为深度残差网络的输入,引入权重分配机制从通道和空间维度上进行注意权重推断,实现不同区域的权重分配,进而引导深度残差网络学习对表情具有鉴别力的局部特征。该算法分别在FER2013和CK+表情数据集上达到了74.14%和98.99%的识别准确率,有效改善了生气、伤心、害怕等类间差异较小的表情识别准确率。     

融合Gabor、LBP与LPQ特征的面部表情识别

针对传统的Gabor无法兼顾识别率与实时性的缺点,提出了一种融合Gabor、LBP、LPQ三种特征的表情识别算法.首先采用Gabor变换提取人脸图像的边缘信息,根据获得的变换表征结果,提取其LBP特征及LPQ特征;通过PCA算法对提取的特征进行降维,并对降维后的LBP特征及LPQ特征进行直方图操作;最后,设计基于ELM神经网络面部表情分类器.应用JAFFE人脸表情数据库的测试结果表明,该方法比传统方法具有更高的识别准确度和更快的识别速度.     

基于稀疏表达和改进的LBP算子的人脸表情识别

基于局部二值模式(LBP)算子在人脸表情识别中直方图维数高、判别能力差、具有冗余信息等缺点,提出一种中心二值模式(CBP)算子并对人脸表情关键部位(眉毛、眼睛及嘴巴部分)提取特征。最后利用稀疏表达分类器对提取的表情特征进行识别。实验结果表明,该算法的识别效果有了极大的提高。     

基于加权多头并行注意力的局部遮挡面部表情识别

面部表情识别在诸多领域具有广泛的应用价值, 但在识别过程中局部遮挡会导致面部难以提取有效的表情识别特征, 而局部遮挡的面部表情识别可能需要多个区域的表情特征, 单一的注意力机制无法同时关注面部多个区域特征. 针对这一问题, 本文提出了一种基于加权多头并行注意力的局部遮挡面部表情识别模型, 该模型通过并行多个通道-空间注意力提取局部未被遮挡的多个面部区域表情特征, 有效缓解了遮挡对表情识别的干扰, 大量的实验结果表明, 本文的方法相比于很多先进的方法取得了最优的性能, 在RAF-DB和FERPlus上的准确率分别为89.54%、89.13%, 在真实遮挡的数据集Occlusion-RAF-DB和Occlusion-FERPlus的准确率分别为87.47%、86.28%. 因此, 本文的方法具有很强的鲁棒性.     

基于ICA与HMM的表情识别

独立分量分析(independent component analysis,ICA)是一种盲源分离的有效方法,为了进一步有效提取表情图像中隐藏的信息和提高表情识别率,可将它应用于人脸表情识别。由于脸部表情为人类情感、认知过程的研究提供了极为重要的测量依据,因此表情特征的提取和特征序列所代表的表情状态是表情识别过程中的重要步骤。为了更好地进行表情和情感的分类,提出了一种ICA结合隐马尔可夫模型(HMM)识别表情的情感分类系统,该系统首先利用ICA算法进行表情特征提取,为了加快特征提取的速度,这里采用了FastICA算法;然后通过7个训练好的HMM进行表情识别。实验结果显示,该系统使人脸表情识别的整体效果有了提高,取得了令人满意的效果,可以用来识别人脸表情。     

基于变换投影的眼睛轮廓提取方法

眼睛作为人脸的重要器官,其特征对于人脸表情识别非常重要,因此需要对眼睛轮廓进行提取。该文根据眼睛的轮廓特征知识,提出一种利用变换投影估计形状参数,在形状区域内结合图像信息提取眼睛轮廓的新方法。在分析变形模板和变换投影的特点基础上,对基于变换投影提取眼睛轮廓的方法进行介绍。在人脸数据库JAFFE上的实验表明该方法是可行的。该方法同样可以用于其他形状的检测。     

Linear principal transformation: toward locating features in N-dimensional image space

Projection Functions have been widely used for facial feature extraction and optical/handwritten character recognition due to their simplicity and efficiency. Because these transformations are not one-to-one, they may result in mapping distinct points into one point, and consequently losing detailed information. Here, we solve this problem by defining an N-dimensional space to represent a single image. Then, we propose a one-to-one transformation in this new image space. The proposed method, which we referred to as Linear Principal Transformation (LPT), utilizes Eigen analysis to extract the vector with the highest Eigenvalue. Afterwards, extrema in this vector were analyzed to extract the features of interest. In order to evaluate the proposed method, we performed two sets of experiments on facial feature extraction and optical character recognition in three different data sets. The results show that the proposed algorithm outperforms the observed algorithms in the paper and achieves accuracy from 1.4 % up to 14 %, while it has a comparable time complexity and efficiency.     

基于分块CBP特征和稀疏表示的三维人脸表情识别

在三维人脸表情识别中,基于局部二值模式（LBP）算子算法与传统的特征提取算法相比具有特征提取准确、精细、光照不变性等优点,但也有直方图维数高、判别能力差、冗余信息大的缺点.本文提出一种通过对整幅图像进行多尺度分块提取CBP特征的CBP算法,能够更有效的提取分类特征.再结合使用稀疏表达分类器实现对特征进行分类和识别.经实验结果表明,与传统LBP算法和SVM分类识别算法对比,文中算法用于人脸表情的识别的识别率得到大幅度提高.     

应用深度光学应变特征图的人脸活体检测

目的 随着人脸识别系统应用的日益广泛,提高身份认证的安全性,提升人脸活体检测的有效性已经成为迫切需要解决的问题。针对活体检测中真实用户的照片存在的人脸欺骗问题,提出一种新的解决照片攻击的人脸活体检测算法。方法 利用局部二值模式LBP（local binary pattern）、TV-L1（total variation regularization and the robust L1 norm）光流法、光学应变和深度网络实现的人脸活体检测方法。对原始数据进行预处理得到LBP特征图;对LBP特征图提取光流信息,提高对噪声适应的鲁棒性;计算光流的导数得到图像的光学应变图,以表征相邻两帧之间的微纹理性质的微小移动量;通过卷积神经网络模型（CNN）将每个应变图编码成特征向量,最终将特征向量传递给长短期记忆LSTM（long short term memory）模型进行分类,实现真假人脸的判别。结果 实验在两个公开的人脸活体检测数据库上进行,并将本文算法与具有代表性的活体检测算法进行对比。在南京航空航天大学（NUAA）人脸活体检测数据库中,算法精度达到99.79%;在Replay-attack数据库中,算法精度达到98.2%,对比实验的结果证明本文算法对照片攻击的识别更加准确。结论 本文提出的针对照片攻击的人脸活体检测算法,融合光学应变图像和深度学习模型的优点,使得人脸活体检测更加准确。     

基于线段融合的空间非合作目标稳健特征提取算法

相对位姿测量是空间非合作目标态势感知的主要内容,在位姿测量中,需要先对目标图像进行特征提取,而特征提取的精度和鲁棒性直接影响位姿测量性能。为了提高空间非合作目标特征提取的鲁棒性,本文给出一种基于线段融合的特征提取算法。该算法首先采用基于梯度的滤波器来消除空间目标图像的背景干扰,然后采用LSD直线检测算法、Hough Lines直线检测算法和Shi-Tomasi角点检测算法提取三组特征点,再用K-D空间划分树以及K最近邻搜索算法融合这三组特征点,保留包含显著特征的较少数量特征点,进一步组合成线段结构,并对线段进行融合,以此来提取反映目标整体几何框架的信息,从而提升稳健性。仿真实验和半物理仿真实验测试结果表明,本文提出的基于线段融合的特征提取方法在空间目标特征提取中具有更好的稳健性。     

基于动态注意力机制和多模态循环融合的帕金森氏症识别

PD （Parkinson’s disease） 的运动障碍会累及口、咽、腭肌以及面部肌肉,引起声带震颤和面部运动迟缓,为利用声纹和面部特征识别PD患者提供了可能。为了有效利用以上两种特征以提高PD 识别率,提出了基于多尺度特征与动态注意力机制的多模态循环融合模型对患者进行识别检测。首先,设计了多尺度特征提取网络,将高、低层级特征的语义信息融合以得到完整的特征信息;其次,在多尺度特征融合过程中为了充分考虑模态间的相关性和互补性,提出了以不同模态信息互为辅助条件生成注意力特征图的动态注意力机制算法,降低特征融合时信息的冗余;最后设计了多模态循环融合模型,通过计算循环矩阵的每个行向量与特征向量间的哈达玛积得到更有效的融合特征,提高了模型性能。在自建数据集上进行的多组实验结果表明,提出的方法识别准确率高达96.24%,优于当前流行的单模态和多模态识别算法,可以有效区分PD患者和HP （healthy people）,为高效识别PD患者奠定了基础。     

基于多尺度特征注意力机制的人脸表情识别

针对传统卷积神经网络在人脸表情识别过程中存在有效特征提取针对性不强、识别准确率不高的问题,提出一种基于多尺度特征注意力机制的人脸表情识别方法。用两层卷积层提取浅层特征信息;在Inception结构基础上并行加入空洞卷积,用来提取人脸表情的多尺度特征信息;引入通道注意力机制,提升模型对重要特征信息的表示能力;最后,将得到的特征输入Softmax层进行分类。通过在公开数据集FER2013和CK+上进行仿真实验,分别取得了68.8%和96.04%的识别准确率,结果表明该方法相比许多经典算法有更好的识别效果。     

基于人工智能的人脸图像识别校园安防系统设计

当前,校园安防主要借助于专门的保安人员来对非校内人员进行甄别,这种方式不仅甄别准确性较低,并且效率也较低。为了对此问题进行解决,研究出一种以机器视觉技术为基础的校园安防智能识别系统。该系统可以对出入校门的人脸影像图进行动态采集,并根据OpenCv等算法,对这些采集到的影像图进行动态分析,然后对这些影像图的人脸特征进行检测。借助于数学算法对其进行处理,从而完成相应的人脸特征信息提取,这样就能将其与存储的信息进行对比,从而对出入人员进行动态甄别。这种方式不仅有着较高的甄别准确性,同时还具有颇高的检测效率,具有较高的推广与研究价值。