结合级联框架与注意力机制的人脸表情识别

针对人脸表情变化细微易受到非表情区域影响、传统神经网络提取难以提取有效特征等问题，提出了一种结合级联框架与注意力机制的人脸表情识别方法。首先，通过级联框架模型排除人脸图像的多余干扰；其次在深度有效网络中引入注意力机制从通道和空间维度上进行注意权重推断，以增强表情特征的表达能力，抑制冗余信息的影响；最后采用Focal loss损失函数进一步减弱数据集分布不均衡带来的影响。实验结果表明，该方法在公开数据集FER2013、JAFFE上分别取得了72.42%和95.71%的识别准确率，与其他算法相比具有一定先进性与优越性。     

基于卷积网络通道注意力的人脸表情识别

针对目前人脸表情识别(Facial Expression Recognition, FER)方法准确率低、模型大和识别时间长的问题,提出了一种基于卷积神经网络的通道注意力FER算法,在普通的卷积层中加入Xception网络中的可分离卷积网络,减少参数量和运算成本。在可分离卷积层的输出加入通道注意力Senet,实现对输出通道的权值按重要程度进行重新分配。引入Resnet网络中残差机制,减轻梯度消失现象。对设计的模型分别在CK+,RAF-DB数据集和FER2013数据集进行训练。实验结果显示,在CK+,RAF-DB数据集和FER2013数据集准确率分别提高至99.45%,78.10%和62.65%。模型参数量仅有1.8 MB,识别时间1.24 s。实现了更准、更快、更轻的FER。     

基于面部关键点和图卷积的表情识别方法

针对现有人脸表情识别方法对于面部细节处的局部特征关注度不足的问题,提出了基于面部关键点和图卷积的人脸表情识别方法CGNet。CGNet将面部图像按面部器官进行分割得到多个分割图像,提取分割图像的多尺度特征并引入空间注意力机制提取细节信息,提升网络对于面部细节的关注度;提取人脸关键点,利用图卷积网络提取出人脸面部的结构信息,提升网络对高维度特征的表示能力。实验结果表明,CGNet是一种高效的表情识别算法,能够获得更有效的面部特征,提高识别准确率。     

基于角度距离损失与小尺度核网络的表情识别

针对人脸表情类内差异大、类间相似度高导致识别率低的问题,提出了一种基于角度距离损失与小尺度核网络的表情识别方法.网络基于3×3卷积核,在网络中加入融合空间金字塔注意力的点积残差块,引入Dropblock正则化,并提出了低层特征掩膜化.该模型低层特征具备高层特征的语义信息,而且参数量较少,结构简单有效.训练时,使用提出的基于角度距离损失函数监督神经网络学习,提高了网络的类间特征分离和类内特征聚类的特征判别能力.实验结果表明,该方法在CK+和FER2013数据集上识别准确率分别达到了97.88％ 和72.81％,具有较强竞争力.此外,消融实验表明所提出的改进方法可提高表情识别率,进一步验证了其有效性.     

基于角度距离损失与小尺度核网络的表情识别

针对人脸表情类内差异大、类间相似度高导致识别率低的问题,提出了一种基于角度距离损失与小尺度核网络的表情识别方法.网络基于3×3卷积核,在网络中加入融合空间金字塔注意力的点积残差块,引入Dropblock正则化,并提出了低层特征掩膜化.该模型低层特征具备高层特征的语义信息,而且参数量较少,结构简单有效.训练时,使用提出的基于角度距离损失函数监督神经网络学习,提高了网络的类间特征分离和类内特征聚类的特征判别能力.实验结果表明,该方法在CK+和FER2013数据集上识别准确率分别达到了97.88％ 和72.81％,具有较强竞争力.此外,消融实验表明所提出的改进方法可提高表情识别率,进一步验证了其有效性.     

多注意力机制下自愈人脸表情识别

人脸表情识别技术在社会生活、刑事侦探等领域中具有重要应用价值和广阔应用前景.现有方法对表情特征提取不充分,使得高维特征易丢失局部关键信息;同时在复杂背景下表情的二义性导致网络泛化能力弱.为解决这些问题,本文提出一种多注意力机制下自愈网络(Multiple Attention Self Curing Network,MASCNet).该网络生成带有注意力权重的多尺度特征,通过融合不同尺度特征,提高网络模型在细粒度下对局部关键信息的表征能力.自注意力机制模块为融合后的特征分配重要性权重,约束不确定性样本在网络训练中所占比重,提高网络的泛化能力.本文方法在FER2013和RAF-DB数据集上的最高的识别正确率分别为74.21%和88.74%.实验结果表明该方法能有效识别人脸表情,优于现有MHBP、AHBRPN等主流方法.     

基于深度学习的可靠表情数据识别

当前深度学习已成为表情识别领域的重要研究方法，但此方法应用于真实环境或者复合表情数据库下时识别准确率非常低下，为此提出一种深度局部关联神经网络DLR-VGGNet(Deep Locality-Relevance VGGNet)的可靠表情数据识别方法，首先在VGGNet网络添加一个新的监督层，即局部关联损失(LRloss)，提高深层特征的判别能力，之后在不同的人脸表情数据库中基于这种 DLR-VGGNet网络进行训练并且进行网络参数微调和测试。最后，RAF-DB数据库中对 7类基本表情和11类复合表情做基准实验以及在SFEW和CK+数据库中做对比实验。实验结果表明在真实环境基于DLR-VGGNet的方法优于传统的手工特征提取方法。     

面向人脸表情识别的迁移卷积神经网络研究

人脸表情识别是模式识别研究的一个重要领域,现实环境中人脸表情识别容易受到光照、姿态、个体表情差异等因素的影响,识别效果仍有待提高。为了取得更好的人脸表情识别效果,本文提出一种基于迁移卷积神经网络的人脸表情识别方法,本文在训练得到人脸识别网络模型的基础上,采用迁移学习方法将所得人脸识别模型迁移到人脸表情识别任务上,并提出Softmax-MSE损失函数和双激活层(Double Activate Layer, DAL)结构,以提高模型的识别能力。在FER2013数据库和SFEW2.0数据库上的实验表明,本文所提方法分别取得了61.59%和47.23%的主流识别效果。      

基于VGG的人脸表情识别与分类

为了使人脸表情识别更加快速、准确,以满足复杂社会情境中的需求,本文研究了基于深度卷积神经网络的人脸表情识别方法,实现了人脸不同离散表情识别分类.针对现有数据集数据量不足、深度网络计算易出现过拟合现象等问题,本文基于人脸图片关键点进行了剪裁,获得64个子区域,将数据扩充为64倍,以达到数据增强的目的;使用基于VGG-19网络模型的卷积神经网络,对动作单元进行分类与强度计算,使用Sigmoid函数,使网络具备多标签多分类能力,并在VGG-19网络的第四组卷积层之后加入一个加权处理层,提高准确率.结果显示,增强后叠加的人脸表情识别与分类基本能够完成,而引入加权处理层后的准确率则得到了显著提高.     

结合运动时序性的人脸表情识别方法

脸部肌肉之间的时空关系在人脸表情识别中起着重要作用,而当前的模型无法高效地捕获人脸的复杂全局时空关系使其未被广泛应用.为了解决上述问题,本文提出一种基于区间代数贝叶斯网络的人脸表情建模方法,该方法不仅能够捕获脸部的空间关系,也能捕获脸部的复杂时序关系,从而能够更加有效地对人脸表情进行识别.且该方法仅利用基于跟踪的特征且不需要手动标记峰值帧,可提高训练与识别的速度.在标准数据库CK+和MMI上进行实验发现本文方法在识别人脸表情过程中有效提高了准确率.     

基于多尺度注意力网络的行人属性识别算法

为了提高行人属性识别的准确率,提出了一种基于多尺度注意力网络的行人属性识别算法。为了提高算法的特征表达能力和属性判别能力,首先,在残差网络ResNet50的基础上,增加了自顶向下的特征金字塔和注意力模块,自顶向下的特征金字塔由自底向上提取的视觉特征构建;然后,融合特征金字塔中不同尺度的特征,为每层特征的通道注意力赋予不同的权重。最后,改进了模型损失函数以减弱数据不平衡对属性识别率的影响。在RAP和PA-100K数据集上的实验结果表明,与现有算法相比,本算法对行人属性识别的平均精度、准确度、F1性能更好。     

基于坐标注意力机制融合的反无人机系统图像识别方法

反无人机系统是识别和打击“黑飞”无人机的有效手段,图像识别无人机是反无人机系统的关键之一。针对采集的无人机样本属于小样本、提取特征不够多,识别准确率不够高的问题,提出了一种基于迁移学习、密集卷积网络和坐标注意力机制融合的反无人机系统图像识别方法。首先,运用自制设备采集了多种无人机在不同背景下的图片,建立数据样本;其次,设计针对无人机小样本识别的基于迁移学习、坐标注意力机制和密集卷积网络融合的网络TL-CA4-DenseNet-121、基于通道注意力机制融合的网络TL-SE4-DenseNet-121等网络,运用设计的网络对小样本进行识别,并进行对比,然后分别进行了基于不同位置和不同个数的坐标注意力模块和通道注意力模块的网络识别实验;最后,将识别效果最优的网络与经典卷积神经网络模型进行对比实验。实验结果表明,提出的TL-CA4-DenseNet-121网络识别效果优于其他网络,识别的平均准确率为97.93%,F1-Score为0.9826,网络训练时间为6832 s。结果表明了该网络在识别小样本无人机方面的优越性和可行性。     

基于深度学习的人脸识别方法研究

作为非接触式生物识别方法之一,人脸识别在诸多情况下被广泛使用。然而,传统的人脸识别方法由于识别准确度低以及在多个场合的应用受到限制,已不能满足目前的需求。文中提出了采用深度学习的方法来实现脸部标志检测和无限制人脸识别。为解决人脸标志检测问题,使用一种深层卷积神经网络的逐层训练方法,以帮助卷积神经网络进行收敛,并提出了一种避免过拟合的样本变换方法;为了解决人脸识别问题,文中提出了一种SIAMESE卷积神经网络,其在不同部位和尺度上进行训练。实验测试显示,ORL和人脸识别算法的精度分别达到了91%和81%。     

基于深度学习与特征融合的人脸识别算法

卷积神经网络在人脸识别研究上有较好的效果,但是其提取的人脸特征忽略了人脸的局部结构特征。针对此问题,文中提出一种基于深度学习与特征融合的人脸识别方法。该算法将局部二值模式信息与原图信息相结合作为SDFVGG网络的输入,使得提取的人脸特征更加丰富且更具表征能力。其中,SDFVGG网络是将VGG网络进行深浅特征相融合后的网络。在CAS-PEAL-R1人脸数据库上的实验表明,将网络深浅特征相融合与在卷积神经网络中加入LBP图像信息与原图信息相融合的特征信息对于提高人脸识别准确率非常有效,可得到优于传统算法和一般卷积神经网络的最高98.58%人脸识别率。     

基于改进残差网络的道口车辆分类方法

为了提高模型在道口环境下的车辆图像的特征提取和识别能力,提出了一种基于改进残差网络的车辆分类方法。首先以残差网络为基础模型,改进了残差块中激活函数的位置,并将残差块中的一般卷积用分组卷积代替,引入注意力机制,用焦点损失函数替换交叉熵损失函数。实验部分先用公开数据集StanfordCars进行预训练,再用自建的道口车辆数据集进行迁移学习。结果表明,改进模型在两个数据集中的准确率均优于几种经典的深度学习模型。     

角度空间三元组损失微调的人脸识别

针对角度Softmax损失强约束存在的问题,提出一种用角度空间三元组损失对角度Softmax损失预训练模型进行微调的算法。算法首先对原来的卷积神经网络结构进行改进,将1×1卷积核与池化层加在不同残差块间,以进行选择更有效的特征。然后用角度空间下的三元组损失对预训练模型进行微调,以降低困难样本的强约束条件。最后在测试时,分别提取原始人脸图像特征和水平翻转的人脸图像特征,对两个特征相加作为最终的人脸特征表达,以丰富人脸特征信息,提高识别率。实验结果表明,在LFW和YTF人脸数据集分别取得了99.25%和94.52%的识别率,在大规模人脸身份识别中,本文提出的方法在仅用单模型和比较小的训练集就能有效地提高人脸识别率。     

改进非负矩阵分解的神经网络人脸识别

为了提高人脸识别正确率,提出基于改进非负矩阵分解的神经网络人脸识别算法。首先利用改进的非负矩阵分解对人脸图像进行特征提取,提高非负矩阵分解速度。接着将提取出的特征信息作为神经网络学习入口进行特征训练,由于神经网络在学习过程中,容易出现局部最小值且收敛速度慢等问题,为此采用改进的遗传算法对神经网络进行优化处理,获得最终的人脸识别结果。实验结果表明:利用改进的非负矩阵分解方法能够降低神经网络的分类训练负荷量和运算量,提高人脸识别识别率。通过和各种方法比较可知,本方法的人脸识别率都较高。本方法人脸特征分解速度快,提高了神经网络训练前期精度和收敛速度,使得人脸识别正确率高。当特征向量个数达到40以上时,人脸识别正确率保持95%以上。     

Multimodal emotion recognition based on peak frame selection from video

We present a fully automatic multimodal emotion recognition system based on three novel peak frame selection approaches using the video channel. Selection of peak frames (i.e., apex frames) is an important preprocessing step for facial expression recognition as they contain the most relevant information for classification. Two of the three proposed peak frame selection methods (i.e., MAXDIST and DEND-CLUSTER) do not employ any training or prior learning. The third method proposed for peak frame selection (i.e., EIFS) is based on measuring the “distance” of the expressive face from the subspace of neutral facial expression, which requires a prior learning step to model the subspace of neutral face shapes. The audio and video modalities are fused at the decision level. The subject-independent audio-visual emotion recognition system has shown promising results on two databases in two different languages (eNTERFACE and BAUM-1a).     

基于自适应鲁棒在线度量学习的面部表情识别

针对自然面部表情识别中的噪声标记问题,提出了一种自适应鲁棒在线度量学习方法.首先,学习新的度量空间以增加不同面部表情的判别性;然后,定义敏感度和特异性来表征每个注释器;最后,引入表示真实类标签的潜在变量,在期望最大化架构中迭代求解距离度量和注释器的可靠性.在MFP和AR人脸数据库上的实验结果表明,相比其他几种较新的方法,本方法在自然表情识别方面能获得更高的识别精度,高兴表情识别率可高达99.7％,并且在一定程度上降低了计算开销.