基于全局注意力及金字塔卷积网络的表情识别

近年来基于深度学习的人脸表情识别技术已取得很大进展,但对于表情特征的多尺度提取,以及在不受约束的现实场景中进行面部表情识别仍然是具有挑战性的工作。为解决此问题,提出一种金字塔卷积神经网络与注意力机制结合的表情识别方法。对于初始的一张人脸表情图像,将其按照区域采样裁剪成多张子图像,将原图像和子图像输入到金字塔卷积神经网络进行多尺度特征提取,将提取到的特征图输入到全局注意力模块,给每一张图像分配一个权重,从而得到有重要特征信息的图像,将子图像和原始图像的特征进行加权求和,得到新的含有注意力信息的全局特征,最终进行表情识别分类。在CK+、RAF-DB、AffectNet三个公开表情数据集上分别取得了98.46%、87.34%、60.45%的准确率,提高了表情的识别精度。     

基于残差注意力机制和金字塔卷积的表情识别

随着深度学习的应用,表情识别技术得到快速发展,但如何提取多尺度特征及高效利用关键特征仍是表情识别网络面临的挑战.针对上述问题,文中使用金字塔卷积有效提取多尺度特征,使用空间通道注意力机制加强关键特征的表达,构建基于残差注意力机制和金字塔卷积的表情识别网络,提高识别的准确率.网络使用MTCNN(Multi-task Convolutional Neural Network)进行人脸检测、人脸裁剪及人脸对齐,再将预处理后的图像送入特征提取网络.同时,为了缩小同类表情的差异,扩大不同类表情的距离,结合Softmax Loss和Center Loss,进行网络训练.实验表明,文中网络在Fer2013、CK+数据集上的准确率较高,网络参数量较小,适合表情识别在现实场景中的应用.     

多尺度融合注意力机制的人脸表情识别网络

针对在人脸表情识别中普通卷积神经网络难以提取有效特征、网络模型参数复杂等问题,提出了一种多尺度融合注意力机制网络（multi-scale integrated attention network,MIANet）。为了同时增加网络的宽度和深度又避免冗余计算,在网络中引入Inception结构,用于提取图像的多尺度特征信息。使用高效通道注意机制（efficient channel attention,ECA）,强调与面部表情相关的区域抑制不相关的背景区域,提高重要面部特征的表达能力。在卷积层中采用深度可分离卷积,减少网络参数,防止过拟合。使用提出的方法在公开数据集FER-2013和CK+上进行实验,分别取得了95.76%和72.28%的准确率。实验结果表明,该方法识别效果较好,泛化能力较强,在人脸表情识别中对网络结构设置和参数配置方面具有一定的参考价值。     

基于多尺度分层双线性池化网络的细粒度表情识别模型

人脸表情细微的类间差异和显著的类内变化增加了人脸表情识别难度。构建一个基于多尺度双线性池化神经网络的识别模型。设计3种不同尺度网络提取人脸表情全局特征,并引入分层双线性池化层,集成多个同一网络及不同网络的多尺度跨层双线性特征以捕获不同层级间的部分特征关系,从而增强模型对面部表情细微特征的表征及判别能力。同时,使用逐层反卷积融合多层特征信息,解决神经网络通过多层卷积层、池化层提取特征时丢失部分关键特征的问题。实验结果表明,该模型在FER2013和CK+公开数据集上的识别率分别为73.725%、98.28%,优于SLPM、CL、JNS等人脸表情识别模型。     

基于混合注意力机制的动态人脸表情识别

针对自然环境中存在人脸遮挡、姿势变化等复杂因素,以及卷积神经网络（CNN）中的卷积滤波器由于空间局部性无法学习大多数神经层中不同面部区域之间的长程归纳偏差的问题,提出一种用于动态人脸表情识别（DFER）的混合注意力机制模型（HA-Model）,以提升DFER的鲁棒性和准确性。HA-Model由空间特征提取和时序特征处理两部分组成：空间特征提取部分通过两种注意力机制——Transformer和包含卷积块注意力模块（CBAM）的网格注意力模块,引导网络从空间角度学习含有遮挡、姿势变化的鲁棒面部特征并关注人脸局部显著特征;时序特征处理部分通过Transformer引导网络学习高层语义特征的时序联系,用于学习人脸表情特征的全局表示。实验结果表明,HA-Model在DFEW和AFEW基准上的准确率分别达到了67.27%和50.41%,验证了HA-Model可以有效提取人脸特征并提升动态人脸表情识别的精度。     

多尺度注意力机制下的人脸表情识别算法设计

为了优化在人脸表情较模糊情况下的识别效果,并更好地获取表情的表征数据,设计一种多尺度注意力机制下的人脸表情识别方法。对人脸表情图像进行缩放与扩充预处理操作,从图像中提取人脸表情解耦表征皮沟数据,通过卷积神经网络对提取到的解耦表征皮沟数据进行特征捕捉。引入了多尺度注意力机制,有选择性地关注重要的表情特征。同时,利用多通道的表情识别方法,自适应地提取人脸组件区域内的表情信息,从而识别人脸表情。实验分析结果表明,所提方法在四类不同表情标签对应的人脸表情识别召回率始终高于对照组,均达到了98%以上,识别效果优势显著。     

增强可分离卷积通道特征的表情识别研究

针对目前人脸表情识别准确率不高、网络模型参数复杂等问题,提出一种增强可分离卷积通道特征的人脸表情识别研究方法。设计了一种轻量型卷积神经网络结构提取表情特征,在卷积层中采用深度可分离卷积减少网络参数;引入了压缩激发模块,对不同通道的特征进行权重分配,在不同的卷积层采用不同的压缩率来增强网络对人脸表情的特征提取能力;将提取到的特征送入分类器实现人脸表情分类,在CK+和FER2013数据集上进行实验并分析。实验结果表明：与现有方法相比,提出的网络结构在CK+和FER2013数据集上,识别率分别提高了0.15个百分点和3.29个百分点,且网络模型参数量降低了75%。所提方法在降低网络参数的同时,提高了表情识别准确率。     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

基于多特征融合密集残差CNN的人脸表情识别

传统人脸表情识别主要基于人工提取特征,其存在算法鲁棒性较差、易受人脸身份信息干扰等问题,以及传统卷积神经网络不能充分提取人脸表情特征的现状。对此提出一种基于多特征融合密集残差卷积神经网络的人脸表情识别。该方法能够充分利用神经网络中每层的特征,在密集块中,对于每一个卷积层,其前面所有卷积层的输出都将作为本卷积层的输入。然后将每个密集块的输出送入到全连接层中进行特征融合,经过Softmax分类器分类。在CK+和FER2013数据集上进行多次实验,与传统的机器学习方法相比,该方法具有较高的准确率与较强的鲁棒性。     

改进多尺度残差网络病害叶片图像识别

针对农作物病害图像识别模型存在参数量较大内存占用较多、识别准确率不高及训练速度慢等问题,提出了融合注意力模块的多尺度卷积网络叶片病害图像识别模型。该网络模型基于残差网络模块,利用多尺度卷积取代了传统的单尺度卷积,使得网络加宽以获取更多的特征信息,避免网络堆叠过深引起的过拟合现象;同时为了加快模型训练速度,采用深度可分离卷积代替传统卷积减少模型参数量;将注意力机制引入到残差网络中,增强了模型的关键特征信息的提取能力,从而提高了模型的识别精度。通过对试验数据集进行对比试验,改进网络模型的识别准确率达到99.48%并且模型参数量仅有19.06 MB,试验结果表明所提出的方法能有效地提高模型的识别性能并降低模型参数量,为实现低成本终端运行奠定基础。     

基于人脸表情识别的在线课堂学生专注度分析

针对人脸表情识别在特征提取时容易丢失大量有用的特征信息, 无法提取更加全面的人脸表情特征的问题, 提出了一种多尺度特征融合网络模型(DS-EfficientNet). 该模型包括深层网络和浅层网络两部分, 浅层网络用来提取面部表情的细节纹理信息, 深层网络提取表情的全局信息. 并在浅层网络中加入注意力机制, 增强对浅层细节信息的提取能力. 最终在通道上进行特征融合, 融合之后网络可以提取更加丰富的人脸表情信息. 为了减少模型参数, 提高模型的泛化性能, 将全连接层替换为全局平均池化层, 加入批归一化. 本文提出的方法在Fer2013和CK+上进行实验, 识别准确率达到了73.47%和98.84%. 实验证明该方法可以提取人脸更加丰富的表情信息, 模型具有更强的泛化能力.     

基于VGG-NET的特征融合面部表情识别

为了解决在面部表情特征提取过程中卷积神经网络CNN和局部二值模式LBP只能提取面部表情图像的单一特征,难以提取与面部变化高度相关的精确特征的问题,提出了一种基于深度学习的特征融合的表情识别方法。该方法将LBP特征和CNN卷积层提取的特征通过加权的方式结合在改进的VGG-16网络连接层中,最后将融合特征送入Softmax分类器获取各类特征的概率,完成基本的6种表情分类。实验结果表明,所提方法在CK+和JAFFE数据集上的平均识别准确率分别达到了97.5%和97.62%,利用融合特征得到的识别结果明显优于利用单一特征识别的效果。与其他方法相比较,该方法能有效提高表情识别准确率,对光照变化更加鲁棒。     

基于注意力的高炉流态化料面多尺度检测算法

针对高炉料面图像经常发生多物理形态周期转变导致料线追踪精度下降问题, 研究了一种基于注意力的多尺度卷积核流态化料面检测算法(MKAD). 构建了雷达数据集–灰度图像–料形可视化的一类特征提取框架, 在卷积层采用通道和空间双注意力机制, 获得不同尺度的精细化颗粒流态化特征; 使用多尺度卷积核自适应方法提取 并融合喷涌料面多尺度颗粒物特征, 实现跨通道特征融合. 在南钢3#高炉和武钢7#高炉进行了实验和综合评估, 精确率分别可达83.01% 和86.50%, 与峰脊锐化方法相比, 分别实现了1.41%和4.9%的性能提升, 上述融合特征提取框架显著增强了料面检测的鲁棒性.     

融合局部与全局特征的肺炎医学影像分类

针对现有肺炎医学影像识别研究在浅层网络忽略全局特征导致特征提取不全且模型规模较大的问题, 提出了一种基于CNN和注意力机制的轻量化模型提高肺炎类型的识别效率. 采用轻量化模型结构减少模型参数量, 通过增大卷积核, 引入高效通道注意力和自注意力机制解决网络重要信息丢失和无法提取底层全局信息的问题, 通过双分支并行提取局部和全局信息并使用多尺度通道注意力提高二者融合质量, 使用CLAHE算法优化原始数据. 实验结果表明, 该模型在保证轻量性的同时准确率、灵敏度、特异性较原模型分别提高2.59%, 3.1%, 1.38%, 并优于当前优秀的其他分类模型, 具有更强的实用性.     

基于注意力机制的3D DenseNet人体动作识别方法

传统人体动作识别算法无法充分利用视频中人体动作的时空信息,且识别准确率较低。提出一种新的三维密集卷积网络人体动作识别方法。将双流网络作为基本框架,在空间网络中运用添加注意力机制的三维密集网络提取视频中动作的表观信息特征,结合时间网络对连续视频序列运动光流的运动信息进行特征提取,经过时空特征和分类层的融合后得到最终的动作识别结果。同时为更准确地提取特征并对时空网络之间的相互作用进行建模,在双流网络之间加入跨流连接对时空网络进行卷积层的特征融合。在UCF101和HMDB51数据集上的实验结果表明,该模型识别准确率分别为94.52%和69.64%,能够充分利用视频中的时空信息,并提取运动的关键信息。