深度多尺度融合注意力残差人脸表情识别网络

针对人脸表情呈现方式多样化以及人脸表情识别易受光照、姿势、遮挡等非线性因素影响的问题,提出了一种深度多尺度融合注意力残差网络(deep multi-scale fusion attention residual network, DMFA-ResNet)。该模型基于ResNet-50残差网络,设计了新的注意力残差模块,由7个具有三条支路的注意残差学习单元构成,能够对输入图像进行并行多卷积操作,以获得多尺度特征,同时引入注意力机制,突出重点局部区域,有利于遮挡图像的特征学习。通过在注意力残差模块之间增加过渡层以去除冗余信息,简化网络复杂度,在保证感受野的情况下减少计算量,实现网络抗过拟合效果。在3组数据集上的实验结果表明,本文提出的算法均优于对比的其他先进方法。     

融合局部特征与两阶段注意力权重学习的面部表情识别

面部的局部细节信息在面部表情识别中扮演重要角色,然而现有的方法大多只关注面部表情的高层语义信息而忽略了局部面部区域的细粒度信息。针对这一问题,提出一种融合局部特征与两阶段注意力权重学习的深度卷积神经网络FLF-TAWL(deep convolutional neural network fusing local feature and two-stage attention weight learning),它能自适应地捕捉重要的面部区域从而提升面部表情识别的有效性。该FLF-TAWL由双分支框架构成,一个分支从图像块中提取局部特征,另一个分支从整个表情图像中提取全局特征。首先提出了两阶段注意力权重学习策略,第一阶段粗略学习全局和局部特征的重要性权重,第二阶段进一步细化注意力权重,并将局部和全局特征进行融合;其次,采用一种区域偏向损失函数鼓励最重要的区域以获得较高的注意力权重。在FERPlus、Cohn-Kanada(CK+)以及JAFFE三个数据集上进行了广泛实验,分别获得90.92%、98.90%、97.39%的准确率,实验结果验证了FLF-TAWL模型的有效性和可行性。     

基于注意力卷积模块的深度神经网络图像识别

对于在深度神经网络的中间层分支进行深度融合，产生潜在可以共享有用信息的基础网络，从而优化信息流动，提升深度神经网络的性能，是近期的深度神经网络研究的挑战。对此提出一种基于注意力卷积模块的深度神经网络的图像识别方法。改进的模块主要分为树干分支与软分支两部分，在树干分支上，由两组残差模块组成，使该模块适用于其他深度神经网络；在软分支上，将给定的中间特征图沿着两个维度（空间与通道）获取注意力特征图，对输入中间特征图进行调整，强化有用信息抑制无用信息。改进的卷积残差模块既能解决输入与输出的尺寸不一致的问题，也能强化图像的关键信息与有效促进网络的信息流动。通过对cifar-10、cifar-100、ck+、AVEC2017数据集进行实验，实验结果表明了提出的方法应用于ResNet-50网络上对比Hu提出的方法在训练耗时相差不到0.3%的情况下，识别图像准确率有0.9%~1.2%的提高。     

一种改进残差深度网络的多目标分类技术

由于受场景、视角、光照、尺度变化以及局部变形等因素的影响,对重叠目标、拥挤目标、小目标的识别精度较低,提出了一种改进多支路的残差深度卷积神经网络来提高多目标识别的准确度。首先,在第一个卷积残差块layer1后保留恒等映射的同时,增加一个1×1的短接分支尽可能多的保留原始特征;再平行嵌入一个修改激活函数RELU6的空间_通道注意力机制模块（CBAM）;最后这三个特征图进行融合。融合后的特征层着重关注空间和通道中比较显著的信息,从而增强特征图的特征表达能力,以至于卷积神经网络(CNN)获得更多的判别特征,从而大大提高物体识别精度。在FashionMNIST和Cifar10两个数据集的对比性实验显示改进的resnet50算法是准确性-速度较为折中的目标识别模型。     

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题, 本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法. 设计了一种残差双注意力模块, 该模块对ResNet50网络提取的低层特征进行增强, 能够有效学习关键信息并更新权重, 提高对高层特征的注意力, 然后由跨级特征融合模块对不同阶段的高低层特征进行融合, 丰富高级特征图中不同层级之间的语义和位置信息, 最后使用全连接层的Softmax分类器对手势图像进行分类识别. 本文在ASL美国手语数据集上进行实验, 平均准确率为99.68%, 相比基础ResNet50网络准确率提升2.52%. 结果验证本文方法能充分提取与复用手势特征, 有效提高手势图像的识别精度.     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

基于改进YOLOv5s的人脸疼痛表情识别

针对目前疼痛表情识别模型结构复杂、计算量大、检测速度慢、不易移植等问题,提出一种针对移动端设备的轻量化人脸疼痛表情识别算法。首先引入GhostNet网络结构中的Ghost模块卷积,压缩模型的参数量,减小计算开销;之后用改进的FReLu激活函数替换SiLu激活函数,提升识别精度与检测效率;最后引入CA注意力机制,对人脸疼痛表情特征区域增加关注度,提升算法对疼痛表情模型的识别精度。实验结果表明,改进后的模型对疼痛表情识别精度达到96.9%;每张图片检测时间为53 ms,相比YOLOv5s模型用时缩短18%;模型大小相比YOLOv5s下降41.3%。适用于移动端设备的实时疼痛表情识别。     

融合手部骨架灰度图的深度神经网络静态手势识别

针对在无约束环境下静态手势在识别过程中准确率不高的问题,本文提出了一种融合手部骨架灰度图(Grayscale Image of Hand Skeleton,GHS)的深度神经网络,使用手部关键点及其相互关联性构建手部骨架灰度图.网络的输入为GHS图像和RGB图像,主干网络为yolov3,添加了扩展卷积残差模块,在GHS图像和RGB图像进行特征融合后,通过SE模块对每个通道上的特征进行缩放,采用RReLU激活函数来代替Leaky ReLU激活函数.通过手部关键点及其相互间的连接信息增强手部图像特征,增大手势的类间差异,同时降低无约束环境对手势识别的影响,以提高手势识别的准确率.实验结果表明,在Microsoft Kinect&Leap Motion数据集上相比其他方法,本文方法的平均准确率达到最高,为99.68％;在Creative Senz3D数据集上相比其他方法,本文方法平均准确率达到最高,为99.8％.     

改进多尺度残差网络病害叶片图像识别

针对农作物病害图像识别模型存在参数量较大内存占用较多、识别准确率不高及训练速度慢等问题,提出了融合注意力模块的多尺度卷积网络叶片病害图像识别模型。该网络模型基于残差网络模块,利用多尺度卷积取代了传统的单尺度卷积,使得网络加宽以获取更多的特征信息,避免网络堆叠过深引起的过拟合现象;同时为了加快模型训练速度,采用深度可分离卷积代替传统卷积减少模型参数量;将注意力机制引入到残差网络中,增强了模型的关键特征信息的提取能力,从而提高了模型的识别精度。通过对试验数据集进行对比试验,改进网络模型的识别准确率达到99.48%并且模型参数量仅有19.06 MB,试验结果表明所提出的方法能有效地提高模型的识别性能并降低模型参数量,为实现低成本终端运行奠定基础。     

基于混合注意力机制的表情识别研究

针对目前传统人脸表情识别算法存在特征提取复杂、表情识别率低等问题,提出一种基于混合注意力机制的Res Net人脸表情识别方法。该方法把通道注意力模块和空间注意力模块组成混合注意力模块,将混合注意力模块嵌入Res Net残差学习分支中。针对CK+人脸表情数据集过小问题,采用数据增强策略扩充数据集。实验结果表明,改进后的Res Net在CK+数据集上表情识别准确率为97. 04%,有效提高了表情识别准确率。     

基于多尺度特征注意力机制的人脸表情识别

针对传统卷积神经网络在人脸表情识别过程中存在有效特征提取针对性不强、识别准确率不高的问题,提出一种基于多尺度特征注意力机制的人脸表情识别方法。用两层卷积层提取浅层特征信息;在Inception结构基础上并行加入空洞卷积,用来提取人脸表情的多尺度特征信息;引入通道注意力机制,提升模型对重要特征信息的表示能力;最后,将得到的特征输入Softmax层进行分类。通过在公开数据集FER2013和CK+上进行仿真实验,分别取得了68.8%和96.04%的识别准确率,结果表明该方法相比许多经典算法有更好的识别效果。     

改进MobileNet的图像分类方法研究

针对神经网络结构的特征提取能力不足以及在包含复杂图像特征的数据集上分类准确率不高的问题,本文提出了一种对MobileNet神经网络的改进策略(L-MobileNet)。将原标准卷积形式替换为深度可分离卷积形式,并将深度卷积层得到的特征图执行取反操作,通过深度卷积融合层传递至下一层;采用Leaky ReLU激活函数代替原ReLU激活函数来保留图像中更多的正负特征信息,并加入类残差结构避免梯度弥散现象。与6种方法进行对比,实验结果表明:L-MobileNet在数据集Cifar-10、Cifar-100(coarse)、Cifar-100(fine)和Dogs vs Cats上平均准确率和最高准确率都取得了最佳结果。     

基于改进LeNet-5的面部表情识别方法

针对现有面部表情识别算法耗时长、收敛速度慢、分类精度低等问题,对LeNet-5网络的框架和内部结构进行双重优化和改进,并提出一种基于改进LeNet-5的面部表情识别方法。为了能够提取更加多样化的特征,同时提升特征表达能力,首先增加卷积层和池化层的个数,调整网络内部参数;其次,通过对卷积层、全连接层进行批规范化处理,提高网络模型的泛化能力;最后,3个池化层以maxpool_avgpool_avgpool的组合方式进行重叠池化。在FER2013人脸表情数据库进行实验,结果表明改进后的模型相较于目前的算法具有更高的识别精度。     

多尺度融合注意力机制的人脸表情识别网络

针对在人脸表情识别中普通卷积神经网络难以提取有效特征、网络模型参数复杂等问题,提出了一种多尺度融合注意力机制网络（multi-scale integrated attention network,MIANet）。为了同时增加网络的宽度和深度又避免冗余计算,在网络中引入Inception结构,用于提取图像的多尺度特征信息。使用高效通道注意机制（efficient channel attention,ECA）,强调与面部表情相关的区域抑制不相关的背景区域,提高重要面部特征的表达能力。在卷积层中采用深度可分离卷积,减少网络参数,防止过拟合。使用提出的方法在公开数据集FER-2013和CK+上进行实验,分别取得了95.76%和72.28%的准确率。实验结果表明,该方法识别效果较好,泛化能力较强,在人脸表情识别中对网络结构设置和参数配置方面具有一定的参考价值。     

基于改进的Faster RCNN面部表情检测算法

针对真实环境下多目标表情分类识别算法准确率低的问题,提出一种基于改进的快速区域卷积神经网络（Faster RCNN）面部表情检测算法。该算法利用二阶检测网络实现表情识别中的多目标识别与定位,使用密集连接模块替代原始的特征提取模块,该模块能够融合多层次特征信息,增加网络深度并避免网络梯度消失。采用柔性非极大抑制（soft-NMS）改进候选框合并策略,设计衰减函数替换传统非极大抑制（NMS）贪心算法,避免相邻或重叠目标漏检,提高网络在多目标情况下的检测准确率。通过构建真实环境下的表情数据集,基于改进的Faster RCNN进行实验测试,在不同场景中能够检测出目标的面部表情,检测准确率相比原始检测模型提高5%,取得较好的检测精度。     

基于全局注意力及金字塔卷积网络的表情识别

近年来基于深度学习的人脸表情识别技术已取得很大进展,但对于表情特征的多尺度提取,以及在不受约束的现实场景中进行面部表情识别仍然是具有挑战性的工作。为解决此问题,提出一种金字塔卷积神经网络与注意力机制结合的表情识别方法。对于初始的一张人脸表情图像,将其按照区域采样裁剪成多张子图像,将原图像和子图像输入到金字塔卷积神经网络进行多尺度特征提取,将提取到的特征图输入到全局注意力模块,给每一张图像分配一个权重,从而得到有重要特征信息的图像,将子图像和原始图像的特征进行加权求和,得到新的含有注意力信息的全局特征,最终进行表情识别分类。在CK+、RAF-DB、AffectNet三个公开表情数据集上分别取得了98.46%、87.34%、60.45%的准确率,提高了表情的识别精度。     

基于改进的YOLOv3算法的乳腺超声肿瘤识别

为了提高乳腺癌诊断的效率以及准确性，本文提出一种基于改进的YOLOv3算法来构建一个乳腺超声肿瘤识别算法，辅助医生进行乳腺癌的诊断。首先在Res2Net网络上融入SE模块构建SE-Res2Net网络来取代原始YOLOv3中的特征提取网络，以此提升模型特征提取的能力。然后通过搭建一个新型下采样模块（downsample block）来解决原始模型中下采样操作容易出现信息丢失的不足。最后为了进一步提升模型特征提取的能力，结合残差连接网络以及密集连接网络的优点构建Res-DenseNet网络来替换原始模型的残差连接方式。实验结果表明:改进后的YOLOv3算法比原始YOLOv3算法的mAP提高了4.56%，取得较好的检测结果。     

基于改进卷积神经网络的多视角人脸表情识别

人脸表情识别是计算机视觉领域的研究热点之一。针对自然状态下的人脸存在多视角变化、脸部信息缺失等问题,提出了一种基于MVFE-LightNet（Multi-View Facial Expression Lightweight Network）的多视角人脸表情识别方法。首先,在残差网络的基础上设计卷积网络提取不同视角下的表情特征,引入深度可分离卷积来减少网络参数。其次,嵌入压缩和奖惩网络模块学习特征权重,利用特征重新标定方式提高网络表示能力,并通过加入空间金字塔池化增强网络的鲁棒性。最后,为了进一步优化识别结果,采用AdamW（Adam with Weight decay）优化方法使网络模型加速收敛。在RaFD、BU-3DFE和Fer2013表情库上的实验表明,该方法具有较高的识别率,且减少网络计算时间。