结合三维交互注意力与语义聚合的表情识别

针对传统卷积网络难以有效整合不同阶段人脸面部表情的特征、存在特征表征瓶颈以及无法高效利用上下文语义等问题,提出了一种结合三维交互注意力与语义聚合的面部表情识别方法。在秩扩展（ReXNet）网络的基础上对其进行优化,在消除表征瓶颈的情况下,融合上下文特征,使其更适配表情识别任务。为捕获判别性人脸表情细粒度特征,结合非本地块与跨维度信息交互理论构建了三维交互注意力。为充分利用表情的浅中层底层特征与高层语义特征,设计了语义聚合模块,将多级全局上下文特征与高级语义信息进行聚合,达到同一类别的表情语义相互增益、增强类内一致性的目的。实验表明,该方法在公开数据集RAF-DB、FERPlus和AffectNet-8上的准确率分别为88.89%、89.53%与62.22%,展现了该方法的先进性。     

融合注意力机制改进残差网络的表情识别方法

为提高大数据挖掘过程中表情识别的计算速度和准确率,在ResNet-50模型的基础上,融合通道注意力机制与改进残差网络,提出一种表情识别方法的改进模型(SE-ResNet-50+Swish)。改进模型在ResNet-50的基础上,引入多个带有通道注意力模块SE的特征层对表情样本进行特征提取,利用注意力机制增强关键的特征通道,增强网络的特征表达与鲁棒性,且能够有效减少计算量,并利用激活函数Swish替代ReLU激活函数,以达到进一步提升表情识别准确率的目的。在CAS-PEAL-R1数据库上进行验证的结果表明,SE-ResNet-50在ResNet-50的基础上引入SE模块之后,虽然增加了网络层数,但计算速度以及表情识别的准确率有明显提高;改进模型利用Swish替代ReLU后,相比于SE-ResNet-50的参数数量与计算量等无显著增多,但表情识别准确率有提升;以上结果表明,改进模型能够有效减少计算量,并增强网络的特征表达与鲁棒性,从而达到提升表情识别计算速度与识别准确率的目的。     

融合关键点属性与注意力表征的人脸表情识别

人脸的表情变化非常细微,通常表现在图像中某些局部点区域的改变,现有的人脸表情识别方法难以捕捉到表情的细微变化,对非表情区域干扰不具有鲁棒性。为了获得描述人脸表情变化的高效特征表示,提出了一种融合关键点属性与注意力表征的人脸表情识别方法。通过添加通道注意力和空间注意力的神经网络提取人脸图像中的关键点信息,实现不同维度和位置的权重分配,有效避免非表情区域的干扰,捕获图像中局部关键点的特征表征。引入Transformer模块学习不同关键点之间的相关联系,引导网络构建对表情类型更具分辨力的特征表示,从而实现精准识别。通过在CK+、JAFFE、FER2013三种公开数据集上进行实验的结果表明：提出算法的识别准确率分别达到了99.22%、96.57%、73.37%。     

利用优化剪枝GoogLeNet的人脸表情识别方法

为了提高人脸表情识别的准确率和加快处理速度,提出了一种基于优化剪枝GoogLeNet的人脸表情识别方法。利用GoogLeNet网络提取面部特征,其中Inception模块加深学习深度,并利用典型的分类器实现人脸表情分类。改进GoogLeNet网络,添加全局最大池化层并保留检测目标的位置信息,以Sigmoid交叉熵作为训练目标,获得全面的人脸表情特征信息。通过剪枝算法对GoogLeNet网络进行训练、修剪低权重连接和再训练网络等操作,以简化网络结构和参数量,提高运行效率。在JAFFE、CK+和Cohn-Kanade数据集上对所提方法进行验证,实验结果表明,所提方法的识别准确率分别为83.84%、85.09%和84.87%,运行时间低于200?ms,优于对比方法,具有较好的适用性。     

基于混合注意力机制的表情识别研究

针对目前传统人脸表情识别算法存在特征提取复杂、表情识别率低等问题,提出一种基于混合注意力机制的Res Net人脸表情识别方法。该方法把通道注意力模块和空间注意力模块组成混合注意力模块,将混合注意力模块嵌入Res Net残差学习分支中。针对CK+人脸表情数据集过小问题,采用数据增强策略扩充数据集。实验结果表明,改进后的Res Net在CK+数据集上表情识别准确率为97. 04%,有效提高了表情识别准确率。     

基于沙漏结构与注意力机制的轻量级人脸表情识别方法

人脸表情检测分类是人机交互领域的一个挑战性任务。为了解决当前表情识别模型参数量大、分类准确率低等问题,提出一种基于沙漏结构与注意力机制的轻量级人脸表情识别方法。首先利用改进的沙漏结构构建轻量级主干特征提取网络;然后设计一个新颖的特征融合注意模块,融合Focus池化特征以提取关键的细节信息,同时嵌入轻量级ECA注意力机制,强化关键表情特征以提升模型的特征表达能力;最后采取Random Erasing、Dropout等多种训练策略以缓解轻量级网络过拟合现象,从而提升模型的泛化性能。在2个经典表情数据集FER2013和CK+上进行测试实验,识别率分别达到了71.72%、95.96%,同时参数量仅约为1×106。     

权重推断与标签平滑的轻量级人脸表情识别

针对轻量级网络在复杂环境下对面部表情的特征提取不够充分、模型参数存在冗余以及单标签数据集无法有效描述复杂情感倾向所带来的歧义表情等问题,提出了一种结合改进ShuffleNet与标签平滑学习的人脸表情识别方法。通过对原始网络的分析与剪裁,得到了改进后更紧凑的K5＿Light＿ShuffleNet,不仅优化了网络参数,还提高了模型的表征能力。为了增强模型对人脸表情图像局部细节特征的提取能力,抑制非表情特征,在模型中嵌入了设计的轻量化通道空间关键权重推断模块。通过标签平滑学习方法,在不引入额外信息的前提下,利用软标签分布监督网络的学习,以减少由于歧义表情对识别性能所带来的不利影响。实验结果表明,在公开的RAF-DB、AffectNet-7和AffectNet-8数据集上分别达到了86.91%、61.80%和58.75%的表情识别准确率,相较于目前其他人脸表情识别方法,其识别率有一定提高,同时模型参数量和计算量均保持在较低水平,利于其在实际中的应用。     

多尺度坐标注意力金字塔卷积的面部表情识别

针对传统卷积神经网络对人脸面部表情特征提取能力不足、计算速度较慢等问题，提出了一种多尺度融合注意力的金字塔卷积模型。为了减少网络的参数量，提高网络的计算速度，增大模型的感受野，改进了金字塔卷积结构；为了从多尺度表示面部表情特征，提高模型对面部特征的表示能力，提出了SECA坐标注意力模块；为了节省网络的计算量，解决模型冗余的问题，促进通道间的信息融合，提出了深度可分离混洗方法。实验结果表明，该模型在公开数据集FER2013、CK+和JAFFE上的准确率分别为72.89%、98.55%和94.37%，参数量为1.958×107，与其他网络对比，该网络识别效果更好，准确率更高，同时保持较快的计算速度。     

多尺度残差注意力网络及其表情识别算法

面部表情识别已经广泛运用于人机交互、教育、自动驾驶等各种领域,针对现有表情识别方法网络结构复杂、参数多、泛化能力不足、识别率低等问题,且人脸表情在自然环境下易受到光照、姿态和局部遮挡等环境因素的影响,提出了一种多尺度残差注意力网络.以ResNet-18网络为基础,提出了一种新的多尺度残差注意力模块,通过提取不同尺度特征,增加特征多样性.引入CBAM注意力机制获取表情图像重点特征信息,有利于提升遮挡表情的识别.构建特征残差融合块,将浅层特征与深层特征进行残差融合,有利于获取丰富的人脸表情图像整体特征.实验结果表明,本文方法在CK+、JAFFE和Oulu-CASIA 3个公开表情数据集上分别达到了99.49%、98.53%和97.08%的准确率,与一些现有方法相比,本文方法表情识别率更高,证明了该方法可用于人脸表情识别.     

基于高效通道注意力网络的人脸表情识别

为了解决现有的人脸表情识别特征提取易受背景及个体因素影响,类内差距大,类间相似度高及实时性较差等问题,提出了一种高效通道注意力网络的轻量级表情识别方法.基于深度可分离卷积改进线性瓶颈结构减少网络复杂性和防止过拟合;通过设计高效注意力模块将特征图的深度与空间信息结合,更着重于重要特征提取,并采用联合损失函数减少相同表情的...     

结合空间结构卷积和注意力机制的三维点云分类网络

目的 三维点云分类作为一项关键任务,在计算机视觉、机器人和自动驾驶等领域有着广泛的应用场景。现有的三维点云分类网络在使用边卷积进行局部特征提取时通常存在输入特征差异性小,空间结构信息提取、融合不充分等问题。针对上述问题,设计了一种结合空间结构卷积和注意力机制的点云分类网络。方法 首先,提出一种空间结构卷积,在边卷积的基础上引入邻接点之间的相对位置信息来降低输入特征相似性,而后从结构和位置两个角度分别进行特征编码,实现更具多样性的局部几何结构捕获。其次,设计了全局特征编码模块,从坐标信息中提炼全局特征信息,同时在网络中融合了注意力机制,用于关联局部和全局特征表示,有效保留了全局特征信息,实现全局特征的适应性调整。最后,将局部几何结构信息和全局位置信息进行有效的融合,获得更具代表性和差异性的特征表征。结果 设计实验在公开数据集ModelNet40上对提出的网络模型的性能进行评估,点云分类总体准确率和平均准确率分别达到93.0%和89.7%,具备良好的分类性能和预测效率。实验结果表明,空间结构卷积的使用有效增加了输入特征的多样性,位置和结构的单独编码有效提高了局部特征的表达能力。同时,提出的注意力加权方式在保留全局特征前提下实现了局部特征和全局特征的关联。结论 提出的网络有较强的细粒度特征提取能力,具有良好的分类性能。     

融合局部特征与两阶段注意力权重学习的面部表情识别

面部的局部细节信息在面部表情识别中扮演重要角色,然而现有的方法大多只关注面部表情的高层语义信息而忽略了局部面部区域的细粒度信息。针对这一问题,提出一种融合局部特征与两阶段注意力权重学习的深度卷积神经网络FLF-TAWL(deep convolutional neural network fusing local feature and two-stage attention weight learning),它能自适应地捕捉重要的面部区域从而提升面部表情识别的有效性。该FLF-TAWL由双分支框架构成,一个分支从图像块中提取局部特征,另一个分支从整个表情图像中提取全局特征。首先提出了两阶段注意力权重学习策略,第一阶段粗略学习全局和局部特征的重要性权重,第二阶段进一步细化注意力权重,并将局部和全局特征进行融合;其次,采用一种区域偏向损失函数鼓励最重要的区域以获得较高的注意力权重。在FERPlus、Cohn-Kanada(CK+)以及JAFFE三个数据集上进行了广泛实验,分别获得90.92%、98.90%、97.39%的准确率,实验结果验证了FLF-TAWL模型的有效性和可行性。     

结合动态图卷积和空间注意力的点云分类与分割

目的 随着3维采集技术的飞速发展,点云在计算机视觉、自动驾驶和机器人等领域有着广泛的应用前景。深度学习作为人工智能领域的主流技术,在解决各种3维视觉问题上已表现出巨大潜力。现有基于深度学习的3维点云分类分割方法通常在聚合局部邻域特征的过程中选择邻域特征中的最大值特征,忽略了其他邻域特征中的有用信息。方法 本文提出一种结合动态图卷积和空间注意力的点云分类分割方法（dynamic graph convolution spatial attention neural networks,DGCSA）。通过将动态图卷积模块与空间注意力模块相结合,实现更精确的点云分类分割效果。使用动态图卷积对点云数据进行K近邻构图并提取其边特征。在此基础上,针对局部邻域聚合过程中容易产生信息丢失的问题,设计了一种基于点的空间注意力（spatial attention,SA）模块,通过使用注意力机制自动学习出比最大值特征更具有代表性的局部特征,从而提高模型的分类分割精度。结果 本文分别在ModelNet40、ShapeNetPart和S3DIS（Stanford Large-scale 3D Indoor Spaces Dataset）数据集上进行分类、实例分割和语义场景分割实验,验证模型的分类分割性能。实验结果表明,该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.3%;在室内场景分割的6折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别提高0.8%、0.2%和3.0%,有效改善了模型性能。结论 使用动态图卷积模块提取点云特征,在聚合局部邻域特征中引入空间注意力机制,相较于使用最大值特征池化,可以更好地聚合邻域特征,有效提高了模型在点云上的分类、实例分割与室内场景语义分割的精度。     

融合时空域特征的人脸表情识别

目的 人脸表情识别是计算机视觉的核心问题之一。一方面,表情的产生对应着面部肌肉的一个连续动态变化过程,另一方面,该运动过程中的表情峰值帧通常包含了能够识别该表情的完整信息。大部分已有的人脸表情识别算法要么基于表情视频序列,要么基于单幅表情峰值图像。为此,提出了一种融合时域和空域特征的深度神经网络来分析和理解视频序列中的表情信息,以提升表情识别的性能。方法 该网络包含两个特征提取模块,分别用于学习单幅表情峰值图像中的表情静态“空域特征”和视频序列中的表情动态“时域特征”。首先,提出了一种基于三元组的深度度量融合技术,通过在三元组损失函数中采用不同的阈值,从单幅表情峰值图像中学习得到多个不同的表情特征表示,并将它们组合在一起形成一个鲁棒的且更具辩识能力的表情“空域特征”;其次,为了有效利用人脸关键组件的先验知识,准确提取人脸表情在时域上的运动特征,提出了基于人脸关键点轨迹的卷积神经网络,通过分析视频序列中的面部关键点轨迹,学习得到表情的动态“时域特征”;最后,提出了一种微调融合策略,取得了最优的时域特征和空域特征融合效果。结果 该方法在3个基于视频序列的常用人脸表情数据集CK+(the e...     

基于Transformer的跨尺度交互学习伪装目标检测

伪装目标检测(COD)旨在精确且高效地检测出与背景高度相似的伪装物体, 其方法可为物种保护、医学病患检测和军事监测等领域提供助力, 具有较高的实用价值. 近年来, 采用深度学习方法进行伪装目标检测成为一个比较新兴的研究方向. 但现有大多数COD算法都是以卷积神经网络(CNN)作为特征提取网络, 并且在结合多层次特征时, 忽略了特征表示和融合方法对检测性能的影响. 针对基于卷积神经网络的伪装目标检测模型对被检测目标的全局特征提取能力较弱问题, 提出一种基于Transformer的跨尺度交互学习伪装目标检测方法. 该模型首先提出了双分支特征融合模块, 将经过迭代注意力的特征进行融合, 更好地融合高低层特征; 其次引入了多尺度全局上下文信息模块, 充分联系上下文信息增强特征; 最后提出了多通道池化模块, 能够聚焦被检测物体的局部信息, 提高伪装目标检测准确率. 在CHAMELEON、CAMO以及COD10K数据集上的实验结果表明, 与当前主流的伪装物体检测算法相比较, 该方法生成的预测图更加清晰, 伪装目标检测模型能取得更高精度.     

基于加权多头并行注意力的局部遮挡面部表情识别

面部表情识别在诸多领域具有广泛的应用价值, 但在识别过程中局部遮挡会导致面部难以提取有效的表情识别特征, 而局部遮挡的面部表情识别可能需要多个区域的表情特征, 单一的注意力机制无法同时关注面部多个区域特征. 针对这一问题, 本文提出了一种基于加权多头并行注意力的局部遮挡面部表情识别模型, 该模型通过并行多个通道-空间注意力提取局部未被遮挡的多个面部区域表情特征, 有效缓解了遮挡对表情识别的干扰, 大量的实验结果表明, 本文的方法相比于很多先进的方法取得了最优的性能, 在RAF-DB和FERPlus上的准确率分别为89.54%、89.13%, 在真实遮挡的数据集Occlusion-RAF-DB和Occlusion-FERPlus的准确率分别为87.47%、86.28%. 因此, 本文的方法具有很强的鲁棒性.     

关键点深度特征驱动人脸表情识别

目的 人脸关键点检测和人脸表情识别两个任务紧密相关。已有对两者结合的工作均是两个任务的直接耦合,忽略了其内在联系。针对这一问题,提出了一个多任务的深度框架,借助关键点特征识别人脸表情。方法 参考inception结构设计了一个深度网络,同时检测关键点并且识别人脸表情,网络在两个任务的监督下,更加关注关键点附近的信息,使得五官周围的特征获得较大响应值。为进一步减小人脸其他区域的噪声对表情识别的影响,利用检测到的关键点生成一张位置注意图,进一步增加五官周围特征的权重,减小人脸边缘区域的特征响应值。复杂表情引起人脸部分区域的形变,增加了关键点检测的难度,为缓解这一问题,引入了中间监督层,在第1级检测关键点的网络中增加较小权重的表情识别任务,一方面,提高复杂表情样本的关键点检测结果,另一方面,使得网络提取更多表情相关的特征。结果 在3个公开数据集：CK+（Cohn-Kanade dataset）,Oulu（Oulu-CASIA NIR&VIS facial expression database）和MMI（MMI facial expression database）上与经典方法进行比较,本文方法在CK+数据集上的识别准确率取得了最高值,在Oulu和MMI数据集上的识别准确率比目前识别率最高的方法分别提升了0.14%和0.54%。结论 实验结果表明了引入关键点信息的有效性：多任务的卷积神经网络表情识别准确率高于单任务的传统卷积神经网络。同时,引入注意力模型也提升了多任务网络中表情的识别率。     

基于局部流形注意力的人脸表情识别

人脸表情识别在各种人机交互场景中有广泛的应用,但在表情模糊或存在遮挡情况下,现有的表情识别方法效果并不理想.针对表情模糊和遮挡问题,本文提出了一种基于局部流形注意力(SPD-Attention)的网络架构,利用流形学习得到具有更强描述能力的二阶统计信息以加强对表情细节特征的学习,抑制遮挡区域无关特征对网络的影响.同时,针对流形学习过程中由于对数计算导致的梯度消失和爆炸,本文提出了相应的正则约束加速网络收敛.本文在公开表情识别数据集上测试了算法效果,与VGG等经典方法相比取得了显著提升,在AffectNet、CK+、FER2013、FER2013plus、RAF-DB、SFEW上正确率分别为:57.10%、99.01%、69.51%、87.90%、86.63%、49.18%,并在模糊、遮挡表情数据集上相比于Covariance Pooling等目前先进方法提升了1.85%.     

Text-CRNN+attention架构下的多类别文本信息分类

迄今为止,传统机器学习方法依赖人工提取特征,复杂度高;深度学习网络本身特征表达能力强,但模型可解释性弱导致关键特征信息丢失。为此,以网络层次结合的方式设计了CRNN并引入attention机制,提出一种Text-CRNN+attention模型用于文本分类。首先利用CNN处理局部特征的位置不变性,提取高效局部特征信息;然后在RNN进行序列特征建模时引入attention机制对每一时刻输出序列信息进行自动加权,减少关键特征的丢失,最后完成时间和空间上的特征提取。实验结果表明,提出的模型较其他模型准确率提升了2%~3%;在提取文本特征时,该模型既保证了数据的局部相关性又起到强化序列特征的有效组合能力。     

面部表情分析进展和挑战

面部表情分析是计算机通过分析人脸信息尝试理解人类情感的一种技术,目前已成为计算机视觉领域的热点话题。其挑战在于数据标注困难、多人标签一致性差、自然环境下人脸姿态大以及遮挡等。为了推动面部表情分析发展,本文概述了面部表情分析的相关任务、进展、挑战和未来趋势。首先,简述了面部表情分析的几个常见任务、基本算法框架和数据库;其次,对人脸表情识别方法进行了综述,包括传统的特征设计方法以及深度学习方法;接着,对人脸表情识别存在的问题与挑战进行总结思考;最后,讨论了未来发展趋势。通过全面综述和讨论,总结以下观点：1）针对可靠人脸表情数据库规模小的问题,从人脸识别模型进行迁移学习以及利用无标签数据进行半监督学习是两个重要策略;2）受模糊表情、低质量图像以及标注者的主观性影响,非受控自然场景的人脸表情数据的标签库存在一定的不确定性,抑制这些因素可以使得深度网络学习真正的表情特征;3）针对人脸遮挡和大姿态问题,利用局部块进行融合的策略是一个有效的策略,另一个值得考虑的策略是先在大规模人脸识别数据库中学习一个对遮挡和姿态鲁棒的模型,再进行人脸表情识别迁移学习;4）由于基于深度学习的表情识别方法受很多超参数影响,导致当前人脸表情识别方法的可比性不强,不同的表情识别方法有必要在不同的简单基线方法上进行评测。目前,虽然非受控自然环境下的表情分析得到较快发展,但是上述问题和挑战仍然有待解决。人脸表情分析是一个比较实用的任务,未来发展除了要讨论方法的精度也要关注方法的耗时以及存储消耗,也可以考虑用非受控环境下高精度的人脸运动单元检测结果进行表情类别推断。