面部表情分析进展和挑战

面部表情分析是计算机通过分析人脸信息尝试理解人类情感的一种技术,目前已成为计算机视觉领域的热点话题。其挑战在于数据标注困难、多人标签一致性差、自然环境下人脸姿态大以及遮挡等。为了推动面部表情分析发展,本文概述了面部表情分析的相关任务、进展、挑战和未来趋势。首先,简述了面部表情分析的几个常见任务、基本算法框架和数据库;其次,对人脸表情识别方法进行了综述,包括传统的特征设计方法以及深度学习方法;接着,对人脸表情识别存在的问题与挑战进行总结思考;最后,讨论了未来发展趋势。通过全面综述和讨论,总结以下观点：1)针对可靠人脸表情数据库规模小的问题,从人脸识别模型进行迁移学习以及利用无标签数据进行半监督学习是两个重要策略;2)受模糊表情、低质量图像以及标注者的主观性影响,非受控自然场景的人脸表情数据的标签库存在一定的不确定性,抑制这些因素可以使得深度网络学习真正的表情特征;3)针对人脸遮挡和大姿态问题,利用局部块进行融合的策略是一个有效的策略,另一个值得考虑的策略是先在大规模人脸识别数据库中学习一个对遮挡和姿态鲁棒的模型,再进行人脸表情识别迁移学习;4)由于基于深度学习的表情识别方法受很多超参数影响,导致当前人脸表情识别方法的可比性不强,不同的表情识别方法有必要在不同的简单基线方法上进行评测。目前,虽然非受控自然环境下的表情分析得到较快发展,但是上述问题和挑战仍然有待解决。人脸表情分析是一个比较实用的任务,未来发展除了要讨论方法的精度也要关注方法的耗时以及存储消耗,也可以考虑用非受控环境下高精度的人脸运动单元检测结果进行表情类别推断。     

基于生成式对抗网络的鲁棒人脸表情识别

人们在自然情感交流中经常伴随着头部旋转和肢体动作,它们往往导致较大范围的人脸遮挡,使得人脸图像损失部分表情信息.现有的表情识别方法大多基于通用的人脸特征和识别算法,未考虑表情和身份的差异,导致对新用户的识别不够鲁棒.本文提出了一种对人脸局部遮挡图像进行用户无关表情识别的方法.该方法包括一个基于Wasserstein生成式对抗网络（Wasserstein generative adversarial net,WGAN）的人脸图像生成网络,能够为图像中的遮挡区域生成上下文一致的补全图像;以及一个表情识别网络,能够通过在表情识别任务和身份识别任务之间建立对抗关系来提取用户无关的表情特征并推断表情类别.实验结果表明,我们的方法在由CK+,Multi-PIE和JAFFE构成的混合数据集上用户无关的平均识别准确率超过了90%.在CK+上用户无关的识别准确率达到了96%,其中4.5%的性能提升得益于本文提出的对抗式表情特征提取方法.此外,在45°头部旋转范围内,本文方法还能够用于提高非正面表情的识别准确率.     

一种面向表情识别的ROI区域二级投票机制

针对如何更有效地使用卷积神经网络从训练图像中学习到的分布式特征进行研究,提出了一种面向人脸表情识别的ROI区域二级投票机制。将图像划分成一系列感兴趣区域（ROI）图像输入到卷积神经网络中进行训练;然后将测试图像的ROI图像输入到卷积神经网络中,统计所有ROI图像的判别结果;最后采用二级投票机制确定测试图像的最终类别,得到最终判别结果。针对卷积神经网络不能从人脸图像中学习到旋转等空间位置信息,引入了STN（spatial transformer network）,提高算法在解决复杂情况下的表情识别问题的能力。实验表明,ROI区域二级投票机制能够更有效地使用卷积神经网络从训练图像中学习到的分布式特征,比直接使用ROI图像进行投票的方法准确率提升了1.1%,引入STN能够有效提升卷积神经网络的鲁棒性,比未引入STN的方法准确率提升了1.5%。     

基于卷积神经网络和贝叶斯分类器的句子分类模型

针对传统句子分类模型存在特征提取过程复杂且分类准确率较低等不足,利用当下流行的基于深度学习模型的卷积神经网络在特征提取上的优势,结合传统句子分类方法提出一种基于卷积神经网络和贝叶斯分类器的句子分类模型。该模型首先利用卷积神经网络提取文本特征,其次利用主成分分析法对文本特征进行降维,最后利用贝叶斯分类器进行句子分类。实验结果表明在康奈尔大学公开的影评数据集和斯坦福大学情感分类数据集上,所提模型优于只使用深度学习的模型或传统句子分类模型。     

基于局部流形注意力的人脸表情识别

人脸表情识别在各种人机交互场景中有广泛的应用,但在表情模糊或存在遮挡情况下,现有的表情识别方法效果并不理想.针对表情模糊和遮挡问题,本文提出了一种基于局部流形注意力(SPD-Attention)的网络架构,利用流形学习得到具有更强描述能力的二阶统计信息以加强对表情细节特征的学习,抑制遮挡区域无关特征对网络的影响.同时,针对流形学习过程中由于对数计算导致的梯度消失和爆炸,本文提出了相应的正则约束加速网络收敛.本文在公开表情识别数据集上测试了算法效果,与VGG等经典方法相比取得了显著提升,在AffectNet、CK+、FER2013、FER2013plus、RAF-DB、SFEW上正确率分别为:57.10%、99.01%、69.51%、87.90%、86.63%、49.18%,并在模糊、遮挡表情数据集上相比于Covariance Pooling等目前先进方法提升了1.85%.     

双特征模型核相关滤波目标跟踪算法

目的 基于深度学习的目标跟踪算法,利用卷积深层作为特征,虽然精度高但无法做到实时跟踪;基于相关滤波的跟踪算法,利用HOG（histogram of oriented gridients）、CN（color name）和颜色直方图作为特征,速度快但精度较差。为兼顾目标跟踪算法的实时性与准确性,提出了一种基于双模型核相关滤波算法。方法 提出了自适应的双特征模型选择机制,主特征模型采用浅层纹理特征HOG,辅助特征模型采用包含深层语意信息的CNN（convolutional neural networks）特征,二者协同作用,产生更加稳定的相关滤波器。为了提高算法的速度,采用主成分分析（PCA）技术对高维的CNN特征进行降维,并通过尺度优化、最优解求解方式优化等方法提高跟踪算法的准确性。结果 在公开数据集OTB-2013上,本文算法与目前先进且速度能达到实时的SiamFC（fully-convolutional Siamese networks）、MEEM（multiple experts using entropy minimization）、SAMF（scale adaptive multiple features）、DSST（discriminative scale space tracking）等跟踪算法进行比较,一次成功率（OPE）结果显示,本文算法在距离精准度指标中综合排名第一,与KCF（kernel correlation filter）算法相比,本文算法的距离精准度提高了25.2%,重叠成功率提高了25.6%,平均速度达到38帧/s。结论 本文提出的双模型自适应机制,针对主特征模型的置信响应自适应调用最优模型策略,并且实时更新模型,在综合考虑跟踪准确性和跟踪实时性的情况下,本文提出的目标跟踪算法的性能优于目前的跟踪算法。     

基于深度学习的图像超分辨率复原研究进展

图像超分辨率复原（Super resolution restoration,SR）技术是图像处理领域的研究热点,在视频监控、图像处理、刑侦分析等领域具有广泛的应用需求.近年来,深度学习在多媒体处理领域迅猛发展,基于深度学习的图像超分辨率复原技术已逐渐成为主流技术.本文主要对现有基于深度学习的图像超分辨率复原工作进行综述.从网络类型、网络结构、训练方法等方面分析现有技术的优势与不足,对其发展脉络进行梳理.在此基础上,本文进一步指出了基于深度学习的图像超分辨率复原技术的未来发展方向.     

构建并行卷积神经网络的表情识别算法

目的 表情识别在商业、安全、医学等领域有着广泛的应用前景,能够快速准确地识别出面部表情对其研究与应用具有重要意义。传统的机器学习方法需要手工提取特征且准确率难以保证。近年来,卷积神经网络因其良好的自学习和泛化能力得到广泛应用,但还存在表情特征提取困难、网络训练时间过长等问题,针对以上问题,提出一种基于并行卷积神经网络的表情识别方法。方法 首先对面部表情图像进行人脸定位、灰度统一以及角度调整等预处理,去除了复杂的背景、光照、角度等影响,得到了精确的人脸部分。然后针对表情图像设计一个具有两个并行卷积池化单元的卷积神经网络,可以提取细微的表情部分。该并行结构具有3个不同的通道,分别提取不同的图像特征并进行融合,最后送入SoftMax层进行分类。结果 实验使用提出的并行卷积神经网络在CK+、FER2013两个表情数据集上进行了10倍交叉验证,最终的结果取10次验证的平均值,在CK+及FER2013上取得了94.03%与65.6%的准确率。迭代一次的时间分别为0.185 s和0.101 s。结论 为卷积神经网络的设计提供了一种新思路,可以在控制深度的同时扩展广度,提取更多的表情特征。实验结果表明,针对数量、分辨率、大小等差异较大的表情数据集,该网络模型均能够获得较高的识别率并缩短训练时间。     

基于条件深度卷积生成对抗网络的图像识别方法

生成对抗网络（Generative adversarial networks,GAN）是目前热门的生成式模型.深度卷积生成对抗网络（Deep convolutional GAN,DCGAN）在传统生成对抗网络的基础上,引入卷积神经网络（Convolutional neural networks,CNN）进行无监督训练;条件生成对抗网络（Conditional GAN,CGAN）在GAN的基础上加上条件扩展为条件模型.结合深度卷积生成对抗网络和条件生成对抗网络的优点,建立条件深度卷积生成对抗网络模型（Conditional-DCGAN,C-DCGAN）,利用卷积神经网络强大的特征提取能力,在此基础上加以条件辅助生成样本,将此结构再进行优化改进并用于图像识别中,实验结果表明,该方法能有效提高图像的识别准确率.     

一种基于CLMF的深度卷积神经网络模型

针对传统人工特征提取模型难以满足复杂场景下目标识别的需求, 提出了一种基于CLMF的深度卷积神经网络(Convolutional neural networks with candidate location and multi-feature fusion, CLMF-CNN).该模型结合视觉显著性、多特征融合和CNN模型实现目标对象的识别. 首先, 利用加权Itti模型获取目标候选区; 然后, 利用CNN模型从颜色、亮度多特征角度提取目标对象的特征, 经过加权融合供目标识别; 最后, 与单一特征以及目前的流行算法进行对比实验, 结果表明本文模型不仅在同等条件下正确识别率得到了提高, 同时, 达到实时性要求.     

基于MobileNet卷积神经网络的焊缝缺陷识别

针对焊缝X射线图像缺陷识别传统方法的计算量大与准确度差的问题,提出了基于MobileNet的识别方法。首先对样本图像进行预处理和数量上的增强;然后引入MobileNet结构以解决传统深度卷积神经网络中对计算资源要求高的问题,引入残差结构与ELU激活函数以解决原始MobileNet网络中出现的退化问题与权重偏置更新失效的问题,在训练时应用迁移学习方法,解决小数据集容易过拟合与训练效率低的问题;最后,针对相同数据集,与改进前的网络、AlexNet网络和VGG-16网络进行对比,表明该文方法具备更优的识别准确率和相比传统网络拥有更小的计算量,相比传统网络的缺陷识别方法拥有更大的应用范围。     

基于深度学习的人体动作识别综述

人体动作识别是视频理解领域的重要课题之一,在视频监控、人机交互、运动分析、视频信息检索等方面有着广泛的应用.根据骨干网络的特点,从2D卷积神经网络、3D卷积神经网络、时空分解网络三个角度介绍了动作识别领域的最新研究成果,并对三类方法的优缺点进行了定性的分析和比较.然后,从场景相关和时间相关两方面,全面归纳了常用的动作视...     

基于卷积神经网络的图像检索算法研究

由于互联网+时代的到来,在线图像的数量急剧增加,基于内容的图像检索引起了很多关注。传统的检索方法由于图像表达能力不强,使得检索效率低下,不利于大规模图像检索。因此,提出一种新的基于卷积神经网络的图像检索算法。设计一种新型的端到端的卷积神经网络结构,同时学习基于概率的语义信息相似性和图像特征相似性;引入主成分分析方法,对深层特征进行降维的同时降低信息的损失;通过距离函数计算目标图像与数据库图像的距离,实现检索。在Image Net-1000和Oxford 5K数据集上的实验结果表明,该方法能够有效地增强图像特征的表达能力,提高检索性能,优于对比方法。     

TP-FER：基于优化卷积神经网络的三通道人脸表情识别方法

针对人脸五官在表达不同情绪时所起的作用不同,利用单一的卷积神经网络对人脸面部特征进行特征提取和表情识别可能会导致提取表情关键特征信息时聚焦性不够,而仅对眼部或者嘴部等重点部位进行特征提取,又有可能造成特征提取不够充分的问题,提出了一种基于优化卷积神经网络的三通道人脸表情识别方法TP-FER(tri-path networks for facial expression recognition).该方法基于构建的卷积神经网络训练,采用三个输入渠道,分别聚焦面部、眼部和嘴部区域进行特征提取和表情判别,最后采用基于决策层的融合技术将三个渠道的识别结果进行相对多数投票决策,获取整体最优识别率.将此方法应用于JCK+数据集和自建数据集上进行了实验判别分析,结果表明该方法在两个数据集上均提高了整体表情识别率.该方法既考虑了脸部整体特征的提取,又兼顾了某些表情主要聚焦在眼部、嘴部表达的特性,相互辅助,整体提高了表情的识别率;该方法也能对神经心理学研究提供数据支持.     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

基于Gabor特征和混合高斯模型的人脸表情分析

首先对人脸表情的特点进行分析,提出了利用Gabor小波特征、主分量分析（PCA）结合混合高斯模型的人脸表情分析方法,并在人脸表情数据库JAFFE进行了实验。通过对不同表情的分布规律进行实验分析,实现了对表情的定性/定量分析。实验结果表明,提出的人脸表情分析方法能够对人脸表情进行恰当的表达和描述。     

基于深度可分离卷积结构的人脸表情识别研究

人脸表情识别是计算机视觉领域中人脸识别的一个重要分支。由于人脸表情多样性,头部姿态变化以及表情主体所处环境等诸多因素的影响,给人脸表情识别的工作带来了很大的挑战。针对采用传统卷积神经网络,由于其模型参数数量多,且比传统机器学习算法的人脸表情识别精度的提高有限,给出了一种基于深度可分离卷积结构的改进卷积神经网络模型。基于该模型对Fer2013灰度表情识别数据集进行实验,结果表明,在保证了68.31% 的较高准确率情况下,与传统卷积神经网络相比,模型的网络结构得到了优化,模型参数数量大大减少,且模型参数的利用效率较高。     

基于跨连卷积神经网络的性别分类模型

为提高性别分类准确率, 在传统卷积神经网络(Convolutional neural network, CNN)的基础上, 提出一个跨连卷积神经网络(Cross-connected CNN, CCNN)模型. 该模型是一个9层的网络结构, 包含输入层、6个由卷积层和池化层交错构成的隐含层、全连接层和输出层, 其中允许第2个池化层跨过两个层直接与全连接层相连接. 在10个人脸数据集上的性别分类实验结果表明, 跨连卷积网络的准确率均不低于传统卷积网络.     

基于深度学习的面部修复技术综述

传统图像修复算法在修复区域涉及复杂非重复结构(如面部)时,不能准确捕捉到高级语义。近三年来基于深度学习的方法被应用于图像修复中,其修复结果的结构相似性较传统方法提高了10%以上。首先阐述了面部修复技术的研究发展历程,主要介绍了基于深度学习的面部修复算法,将其分为无监督和有监督两大类方法,在每一类中重点对近年来涌现的各种面部修复算法进行分析和总结;然后归纳了当前主流的六类图像数据集,以及算法性能评价指标;最后讨论了面部修复技术的未来研究方向。     

Text-CRNN+attention架构下的多类别文本信息分类

迄今为止,传统机器学习方法依赖人工提取特征,复杂度高;深度学习网络本身特征表达能力强,但模型可解释性弱导致关键特征信息丢失。为此,以网络层次结合的方式设计了CRNN并引入attention机制,提出一种Text-CRNN+attention模型用于文本分类。首先利用CNN处理局部特征的位置不变性,提取高效局部特征信息;然后在RNN进行序列特征建模时引入attention机制对每一时刻输出序列信息进行自动加权,减少关键特征的丢失,最后完成时间和空间上的特征提取。实验结果表明,提出模型较其他模型准确率提升了2%～3%;在提取文本特征时,该模型既保证了数据的局部相关性又起到强化序列特征的有效组合能力。