基于卷积神经网络的人脸表情识别

传统的神经网络表情识别系统由特征提取和神经网络分类器组成,利用人的经验来获取模式特征,很容易丢失表征表情特征的细节信息。提出一种基于卷积神经网络的识别方法,避免了对图像进行复杂的特征提取,直接把图像数据作为输入。通过在Cohn-Kanade表情库上的实验结果表明,该方法能够取得很好的表情分类效果。     

基于深度可分离卷积结构的人脸表情识别研究

人脸表情识别是计算机视觉领域中人脸识别的一个重要分支。由于人脸表情多样性,头部姿态变化以及表情主 体所处环境等诸多因素的影响,给人脸表情识别的工作带来了很大的挑战。针对采用传统卷积神经网络,由于其模型参数数 量多,且比传统机器学习算法的人脸表情识别精度的提高有限,给出了一种基于深度可分离卷积结构的改进卷积神经网络模 型。基于该模型对Fer2013灰度表情识别数据集进行实验,结果表明,在保证了68.31% 的较高准确率情况下,与传统卷积神经 网络相比,模型的网络结构得到了优化,模型参数数量大大减少,且模型参数的利用效率较高。     

基于改进卷积及分类器的轻量级人脸表情识别

目前深度学习的表情识别方法存在参数量大、实时性差的问题,提出基于改进卷积与分类器的轻量级人脸表情识别方法。在深度可分离卷积的基础上设计出浅层特征提取模块和轻量化卷积残差模块提取特征信息,然后改进分类器去替换全连接层进行表情分类。最终模型的参数量由11、171、271下降至5、925、288;同时在FER2013数据集和CK+数据集上保持了高达73.76%和97.74%的识别率,性能优于目前流行的ResNet18网络。     

结合改进卷积神经网络与通道加权的轻量级表情识别

目的 表情是人机交互过程中重要的信息传递方式,因此表情识别具有重要的研究意义。针对目前表情识别方法存在背景干扰大、网络模型参数复杂、泛化性差等问题,本文提出了一种结合改进卷积神经网络(convolutional neural network, CNN)与通道加权的轻量级表情识别方法。方法 首先,采用标准卷积和深度可分离卷积组合神经网络结构,再利用全局平均池化层作为输出层,简化网络的复杂程度,有效降低网络参数;其次,网络引入SE(squeeze-and-excitation)模块进行通道加权,通过在不同卷积层后设置不同的压缩率增强表情特征提取能力,提升网络模型精度;最后,用softmax分类函数实现各类表情的准确分类。结果 本文网络参数量为6 108 519,相较于识别性能较好的Xception神经网络参数减少了63%,并且通过对网络模型的实时性测试,平均识别速度可达128帧/s。在5个公开的表情数据集上验证网络模型对7种表情的识别效果,与7种卷积神经网络方法相比,在FER2013 (Facial Expression Recognition 2013)、CK+(the extended...     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

基于深度可分离卷积的人脸表情识别

为解决在复杂环境下人脸表情识别模型泛化能力不足、识别精度及效率不高的问题,提出一种基于深度可分离卷积的人脸表情识别方法.利用人脸分割网络分割出人脸图像中与表情识别最相关的感兴趣区域,减少非重要因素影响;利用深度可分离卷积构建两个基分类器,实现模型轻量化;采用联合微调方法融合基分类器,提升模型识别率.实验结果表明,在FE...     

基于深度卷积神经网络的面部表情识别研究

本研究为了解决传统面部表情识别模型准确率较低的问题,基于深度卷积神经网络（Deep Convolutional Neural Network,DCNN）提出一种新的改进神经网络模型,与传统模型相对比,本模型将其核心的卷积层替换成了深度可分离卷积层,同时搭配卷积残差块的使用,使网络能够有效减少参数的情况下,能够提取多尺度上的特征信息,从而有效地保留了细节特征。最后通过仿真对比,证明本研究提出的DCNN网络具有突出的性能特点,适合用于面部表情识别任务。     

增强可分离卷积通道特征的表情识别研究

针对目前人脸表情识别准确率不高、网络模型参数复杂等问题,提出一种增强可分离卷积通道特征的人脸表情识别研究方法。设计了一种轻量型卷积神经网络结构提取表情特征,在卷积层中采用深度可分离卷积减少网络参数;引入了压缩激发模块,对不同通道的特征进行权重分配,在不同的卷积层采用不同的压缩率来增强网络对人脸表情的特征提取能力;将提取到的特征送入分类器实现人脸表情分类,在CK+和FER2013数据集上进行实验并分析。实验结果表明：与现有方法相比,提出的网络结构在CK+和FER2013数据集上,识别率分别提高了0.15个百分点和3.29个百分点,且网络模型参数量降低了75%。所提方法在降低网络参数的同时,提高了表情识别准确率。     

基于高效通道注意力网络的人脸表情识别

为了解决现有的人脸表情识别特征提取易受背景及个体因素影响,类内差距大,类间相似度高及实时性较差等问题,提出了一种高效通道注意力网络的轻量级表情识别方法.基于深度可分离卷积改进线性瓶颈结构减少网络复杂性和防止过拟合;通过设计高效注意力模块将特征图的深度与空间信息结合,更着重于重要特征提取,并采用联合损失函数减少相同表情的...     

基于深度可分卷积神经网络的实时人脸表情和性别分类

针对目前普通卷积神经网络（CNN）在表情和性别识别任务中出现的训练过程复杂、耗时过长、实时性差等问题,提出一种深度可分卷积神经网络的实时人脸表情和性别识别模型。首先,利用多任务级联卷积网络（MTCNN）对不同尺度输入图像进行人脸检测,并利用核相关滤波（KCF）对检测到的人脸位置进行跟踪进而提高检测速度。然后,设置不同尺度卷积核的瓶颈层,用通道合并的特征融合方式形成核卷积单元,以具有残差块和可分卷积单元的深度可分卷积神经网络提取多样化特征,并减少参数数量,轻量化模型结构;使用实时启用的反向传播可视化来揭示权重动态的变化并评估了学习的特征。最后,将表情识别和性别识别两个网络并联融合,实现表情和性别的实时识别。实验结果表明,所提出的网络模型在FER-2013数据集上取得73.8%的识别率,在CK+数据集上的识别率达到96%,在IMDB数据集中性别分类的准确率达到96%;模型的整体处理帧率达到80 frame/s,与结合支持向量机的全连接卷积神经网络方法所得结果相比,有着1.5倍的提升。因此针对数量、分辨率、大小等差异较大的数据集,该网络模型检测快,训练时间短,特征提取简单,具有较高的识别率和实时性。     

TP-FER：基于优化卷积神经网络的三通道人脸表情识别方法

针对人脸五官在表达不同情绪时所起的作用不同,利用单一的卷积神经网络对人脸面部特征进行特征提取和表情识别可能会导致提取表情关键特征信息时聚焦性不够,而仅对眼部或者嘴部等重点部位进行特征提取,又有可能造成特征提取不够充分的问题,提出了一种基于优化卷积神经网络的三通道人脸表情识别方法TP-FER(tri-path networks for facial expression recognition).该方法基于构建的卷积神经网络训练,采用三个输入渠道,分别聚焦面部、眼部和嘴部区域进行特征提取和表情判别,最后采用基于决策层的融合技术将三个渠道的识别结果进行相对多数投票决策,获取整体最优识别率.将此方法应用于JCK+数据集和自建数据集上进行了实验判别分析,结果表明该方法在两个数据集上均提高了整体表情识别率.该方法既考虑了脸部整体特征的提取,又兼顾了某些表情主要聚焦在眼部、嘴部表达的特性,相互辅助,整体提高了表情的识别率;该方法也能对神经心理学研究提供数据支持.     

基于多尺度核特征卷积神经网络的实时人脸表情识别

针对人脸表情识别的泛化能力不足、稳定性差以及速度慢难以满足实时性要求的问题,提出了一种基于多尺度核特征卷积神经网络的实时人脸表情识别方法。首先,提出改进的MobileNet结合单发多盒检测器（MSSD）轻量化人脸检测网络,并利用核相关滤波（KCF）模型对检测到的人脸坐标信息进行跟踪来提高检测速度和稳定性;然后,使用三种不同尺度卷积核的线性瓶颈层构成三条支路,用通道合并的特征融合方式形成多尺度核卷积单元,利用其多样性特征来提高表情识别的精度;最后,为了提升模型泛化能力和防止过拟合,采用不同的线性变换方式进行数据增强来扩充数据集,并将FER-2013人脸表情数据集上训练得到的模型迁移到小样本CK+数据集上进行再训练。实验结果表明,所提方法在FER-2013数据集上的识别率达到73.0%,较Kaggle表情识别挑战赛冠军提高了1.8%,在CK+数据集上的识别率高达99.5%。对于640×480的视频,人脸检测速度达到每秒158帧,是主流人脸检测网络多任务级联卷积神经网络（MTCNN）的6.3倍,同时人脸检测和表情识别整体速度达到每秒78帧。因此所提方法能够实现快速精确的人脸表情识别。     

A dual-channel ensembled deep convolutional neural network for facial expression recognition in the wild

Facial expression recognition (FER) in the wild is an active and challenging field of research. A system for automatic FER finds use in a wide range of applications related to advanced human–computer interaction (HCI), human–robot interaction (HRI), human behavioral analysis, gaming and entertainment, etc. Since their inception, convolutional neural networks (CNNs) have attained state-of-the-art accuracy in the facial analysis task. However, recognizing facial expressions in the wild with high confidence running on a low-cost embedded device remains challenging. To this end, this study presents an efficient dual-channel ensembled deep CNN (DCE-DCNN) for FER in the wild. Initially, two DCNNs, namely the ${\text{DCNN}}_G$ and ${\text{DCNN}}_S$, are trained separately on the grayscale and Scharr-convolved vertical gradient facial images, respectively. The proposed network later integrates the two pre-trained DCNNs to obtain the dual-channel integrated DCNN (DCI-DCNN). Finally, all three neural networks, namely the ${\text{DCNN}}_G$, ${\text{DCNN}}_S$, and DCI-DCNN, are jointly fine-tuned to get a single dual-channel-multi-output model. The multi-output model produces three prediction scores for the given input facial image. The prediction scores are thus fused using the max-voting ensemble scheme to obtain the DCE-DCNN with the final classification label. On the FER2013, RAF-DB, NCAER-S, AffectNet, and CKPlus benchmark FER datasets, the proposed DCE-DCNN consistently outperforms the two individual DCNNs and numerous state-of-the-art CNNs. Moreover, the network achieves competitive recognition accuracy on all four FER in the wild datasets with reduced memory storage size and parameters. The proposed DCE-DCNN model with high throughput on resource-limited embedded devices is suitable for applications that seek real-time classification of facial expressions in the wild with high confidence.     

尺度无关的级联卷积神经网络人脸检测算法

卷积神经网络在进行图片处理时需要输入固定尺寸大小的图片,该限制会导致原图在放缩过程中损失大部分信息。另外,目前人脸检测算法多用单一结构网络进行特征提取,这就使得算法的泛化能力较弱。针对以上两个问题,提出了一种将级联卷积神经网络与空间金字塔池化相结合的人脸检测算法。该方法将三级卷积神经网络模型连接起来,其中三级神经网络模型之间各不相同,结构从简单到复杂,在不同层次的神经网络上提取不同的人脸特征并筛选图片,完成对图片中人脸区域的检测。同时,在每级网络层次中加入空间金字塔池化层,这种池化策略无须固定尺寸大小的输入,增加了模型输入的尺寸选择。在标准人脸数据集中,该方法相对于传统方法实现了模型的多尺度输入,提升了检测的性能,并降低了检测人脸的时间。     

基于可变形卷积神经网络的人体动作识别

针对复杂场景中人体动作识别准确率不高的问题,构建了一种基于可变形卷积网络(DCN)与可变形部件模型(DPM)融合改进的人体动作识别系统.首先将DPM的部件滤波器由5个增加到8个,并结合分支定界算法共同将准确率提高约11个百分点,速度提高3倍左右;其次利用DCN根据人体动作进行感兴趣点采样;然后将改进的DPM与DCN在可...     

基于改进卷积神经网络与支持向量机结合的面部表情识别算法

针对当前卷积神经网络（CNN）利用端层特征进行面部表情识别存在模型结构繁琐、训练参数过多、识别不够理想的问题,提出一种基于改进CNN与支持向量机（SVM）相结合的优化算法。首先,利用连续卷积的思想设计网络模型,以获取更多非线性激活;然后,采用自适应全局平均池化（GAP）层取代传统CNN中的全连接层,以减少网络参数量;最后,用SVM分类器代替传统Softmax函数实现表情识别,以提高模型泛化能力。实验结果表明,所提算法在Fer2013和CK+数据集上分别取得了73.4%和98.06%的识别准确率,与传统LeNet-5算法相比,在Fer2013数据集上提升了2.2个百分点,且该网络模型结构简单、参数量较少,具有良好的鲁棒性。     

基于改进的深度残差网络的表情识别研究

提出了一种基于改进的深度残差网络（residual network,ResNet）的表情识别算法。采用小卷积核和深网络结构,利用残差模块学习残差映射解决了随着网络深度的增加网络精度下降问题,通过迁移学习方法克服了因数据量不足导致训练不充分的缺点;网络架构使用了线性支持向量机（SVM）进行分类。实验中首先利用ImageNet数据库进行网络参数预训练,使网络具有良好的提取特征能力,根据迁移学习方法,利用FER-2013数据库以及扩充后的CK+数据库进行参数微调和训练。该算法克服了浅层网络需要依靠手工特征,深层网络难以训练等问题,在CK+数据库以及GENKI-4K数据库上分别取得了91.333%和95.775%识别率。SVM在CK+数据库的分类效果较softmax提高了1%左右。     

一种改进的人脸识别CNN结构研究

为了克服人脸识别中存在光照、姿态、颜色等噪声的干扰,融合了卷积神经网络与孪生神经网络的优点,提出了一种改进的CNN网络结构,该结构由两个卷积神经网络组成,且共享网络权值,在该结构的训练中采用了差异深度度量学习（DDML）算法。卷积结构有效地去除外界噪声干扰,且在非线性降维中权值共享结构能够自动提取相同特征,DDML算法增加了提取特征的有效性。在ORL、YaleB和AR人脸数据库上实验结果表明,与PCA、CNN等算法相比,识别稳定度高,识别率提升近5个百分点。     

基于改进人工鱼群算法的RBF网络及其在人脸表情识别中的应用

在分析人工鱼群算法(AFSA)不足的基础上,研究了一种改进的人工鱼群算法,改进主要体现在两个方面：引入人工鱼移动最佳步长算子;改进觅食行为。将改进算法用于径向基神经网络的训练过程,建立相应优化模型,并将其应用到人脸表情的识别中。研究表明,改进算法具有收敛速度快、识别率高等优点。