基于生成对抗网络的遮挡表情识别

针对实际应用中局部遮挡会影响人脸表情识别,提出一种基于生成对抗网络（GAN）的表情识别算法。先对遮挡人脸图像填补修复,再进行表情识别。其中GAN的生成器由卷积自动编码机构成,与鉴别器的对抗学习使得生成的人脸图像更加逼真;由卷积神经网络构成的鉴别器具有良好的特征提取能力,添加多分类层构成了表情分类器,避免了重新计算图像特征。为了解决训练样本不足的问题,将CelebA人脸数据集用于训练人脸填补修复,同时表情分类器的特征提取部分得到了预训练。在CK+数据集上的实验证明,填补后的人脸图像真实连贯,并取得了较高的表情识别率,尤其提高了人脸大面积遮挡的识别率。     

图像生成和深度度量学习的身份感知面部表情识别方法

为解决面部表情识别中不同图像的背景信息和身份特征会干扰分类准确率的问题,提出一种将图像合成技术和深度度量学习相结合的身份感知人脸表情识别方法,通过在面部表情识别任务中创建相同身份下的表情组,对人脸图像特征进行比较分类.其结构中对抗生成网络,目标在于学习表情信息并生成表情组;特征提取网络用于将图像转化成为可进行度量学习的...     

基于生成对抗网络的遮挡人脸图像修复的改进与实现

针对目前的遮挡人脸图像修复领域中遮挡部位与遮挡大小的限制或修复后人脸图像不够连贯等问题,提出一种改进的Wasserstein生成对抗网络(WGAN)方法来改善人脸图像的修复.将卷积神经网络作为生成器模型,并在对应层间加入跳跃连接来增强生成图像的准确性.在判别器中引入Wasserstein距离进行判别,并引入梯度惩罚来完...     

注意力引导下的面部动作单元级表情编辑方法——AUA-GAN

为解决图像转换过程中产生的伪影问题,利用生成对抗网络(GAN)生成逼真的人脸表情变化,提出了一种注意力引导下的面部动作单元(AU)级表情编辑方法.首先,在数据预处理部分加入正脸恢复模块,当输入图像的姿态偏转较大时,先经过正脸恢复再进行表情编辑,可以有效提高表情生成质量.其次,生成模块中的生成器和判别器网络内置注意力机制,使图像转换集中在人脸区域,忽略不相干的背景信息.最后,在公开数据库CelebA上训练模型,并选取CK+和CASIA-Face V5数据库进行图像生成实验.结果表明生成图像与目标图像间的结构相似性(SSIM)为0.804,生成图像的平均表情识别准确率为0.644,重建图像与真实图像间的SSIM为0.951.AUA-GAN可以在较好地保持原有身份信息的前提下,生成清晰准确的人脸表情变化.     

嵌入注意力机制模型的人脸表情迁移学习方法

人脸表情识别中,利用深度网络进行训练时,往往需要大量的训练数据而且实际应用中常常缺少标签数据,域适应人脸表情迁移学习是一个重要的研究课题。现有基于域适应的人脸表情识别大多采用浅层网络、深度学习网络方法,因此提出了将条件对抗域适应方法应用于人脸表情迁移学习,以及应用熵函数保证分类器预测的不确定人脸表情图像的可迁移性,并通过嵌入注意力机制模型来改进深度学习网络对人脸表情图像的特征提取。实验表明,通过注意力机制模型改进的条件生成对抗网络能有效地提高实验室控制和现实生活中的人脸表情数据识别的准确率。     

区域增强型注意力网络下的人脸表情识别

为了识别人脸表情中包含复杂背景、面部遮挡等因素的真实环境下的图像,提出基于区域增强型注意力网络的人脸表情识别方法.首先提出基于注意力的区域增强网络,减弱外部因素的影响以及增强表情识别在真实环境下的鲁棒性;然后提出通道-空间注意力融合网络,作用于全局的特征提取;最后通过分区损失和交叉熵损失相结合的方式提升表情图像的辨识度,从而提升识别准确率.在公开数据集RAF-DB, FERPlus和AffectNet上的实验结果表明,表情识别准确率分别达到88.81%, 89.32%和60.45%;所提方法具有更高的准确率和鲁棒性.     

基于注意力及视觉Transformer的野外人脸表情识别

目前的人脸表情识别更关注包含面部遮挡、图像模糊等因素的野外图像而非实验室图像,且COVID-19的流行使得人们不得不在公共场合佩戴口罩,这给表情识别任务带来了新的挑战。受启发于最近Transformer在众多计算机视觉任务上的成功,提出了基于注意力及视觉Transformer的野外人脸表情识别模型,并率先使用CSWin Transformer作为主干网络。加入通道-空间注意力模块来提高模型对于全局特征的注意力。Sub-center ArcFace损失函数被用来进一步优化模型的分类能力。在两个公开的野外表情数据集RAF-DB和FERPlus上以及它们对应的口罩遮挡数据集上对所提出的方法进行了评估,识别准确率分别为88.80%、89.31%和76.12%、72.28%,提高了表情识别精度。     

基于循环生成对抗网络的含遮挡人脸识别

人脸图像的遮挡会严重影响人脸识别准确率,当前处理带遮挡人脸识别的方法主要有丢弃法和修复法两种。丢弃法因忽略或丢弃大量遮挡区域的有效特征易造成识别准确率不高,而当前大多数修复法需要原图的相关信息,限制了其应用。针对现有含遮挡人脸识别方法存在的问题,提出一种基于循环生成对抗网络的人脸识别算法,通过利用2对生成器和判别器进行循环训练,实现遮挡人脸图像的盲修复,此过程不需要除遮挡区域外的原图信息。在此基础上,采用ResNet-50网络对修复后人脸进行识别,该网络通过跳跃连接消除深层卷积神经网络中的网络退化问题,能够降低网络训练的难度,且不会增加额外的参数和计算量。针对盲修复后人脸特征存在类内差异大和类间差异小的特性,引入一种能够量化类间距离的分类损失函数RegularFace作为识别网络损失函数。实验结果表明,与DCGAN+CNN算法相比,所提算法对不同遮挡类型和遮挡区域的人脸图像识别准确率均有所提高,当线性遮挡面积为40%时,所提算法的识别准确率提高了14.4个百分点。     

身份保持约束下的人脸图像补全

人脸图像补全作为图像补全技术的一种特殊应用,在被遮挡人脸的识别、人脸修复等问题上有不可替代的作用。现有的人脸补全算法只针对补全图像的真实性,而未考虑其补全后的身份一致性。针对这一问题,设计了一种基于改进的生成式对抗网络的人脸补全算法,通过引入SN-GAN算法,提高了模型训练的稳定性,同时利用人脸识别模型对生成图像加入了身份一致性约束,经过实验证明,所提方法能够在生成高真实性图像时有效保持补全图像的身份一致。     

基于改进的GAN的局部遮挡人脸表情识别

针对实际应用中人脸图像存在局部遮挡的情况经常发生,会造成识别率下降和鲁棒性降低。因此针对目前存在的这种情况,提出一种基于改进生成式对抗网络（Generative Adversarial Network,GAN）的表情识别模型,先利用由自动编码器构成的生成器和两个鉴别器（局部鉴别器和全局鉴别器）的对抗学习对遮挡人脸图像填补修复,再在全局鉴别器后面添加多分类层,利用全局鉴别器的部分卷积层并在后面添加多分类层构成表情分类器进行表情识别。最后通过实验进行了不同遮挡面积的人脸图像在填补前后表情识别率的对比和不同算法的识别率对比,实验结果证明识别率会更高,尤其提高了人脸大面积遮挡的识别率。     

Non-Frontal Facial Expression Recognition Using a Depth-Patch Based Deep Neural Network

The challenge of coping with non-frontal head poses during facial expression recognition results in considerable reduction of accuracy and robustness when capturing expressions that occur during natural communications. In this paper, we attempt to recognize facial expressions under poses with large rotation angles from 2D videos. A depth-patch based 4D expression representation model is proposed. It was reconstructed from 2D dynamic images for delineating continuous spatial changes and temporal context under non-frontal cases. Furthermore, we present an effective deep neural network classifier, which can accurately capture pose-variant expression features from the depth patches and recognize non-frontal expressions. Experimental results on the BU-4DFE database show that the proposed method achieves a high recognition accuracy of 86.87% for non-frontal facial expressions within a range of head rotation angle of up to 52°, outperforming existing methods. We also present a quantitative analysis of the components contributing to the performance gain through tests on the BU-4DFE and Multi-PIE datasets.     

基于条件深度卷积生成对抗网络的图像识别方法

生成对抗网络（Generative adversarial networks,GAN）是目前热门的生成式模型.深度卷积生成对抗网络（Deep convolutional GAN,DCGAN）在传统生成对抗网络的基础上,引入卷积神经网络（Convolutional neural networks,CNN）进行无监督训练;条件生成对抗网络（Conditional GAN,CGAN）在GAN的基础上加上条件扩展为条件模型.结合深度卷积生成对抗网络和条件生成对抗网络的优点,建立条件深度卷积生成对抗网络模型（Conditional-DCGAN,C-DCGAN）,利用卷积神经网络强大的特征提取能力,在此基础上加以条件辅助生成样本,将此结构再进行优化改进并用于图像识别中,实验结果表明,该方法能有效提高图像的识别准确率.     

结合关键点与权重分配残差网络的表情识别

现有人脸表情识别算法易受图像背景、非表情内容等无关因素的影响。此外,部分人脸表情（例如害怕、生气、伤心等表情）的类间差异较小也制约着算法的性能。针对上述两个问题,提出了一种融合面部关键点和权重分配残差网络的表情识别算法。通过面部关键点获取最大的表情范围以消除图像背景和非表情内容的干扰,将预处理后的表情图像作为深度残差网络的输入,引入权重分配机制从通道和空间维度上进行注意权重推断,实现不同区域的权重分配,进而引导深度残差网络学习对表情具有鉴别力的局部特征。该算法分别在FER2013和CK+表情数据集上达到了74.14%和98.99%的识别准确率,有效改善了生气、伤心、害怕等类间差异较小的表情识别准确率。     

解纠缠表示学习在跨年龄人脸识别中的应用

跨年龄人脸识别因其在现实生活中的广泛应用而成为人脸识别领域的热门话题.针对跨年龄人脸识别精度较低的问题,引入解纠缠表示学习,提出了一个基于生成对抗网络的解纠缠表示学习(IPDRL)网络来实现人脸图像的识别.该网络由编码器、生成器和鉴别器构成.编码器在对特征中的年龄变化进行解纠缠的同时,对人脸图像的身份信息进行编码,提取只利于身份鉴别的特征,实现身份特征和年龄特征的解纠缠;生成器根据输入的年龄特征生成对应的身份保持的年龄图像;鉴别器通过对抗学习和多任务学习实现年龄和身份的类分布预测.通过将解纠缠表示学习、对抗学习和多任务学习相结合的方法,很好地保留了人脸图像的身份信息,并使跨年龄人脸图像识别的精度得到了提高.     

Simultaneous Learning of Nonlinear Manifolds Based on the Bottleneck Neural Network

Manifold learning methods are important techniques for nonlinear extraction of high-dimensional data structures. These methods usually extract a global manifold for data. However, in many real-world problems, there is not only one global manifold, but also additional information about the objects is shared by a large number of manifolds. These manifolds can share information for data reconstruction. To simultaneously extract these data manifolds, this paper proposes a nonlinear method based on the deep neural network (NN) named nonlinear manifold separator NN (NMSNN). Unlike unsupervised learning of bottleneck NN, data labels were used for simultaneous manifold learning. This paper makes use of NMSNN for extracting both expression and identity manifolds for facial images of the CK+ database. These manifolds have been evaluated by different metrics. The identity manifold is used for changing image identity. The result of identity recognition by K-nearest neighbor classifier shows that virtual identities are exactly sanitized. The virtual images for different expressions of test subjects are generated by expression manifold. The facial expression recognition rate of 92.86 % is achieved for virtual expressions of test persons. It is shown that NMSNN can be used to enrich datasets by sanitizing virtual images. As a result, 8 and 19 % improvements are gained in the face recognition task by a single image of each person on CK+ and Bosphorus databases, respectively.     

结合改进卷积神经网络与通道加权的轻量级表情识别

目的 表情是人机交互过程中重要的信息传递方式,因此表情识别具有重要的研究意义。针对目前表情识别方法存在背景干扰大、网络模型参数复杂、泛化性差等问题,本文提出了一种结合改进卷积神经网络(convolutional neural network, CNN)与通道加权的轻量级表情识别方法。方法 首先,采用标准卷积和深度可分离卷积组合神经网络结构,再利用全局平均池化层作为输出层,简化网络的复杂程度,有效降低网络参数;其次,网络引入SE(squeeze-and-excitation)模块进行通道加权,通过在不同卷积层后设置不同的压缩率增强表情特征提取能力,提升网络模型精度;最后,用softmax分类函数实现各类表情的准确分类。结果 本文网络参数量为6 108 519,相较于识别性能较好的Xception神经网络参数减少了63%,并且通过对网络模型的实时性测试,平均识别速度可达128帧/s。在5个公开的表情数据集上验证网络模型对7种表情的识别效果,与7种卷积神经网络方法相比,在FER2013 (Facial Expression Recognition 2013)、CK+(the extended...     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

结合LBP特征和深度学习的人脸表情识别

对于人脸表情识别,传统方法是先提取图像特征,再使用机器学习方法进行识别,这种方法不但特征提取过程复杂且泛化能力也差。为了达到更好的人脸表情识别效果,文中提出一种结合特征提取和卷积神经网络的人脸表情识别方法。首先使用基于Haar-like特征的AdaBoost算法对于数据库原始图片进行人脸区域检测,然后提取人脸区域局部二值模式（Local Binary Patterns,LBP）特征图,将其尺寸归一化后输入到改进的LeNet-5神经网络模型中进行识别。在CK+和JAFFE数据集上采用10折交叉验证方法进行实验,分别为98.19%和96.35%的准确率。实验结果表明该方法与其他主流方法相比在人脸表情识别上有一定的先进性和有效性。     

增强可分离卷积通道特征的表情识别研究

针对目前人脸表情识别准确率不高、网络模型参数复杂等问题,提出一种增强可分离卷积通道特征的人脸表情识别研究方法。设计了一种轻量型卷积神经网络结构提取表情特征,在卷积层中采用深度可分离卷积减少网络参数;引入了压缩激发模块,对不同通道的特征进行权重分配,在不同的卷积层采用不同的压缩率来增强网络对人脸表情的特征提取能力;将提取到的特征送入分类器实现人脸表情分类,在CK+和FER2013数据集上进行实验并分析。实验结果表明：与现有方法相比,提出的网络结构在CK+和FER2013数据集上,识别率分别提高了0.15个百分点和3.29个百分点,且网络模型参数量降低了75%。所提方法在降低网络参数的同时,提高了表情识别准确率。     

面向类内差距表情的深度学习识别

目的 为解决真实环境中由类内差距引起的面部表情识别率低及室内外复杂环境对类内差距较大的面部表情识别难度大等问题,提出一种利用生成对抗网络（generative adversarial network,GAN）识别面部表情的方法。方法 在GAN生成对抗的思想下,构建一种IC-GAN（intra-class gap GAN）网络结构,使用卷积组建编码器、解码器对自制混合表情图像进行更深层次的特征提取,使用基于动量的Adam（adaptive moment estimation）优化算法进行网络权重更新,重点针对真实环境面部表情识别过程中的类内差距较大的表情进行识别,使其更好地适应类内差异较大的任务。结果 基于Pytorch环境,在自制的面部表情数据集上进行训练,在面部表情验证集上进行测试,并与深度置信网络（deep belief network,DBN）和GoogLeNet网络进行对比实验,最终IC-GAN网络的识别结果比DBN网络和GoogLeNet网络分别提高11%和8.3%。结论 实验验证了IC-GAN在类内差距较大的面部表情识别中的精度,降低了面部表情在类内差距较大情况下的误识率,提高了系统鲁棒性,为面部表情的生成工作打下了坚实的基础。