基于面部动作编码系统的表情生成对抗网络

用含有面部表情信息的向量作为输入条件指导生成高真实性人脸图像是一个重要的研究课题,但常用的八类表情标签较为单一,为更好地反映人脸各处丰富的微表情信息,以面部各个肌肉群作为动作单元（AUs）,提出一种基于面部动作编码系统（FACS）的人脸表情生成对抗网络。将注意力机制融合到编码解码生成模块中,网络更加集中关注局部区域并针对性做出生成改变,使用了一种基于判别模块重构误差、分类误差和注意力平滑损失的目标函数。在常用BP4D人脸数据集上的实验结果表明,该方法可以更有效地关注各个动作单元对应区域位置并用单个AU标签控制表情生成,且连续AU标签值大小能控制表情幅度强弱,与其他方法相比,该方法所生成的表情图像细节保留更清晰且真实性更高。     

嵌入注意力机制模型的人脸表情迁移学习方法

人脸表情识别中,利用深度网络进行训练时,往往需要大量的训练数据而且实际应用中常常缺少标签数据,域适应人脸表情迁移学习是一个重要的研究课题。现有基于域适应的人脸表情识别大多采用浅层网络、深度学习网络方法,因此提出了将条件对抗域适应方法应用于人脸表情迁移学习,以及应用熵函数保证分类器预测的不确定人脸表情图像的可迁移性,并通过嵌入注意力机制模型来改进深度学习网络对人脸表情图像的特征提取。实验表明,通过注意力机制模型改进的条件生成对抗网络能有效地提高实验室控制和现实生活中的人脸表情数据识别的准确率。     

结合注意力机制的面部表情识别方法研究

传统CNN对重要通道特征关注不足,制约面部表情识别准确率.文章将通道注意力机制应用到面部表情识别中,即将通道注意力模块嵌入到卷积网络中.在Fer2013和CK+表情数据集上的验证结果表明,该方法有较高的识别率.     

融合多级属性与注意力机制的人脸替换方法

针对当前人脸替换方法仅利用目标图像的姿势和表情指导换脸过程中常常忽略背景、光照等其他属性,同时生成的替换人脸与目标图像的融合效果较差的问题,提出一种融合多级属性和注意力机制的人脸替换方法.在提取目标图像属性阶段,基于U-Net结构设计一种多级属性编码器,采用多层次级联的卷积块和反卷积块以及层间连接准确、全面地提取目标图像的表情与背景属性,保留更多细节信息;在生成替换人脸阶段,设计一种结合注意力机制的生成器,利用注意力模型权重自适应地调整源人脸特征和目标属性集成的有效区域,使生成器生成更加符合视觉机制的替换人脸.在FaceForensics++图像集上的实验结果表明,与DeepFaceLab方法相比,该方法所生成的替换人脸与目标图像的结构相似度提高了6.73%,头部姿势差异和面部表情差异分别降低了1.026和0.491.该方法不仅更好地保留了源人脸特征信息,还更大程度地忠实于目标图像属性,达到了良好的替换效果.     

一种基于自注意力机制的自动人脸替换方法

针对DeepFakes人脸替换方法生成人脸图像分辨率低、质量差等问题,提出一种基于自注意力机制的生成对抗网络的自动人脸替换方法,生成对抗网络主体采用类似U型自编码对称结构减少特征信息的损失,引进自注意力机制能够更好地学习图像的纹理特征,提高生成图像的重建质量,应用卡尔曼滤波器平滑处理每一帧上的边界框位置,降低人脸抖动。在FaceForensics++数据集上与DeepFakes替换方法进行对比实验,定性和定量的实验结果证明了该方法能够较好地提升生成图像质量,减少脸部抖动。     

融合注意力机制改进ResNet的人脸表情识别

鉴于现有人脸表情识别方法在表情识别过程中存在的诸多痛点,比如对有效特征提取不够、泛化能力不强、识别准确性不高等,提出了一种改进残差网络的人脸表情识别方法。首先,引入卷积注意力机制,对网络中间的特征图进行重构,强调重要特征,抑制一般特征;其次,使用激活函数PReLU替换ResNet中原有的ReLU,在提高模型拟合复杂数据能力的同时,避免出现在负值区域的梯度永远为0,进而导致模型训练时无法执行反向传播的问题;然后,在网络输出层的avgpool与fc之间加入Dropout抑制过拟合,以进一步增加网络模型的鲁棒性与泛化性;最后,在公开数据集CK+上的仿真实验结果表明,该方法的准确识别率达到96.12%。与现有多种经典算法,以及baseline算法即ResNet101相比,改进的网络模型具有更好的识别效果,证明了该方法的有效性与优异性。     

基于层级注意力模型的视频序列表情识别

长短期记忆网络(LSTM)广泛应用于视频序列的人脸表情识别,针对单层LSTM表达能力有限,在解决复杂问题时其泛化能力易受制约的不足,提出一种层级注意力模型:使用堆叠LSTM学习时间序列数据的分层表示,利用自注意力机制构建差异化的层级关系,并通过构造惩罚项,进一步结合损失函数优化网络结构,提升网络性能.在CK+和MMI数据集上的实验结果表明,由于构建了良好的层次级别特征,时间序列上的每一步都从更感兴趣的特征层级上挑选信息,相较于普通的单层LSTM,层级注意力模型能够更加有效地表达视频序列的情感信息.     

基于注意力及视觉Transformer的野外人脸表情识别

目前的人脸表情识别更关注包含面部遮挡、图像模糊等因素的野外图像而非实验室图像,且COVID-19的流行使得人们不得不在公共场合佩戴口罩,这给表情识别任务带来了新的挑战。受启发于最近Transformer在众多计算机视觉任务上的成功,提出了基于注意力及视觉Transformer的野外人脸表情识别模型,并率先使用CSWin Transformer作为主干网络。加入通道-空间注意力模块来提高模型对于全局特征的注意力。Sub-center ArcFace损失函数被用来进一步优化模型的分类能力。在两个公开的野外表情数据集RAF-DB和FERPlus上以及它们对应的口罩遮挡数据集上对所提出的方法进行了评估,识别准确率分别为88.80%、89.31%和76.12%、72.28%,提高了表情识别精度。     

基于注意力机制的人脸表情识别迁移学习方法

针对现有的在人脸表情识别中应用的卷积神经网络结构不够轻量,难以精确提取人脸表情特征,且需要大量表情标记数据等问题,提出一种基于注意力机制的人脸表情识别迁移学习方法.设计一个轻量的网络结构,在其基础上进行特征分组并建立空间增强注意力机制,突出表情特征重点区域,利用迁移学习在目标函数中构造一个基于log-Euclidean...     

标签引导的生成对抗网络人脸表情识别域适应方法

传统的人脸表情识别方法主要针对实验室环境下的基本表情,难以应对现实场景中人类微妙和复杂的表情变化,并且目前自然环境人脸表情识别数据集普遍缺乏足够的训练数据。针对该问题,利用实验室环境下的数据库样本,提出以标签引导的生成对抗网络表情识别域适应方法。将情感标签作为辅助条件,训练生成对抗网络的生成模型,把实验室环境的数据库样本转化为类似自然环境数据库的样本,以扩充自然环境数据库,同时基于扩充的数据库样本训练基本分类器VGG、Resnet等,从而学习自然环境的数据库的情感特征。在RAF_DB等自然环境人脸表情数据库上的实验结果表明,与Boosting-POOF和PixelDA方法相比,该方法扩充得到的数据库可使人脸表情识别率取得6%~9%的提升。     

Texture and shape information fusion for facial expression and facial action unit recognition

A novel method based on fusion of texture and shape information is proposed for facial expression and Facial Action Unit (FAU) recognition from video sequences. Regarding facial expression recognition, a subspace method based on Discriminant Non-negative Matrix Factorization (DNMF) is applied to the images, thus extracting the texture information. In order to extract the shape information, the system firstly extracts the deformed Candide facial grid that corresponds to the facial expression depicted in the video sequence. A Support Vector Machine (SVM) system designed on an Euclidean space, defined over a novel metric between grids, is used for the classification of the shape information. Regarding FAU recognition, the texture extraction method (DNMF) is applied on the differences images of the video sequence, calculated taking under consideration the neutral and the expressive frame. An SVM system is used for FAU classification from the shape information. This time, the shape information consists of the grid node coordinate displacements between the neutral and the expressed facial expression frame. The fusion of texture and shape information is performed using various approaches, among which are SVMs and Median Radial Basis Functions (MRBFs), in order to detect the facial expression and the set of present FAUs. The accuracy achieved using the Cohn–Kanade database is 92.3% when recognizing the seven basic facial expressions (anger, disgust, fear, happiness, sadness, surprise and neutral), and 92.1% when recognizing the 17 FAUs that are responsible for facial expression development.     

Learning person-specific models for facial expression and action unit recognition

A key assumption of traditional machine learning approach is that the test data are draw from the same distribution as the training data. However, this assumption does not hold in many real-world scenarios. For example, in facial expression recognition, the appearance of an expression may vary significantly for different people. As a result, previous work has shown that learning from adequate person-specific data can improve the expression recognition performance over the one from generic data. However, person-specific data is typically very sparse in real-world applications due to the difficulties of data collection and labeling, and learning from sparse data may suffer from serious over-fitting. In this paper, we propose to learn a person-specific model through transfer learning. By transferring the informative knowledge from other people, it allows us to learn an accurate model for a new subject with only a small amount of person-specific data. We conduct extensive experiments to compare different person-specific models for facial expression and action unit (AU) recognition, and show that transfer learning significantly improves the recognition performance with a small amount of training data.     

基于注意力机制的弱监督动作定位方法

针对弱监督动作定位方法无法直接进行动作定位且定位准确性不高的问题,提出了一种基于注意力机制的弱监督动作定位方法,并设计和实现了一种基于动作前后帧信息和区分函数的动作定位模型.采用条件变分自编码器(CVAE)注意力值生成模型,将生成的帧级注意力值作为伪帧级标签;为了增强帧前后的关联性,改进CVAE注意力值生成模型,加入动...     

对象级特征引导的显著性视觉注意方法

针对已有视觉注意模型在整合对象特征方面的不足,提出一种新的结合高层对象特征和低层像素特征的视觉注意方法。首先,利用已训练的卷积神经网（CNN）对多类目标的强大理解能力,获取待处理图像中对象的高层次特征图;然后结合实际的眼动跟踪数据,训练多个对象特征图的加权系数,给出对象级突出图;紧接着提取像素级突出图,并和对象级突出图融合获得显著图;最后,在OSIE和MIT数据集上验证了该方法,并与国际上流行的视觉注意方法进行对比,结果显示该算法在OSIE数据集上获得的AUC值相对更高。实验结果表明,所提方法能够更加充分地利用图像中对象信息,提高显著性预测的准确率。     

面部运动单元检测研究综述

面部运动单元检测旨在让计算机从给定的人脸图像或视频中自动检测需要关注的运动单元目标。经过二十多年的研究,尤其是近年来越来越多的面部运动单元数据库的建立和深度学习的兴起,面部运动单元检测技术发展迅速。首先,阐述了面部运动单元的基本概念,介绍了已有的常用面部运动单元检测数据库,概括了包括预处理、特征提取、分类器学习等步骤在内的传统检测方法;然后针对区域学习、面部运动单元关联学习、弱监督学习等几个关键研究方向进行了系统性的回顾梳理与分析;最后讨论了目前面部运动单元检测研究存在的不足以及未来潜在的发展方向。     

面部动作单元检测方法进展与挑战

人脸动作编码系统从人脸解剖学的角度定义了一组面部动作单元（action unit,AU）,用于精确刻画人脸表情变化。每个面部动作单元描述了一组脸部肌肉运动产生的表观变化,其组合可以表达任意人脸表情。AU检测问题属于多标签分类问题,其挑战在于标注数据不足、头部姿态干扰、个体差异和不同AU的类别不均衡等。为总结近年来AU检测技术的发展,本文系统概述了2016年以来的代表性方法,根据输入数据的模态分为基于静态图像、基于动态视频以及基于其他模态的AU检测方法,并讨论在不同模态数据下为了降低数据依赖问题而引入的弱监督AU检测方法。针对静态图像,进一步介绍基于局部特征学习、AU关系建模、多任务学习以及弱监督学习的AU检测方法。针对动态视频,主要介绍基于时序特征和自监督AU特征学习的AU检测方法。最后,本文对比并总结了各代表性方法的优缺点,并在此基础上总结和讨论了面部AU检测所面临的挑战和未来发展趋势。     

Using attention LSGB network for facial expression recognition

Pattern Analysis and Applications - Both the multiple sources of the available in-the-wild datasets and noisy information of images lead to huge challenges for discriminating subtle distinctions...