注意力引导下的面部动作单元级表情编辑方法——AUA-GAN

为解决图像转换过程中产生的伪影问题,利用生成对抗网络(GAN)生成逼真的人脸表情变化,提出了一种注意力引导下的面部动作单元(AU)级表情编辑方法.首先,在数据预处理部分加入正脸恢复模块,当输入图像的姿态偏转较大时,先经过正脸恢复再进行表情编辑,可以有效提高表情生成质量.其次,生成模块中的生成器和判别器网络内置注意力机制,使图像转换集中在人脸区域,忽略不相干的背景信息.最后,在公开数据库CelebA上训练模型,并选取CK+和CASIA-Face V5数据库进行图像生成实验.结果表明生成图像与目标图像间的结构相似性(SSIM)为0.804,生成图像的平均表情识别准确率为0.644,重建图像与真实图像间的SSIM为0.951.AUA-GAN可以在较好地保持原有身份信息的前提下,生成清晰准确的人脸表情变化.     

基于面部运动单元和时序注意力的视频表情识别方法

针对视频序列中表情强度不一致,长短时记忆网络(LSTM)难以有效地提取其特征的问题,提出一种基于面部运动单元和时序注意力的视频表情识别方法.首先在卷积LSTM(ConvLSTM)的基础上引入时序注意力模块,对视频序列进行时序建模,在降低维度的同时保留丰富人脸图像特征信息;其次提出基于面部动作单元的人脸图像分割规则,解决面部表情活跃区域难以界定的问题;最后在模型中嵌入标签修正模块,解决自然条件下数据集中样本不确定性的问题.在MMI, Oulu-CASIA和AFEW数据集上的实验结果表明,所提方法的模型参数量低于已公开的主流模型,且在MMI数据集上的平均识别准确率达到87.22%,高于目前主流方法,在整体效果上优于目前具有代表性的方法.     

面部动作单元检测方法进展与挑战

人脸动作编码系统从人脸解剖学的角度定义了一组面部动作单元（action unit,AU）,用于精确刻画人脸表情变化。每个面部动作单元描述了一组脸部肌肉运动产生的表观变化,其组合可以表达任意人脸表情。AU检测问题属于多标签分类问题,其挑战在于标注数据不足、头部姿态干扰、个体差异和不同AU的类别不均衡等。为总结近年来AU检测技术的发展,本文系统概述了2016年以来的代表性方法,根据输入数据的模态分为基于静态图像、基于动态视频以及基于其他模态的AU检测方法,并讨论在不同模态数据下为了降低数据依赖问题而引入的弱监督AU检测方法。针对静态图像,进一步介绍基于局部特征学习、AU关系建模、多任务学习以及弱监督学习的AU检测方法。针对动态视频,主要介绍基于时序特征和自监督AU特征学习的AU检测方法。最后,本文对比并总结了各代表性方法的优缺点,并在此基础上总结和讨论了面部AU检测所面临的挑战和未来发展趋势。     

基于深度学习和表情AU参数的人脸动画方法

为了利用计算机方便快捷地生成表情逼真的动漫人物,提出一种基于深度学习和表情AU参数的人脸动画生成方法.该方法定义了用于描述面部表情的24个面部运动单元参数,即表情AU参数,并利用卷积神经网络和FEAFA数据集构建和训练了相应的参数回归网络模型.在根据视频图像生成人脸动画时,首先从单目摄像头获取视频图像,采用有监督的梯度下降法对视频帧进行人脸检测,进而对得到的人脸表情图像准确地回归出表情AU参数值,将其视为三维人脸表情基系数,并结合虚拟人物相对应的24个基础三维表情形状和中立表情形状,在自然环境下基于表情融合变形模型驱动虚拟人物生成人脸动画.该方法省去了传统方法中的三维重建过程,并且考虑了运动单元参数之间的相互影响,使得生成的人脸动画的表情更加自然、细腻.此外,基于人脸图像比基于特征点回归出的表情系数更加准确.     

嵌入注意力机制模型的人脸表情迁移学习方法

人脸表情识别中,利用深度网络进行训练时,往往需要大量的训练数据而且实际应用中常常缺少标签数据,域适应人脸表情迁移学习是一个重要的研究课题。现有基于域适应的人脸表情识别大多采用浅层网络、深度学习网络方法,因此提出了将条件对抗域适应方法应用于人脸表情迁移学习,以及应用熵函数保证分类器预测的不确定人脸表情图像的可迁移性,并通过嵌入注意力机制模型来改进深度学习网络对人脸表情图像的特征提取。实验表明,通过注意力机制模型改进的条件生成对抗网络能有效地提高实验室控制和现实生活中的人脸表情数据识别的准确率。     

图像生成和深度度量学习的身份感知面部表情识别方法

为解决面部表情识别中不同图像的背景信息和身份特征会干扰分类准确率的问题,提出一种将图像合成技术和深度度量学习相结合的身份感知人脸表情识别方法,通过在面部表情识别任务中创建相同身份下的表情组,对人脸图像特征进行比较分类.其结构中对抗生成网络,目标在于学习表情信息并生成表情组;特征提取网络用于将图像转化成为可进行度量学习的...     

基于改进CycleGAN的人脸剪纸自动生成

针对人脸剪纸手工设计难度大, 制作周期长等问题, 本文首次利用生成对抗网络生成高质量人脸剪纸. 面向人脸剪纸艺术特点, 提出了一种基于CycleGAN的改进网络: 1) 在原始CycleGAN生成器中引入CBAM注意力模块, 增强网络特征提取能力; 2) 引入针对鼻、眼、唇等关键面部区域的局部鉴别器, 提升人脸剪纸中以上区域的生成效果; 3)设计基于图像边缘信息与SSIM的损失函数, 取代CycleGAN的前向循环一致损失, 消除所得人脸剪纸中的阴影. 相较于其他人脸剪纸自动生成方法, 本文方法可快速生成与原始人脸相似度高、线条连续流畅、具有艺术美感的人脸剪纸. 此外, 本文还提出了一种人脸剪纸连通性后处理方法, 使所得结果更符合中国传统剪纸整体连通的特点.     

基于属性分解融合的可控人脸图像合成算法

在现实生活中，人脸图像受隐私或安全因素的限制难以直接采集，因此可以考虑采用图像生成方法。当使用生成对抗网络进行图像生成时，容易出现分辨率低、边缘模糊、身份信息特征丢失等问题。针对上述问题，提出了一种新的人脸特征生成模型：通过将关键信息作为独立编码嵌入隐式空间，再与全局特征进行融合插值实现对人脸关键特征的可控生成；引入改进的注意力模块，在生成过程中关注局部特征和全局特征的相关性；将色差损失和人脸分量损失联合引入整体损失函数中，负责约束像素颜色和人脸纹理特征。该算法可以在人脸局部区域生成自然真实的外观特征，保留原始身份信息，并生成平滑的面部轮廓。使用预处理后的CelebA数据集的实验表明，该算法在主观视觉效果上有显著提升，同时与现有方法相比在PSNR和SSIM上有稳定的提升。     

基于改进CycleGAN的人脸性别伪造图像生成模型

深度伪造可以将人的声音、面部及身体动作拼接,从而合成虚假内容,用于转换性别、改变年龄等.基于生成对抗式图像翻译网络的人脸性别伪造图像存在容易改变无关图像域、人脸细节不够丰富等问题.针对这些问题,文中提出基于改进Cy-cleGAN的人脸性别伪造图像生成模型.首先,优化生成器结构,利用注意力机制与自适应残差块提取更丰富的人...     

融合多级属性与注意力机制的人脸替换方法

针对当前人脸替换方法仅利用目标图像的姿势和表情指导换脸过程中常常忽略背景、光照等其他属性,同时生成的替换人脸与目标图像的融合效果较差的问题,提出一种融合多级属性和注意力机制的人脸替换方法.在提取目标图像属性阶段,基于U-Net结构设计一种多级属性编码器,采用多层次级联的卷积块和反卷积块以及层间连接准确、全面地提取目标图像的表情与背景属性,保留更多细节信息;在生成替换人脸阶段,设计一种结合注意力机制的生成器,利用注意力模型权重自适应地调整源人脸特征和目标属性集成的有效区域,使生成器生成更加符合视觉机制的替换人脸.在FaceForensics++图像集上的实验结果表明,与DeepFaceLab方法相比,该方法所生成的替换人脸与目标图像的结构相似度提高了6.73%,头部姿势差异和面部表情差异分别降低了1.026和0.491.该方法不仅更好地保留了源人脸特征信息,还更大程度地忠实于目标图像属性,达到了良好的替换效果.     

AU-aware Algorithm for 3D Facial Reconstruction

As a critical task in computer vision and animation, 3D face reconstruction can provide 3D model structures and rich semantic information for multi-modal facial applications. However, monocular 2D facial images lack depth information and the parameters of the predicted facial model are not reliable, which causes poor reconstruction results. We propose to employ facial Action Unit (AU) and key facial points which are highly correlated with model parameters as a bridge to guide the regression of model-related parameters and thus solve the ill-posed monocular face reconstruction. Based on existing face reconstruction datasets, we provide a complete semi-automatic labeling scheme for facial AUs and construct a 300W-LP-AU dataset. Furthermore, a 3D face reconstruction algorithm based on AU awareness is put forward to realize end-to-end multi-tasking learning and reduce the overall training difficulty. Experimental results show that the algorithm can improve the face reconstruction performance, with high fidelity of the rebuilt facial model.     

基于注意力及视觉Transformer的野外人脸表情识别

目前的人脸表情识别更关注包含面部遮挡、图像模糊等因素的野外图像而非实验室图像,且COVID-19的流行使得人们不得不在公共场合佩戴口罩,这给表情识别任务带来了新的挑战。受启发于最近Transformer在众多计算机视觉任务上的成功,提出了基于注意力及视觉Transformer的野外人脸表情识别模型,并率先使用CSWin Transformer作为主干网络。加入通道-空间注意力模块来提高模型对于全局特征的注意力。Sub-center ArcFace损失函数被用来进一步优化模型的分类能力。在两个公开的野外表情数据集RAF-DB和FERPlus上以及它们对应的口罩遮挡数据集上对所提出的方法进行了评估,识别准确率分别为88.80%、89.31%和76.12%、72.28%,提高了表情识别精度。     

基于特征区域自动分割的人脸表情识别?

针对目前三维人脸表情区域分割方法复杂、费时问题,提出一种人脸表情区域自动分割方法,通过投影、曲率计算的方法检测人脸的部分特征点,以上述特征点为基础进行人脸表情区域的自动分割。为得到更加丰富的表情特征,结合人脸表情识别编码规则对提取到的特征矩阵进行扩充,利用分类器进行人脸表情的识别。通过对三维人脸表情数据库部分样本的识别结果表明,该方法可以取得较高的识别率。     

人脸活动单元自动识别研究综述

人脸活动单元(action units,AU)的自动识别能应用于行为科学、人机交互、安全、医疗诊断等众多领域,近年来得到了广泛关注.文中阐述了AU自动识别的基本概念、一般过程及其主要特征提取和分类方法,介绍了具有AU编码的代表性人脸表情数据库,并对单个AU与AU组合的识别、AU强度与AU动态性分析的研究现状进行了评述.最后总结了目前AU自动识别研究中存在的主要难点,并展望了其发展方向.     

多尺度融合注意力机制的人脸表情识别网络

针对在人脸表情识别中普通卷积神经网络难以提取有效特征、网络模型参数复杂等问题,提出了一种多尺度融合注意力机制网络（multi-scale integrated attention network,MIANet）。为了同时增加网络的宽度和深度又避免冗余计算,在网络中引入Inception结构,用于提取图像的多尺度特征信息。使用高效通道注意机制（efficient channel attention,ECA）,强调与面部表情相关的区域抑制不相关的背景区域,提高重要面部特征的表达能力。在卷积层中采用深度可分离卷积,减少网络参数,防止过拟合。使用提出的方法在公开数据集FER-2013和CK+上进行实验,分别取得了95.76%和72.28%的准确率。实验结果表明,该方法识别效果较好,泛化能力较强,在人脸表情识别中对网络结构设置和参数配置方面具有一定的参考价值。     

人脸表情的LBP特征分析

为了有效提取面部表情特征,提出了一种新的基于LBP（局部二值模式）特征的人脸表情识别特征提取方法。首先用均值方差法对表情图像进行灰度规一化,通过对图像进行积分投影,定位出眉毛、眼睛、鼻和嘴巴这些关键特征点,进而划分出各特征部件所在子区域,然后对子区域进行分块,提取各个子区域的分块LBP直方图特征。为了验证所提出的方法的合理性,最后在JAFFE表情库上进行了实验,结果表明提出的方法能够有效地描述表情的特征。     

关键点深度特征驱动人脸表情识别

目的 人脸关键点检测和人脸表情识别两个任务紧密相关。已有对两者结合的工作均是两个任务的直接耦合,忽略了其内在联系。针对这一问题,提出了一个多任务的深度框架,借助关键点特征识别人脸表情。方法 参考inception结构设计了一个深度网络,同时检测关键点并且识别人脸表情,网络在两个任务的监督下,更加关注关键点附近的信息,使得五官周围的特征获得较大响应值。为进一步减小人脸其他区域的噪声对表情识别的影响,利用检测到的关键点生成一张位置注意图,进一步增加五官周围特征的权重,减小人脸边缘区域的特征响应值。复杂表情引起人脸部分区域的形变,增加了关键点检测的难度,为缓解这一问题,引入了中间监督层,在第1级检测关键点的网络中增加较小权重的表情识别任务,一方面,提高复杂表情样本的关键点检测结果,另一方面,使得网络提取更多表情相关的特征。结果 在3个公开数据集：CK+（Cohn-Kanade dataset）,Oulu（Oulu-CASIA NIR&VIS facial expression database）和MMI（MMI facial expression database）上与经典方法进行比较,本文方法在CK+数据集上的识别准确率取得了最高值,在Oulu和MMI数据集上的识别准确率比目前识别率最高的方法分别提升了0.14%和0.54%。结论 实验结果表明了引入关键点信息的有效性：多任务的卷积神经网络表情识别准确率高于单任务的传统卷积神经网络。同时,引入注意力模型也提升了多任务网络中表情的识别率。     

基于生物启发特征和SVM的人脸表情识别

将C1特征应用于静态图像人脸表情识别,提出了一种新的基于生物启发特征和SVM的表情识别算法。提取人脸图像的C1特征,利用PCA+LDA方法对特征进行降维,用SVM进行分类。在JAFFE和Extended Cohn-Kanade（CK+）人脸表情数据库上的实验结果表明,该算法具有较高的识别率,是一种有效的人脸表情识别方法。     

基于局部二元模式的面部表情识别研究

提出了一种基于局部二元模式（Local Binary Pattern,LBP）与支持向量机（SVM）相结合的面部表情识别方法。使用LBP算子对图像进行处理,对图像的模式进行统计形成面部表情特征;使用线性判别分析对表情特征进行降维处理;采用支持向量机对面部表情进行分类。用Matlab实现了上述方法,并在日本女性人脸表情（JAFFE）数据库上测试,取得了70.95%的识别率。     

基于事例的面部动作单元识别算法

本文提出基于事例的交互式遗传算法进行面部动作单元识别的算法,将用户的比较能力融入到搜索过程,快速检索到与待识别图像匹配的事例图像,从而实现动作单元的半自动识别。该方法不需抽取图像特征,因而可用于识别非控制成像条件下自发面部图像或图像序列中的动作单元,具有较好的鲁棒性和实用性。文中采用16幅受控成像条件下收集的简单图像进行实验,单独AU的平均识别率达到77.5%,AU组合的平均相似度为82.8%。采用10幅有干扰的非受控成像条件下收集的复杂图像进行实验,单独AU的平均识别率为82.8%,AU组合的平均相似度为93.1%。相对于特征脸算法,本文算法的平均识别率和相似度都有较大程度的提高。