基于生成对抗网络的遮挡表情识别

针对实际应用中局部遮挡会影响人脸表情识别,提出一种基于生成对抗网络（GAN）的表情识别算法。先对遮挡人脸图像填补修复,再进行表情识别。其中GAN的生成器由卷积自动编码机构成,与鉴别器的对抗学习使得生成的人脸图像更加逼真;由卷积神经网络构成的鉴别器具有良好的特征提取能力,添加多分类层构成了表情分类器,避免了重新计算图像特征。为了解决训练样本不足的问题,将CelebA人脸数据集用于训练人脸填补修复,同时表情分类器的特征提取部分得到了预训练。在CK+数据集上的实验证明,填补后的人脸图像真实连贯,并取得了较高的表情识别率,尤其提高了人脸大面积遮挡的识别率。     

DFM-GAN网络在跨年龄模拟的人脸识别技术研究

针对年龄变化对人脸识别率影响的问题,结合生成式对抗网络（Generative Adversarial Network,GAN）与深度特征迁移提出一种跨年龄人脸生成方法DFM-GAN（Depth Feature Migration GAN）,并进行跨年龄模拟人脸验证实验研究。首先通过卷积编码器将真实样本映射到特征向量,然后利用反卷积生成器将向量投影到独热编码年龄条件下的人脸集合,通过在特征空间中迁移数据库样本人脸纹理风格、语义特点等属性,模拟生成待检人员在不同年龄段的面部图像,减少与数据库样本之间的差异性。同时通过高斯边缘模糊的方法对样本数据集做预处理,引入边缘提升对抗损失函数,使生成图像具有更为清晰的边缘,对生成图像进行局部颜色直方图匹配,增加对比度,达到提高跨年龄人脸识别性能的目的。进行了单样本不同年龄实验与指定年龄多样本实验,以人脸相似度与人脸距两项指标进行实验测量,结果表明：跨年龄数据样本经过DFM-GAN生成后的人脸图像,相似度平均提高了19.24个百分点,人脸距离平均减少了0.451,在跨年龄人脸识别方向具有较好的可行性和一定的实际意义。     

注意力金字塔卷积残差网络的表情识别

人脸表情是人类内心情绪最真实最直观的表达方式之一,不同的表情之间具有细微的类间差异信息。因此,提取表征能力较强的特征成为表情识别的关键问题。为提取较为高级的语义特征,在残差网络（ResNet）的基础上提出一种注意力金字塔卷积残差网络模型（APRNET50）。该模型融合金字塔卷积模块、通道注意力和空间注意力。首先用金字塔卷积提取图像的细节特征信息,然后对所提特征在通道和空间维度上分配权重,按权重大小定位显著区域,最后通过全连接层构建分类器对表情进行分类。以端到端的方式进行训练,使得所提网络模型更适合于精细的面部表情分类。实验结果表明,在FER2013和CK+数据集上识别准确率可以达到73.001%和94.949%,与现有的方法相比识别准确率分别提高了2.091个百分点和0.279个百分点,达到了具有相对竞争力的效果。     

基于深度残差和特征金字塔网络的实时多人脸关键点定位算法

针对人脸关键点定位算法需要分为人脸区域检测与单人脸关键点定位两个步骤,导致处理时间成倍增加的情况,提出一步到位的实时且准确的多人脸关键点定位算法。该算法将人脸关键点坐标生成对应的热度图作为数据标签,利用深度残差网络完成前期的图像特征提取,使用特征金字塔网络融合在不同网络深度中表征不同尺度感受野的信息特征,应用中间监督思想,级联多个预测网络由粗到精地一次性回归图中所有人脸的关键点,而无需人脸检测步骤。在保持高定位精度的同时,该算法完成一次前向传播只需要约0.0075 s （约每秒133帧）,满足了实时人脸关键点定位的要求,且在WFLW测试集中取得了6.06%的平均误差与11.70%的错误率。     

生成对抗网络进行感知遮挡人脸还原的算法研究

有遮挡人脸图像还原是指通过对遮挡区域的图像进行估计,尽可能使用语义上合理的内容来填补.现有的人脸图像还原算法大多使用预先定义的掩模来模拟遮挡,并未考虑真实场景下的遮挡(如眼镜、口罩等)大小和位置对图像还原的影响.提出了一种基于深度卷积生成对抗网络的遮挡感知人脸还原方法,通过学习最接近遮挡图像的编码,来推断缺失的内容,并在生成的过程中自动检测出遮挡的区域,此外,为了减少面部信息丢失,保证恢复后的人脸的真实性,引入语义感知网络,以此进一步优化所提模型.对所选数据集的实验表明,所提出的模型效果较好.     

基于改进的GAN的局部遮挡人脸表情识别

针对实际应用中人脸图像存在局部遮挡的情况经常发生,会造成识别率下降和鲁棒性降低。因此针对目前存在的这种情况,提出一种基于改进生成式对抗网络（Generative Adversarial Network,GAN）的表情识别模型,先利用由自动编码器构成的生成器和两个鉴别器（局部鉴别器和全局鉴别器）的对抗学习对遮挡人脸图像填补修复,再在全局鉴别器后面添加多分类层,利用全局鉴别器的部分卷积层并在后面添加多分类层构成表情分类器进行表情识别。最后通过实验进行了不同遮挡面积的人脸图像在填补前后表情识别率的对比和不同算法的识别率对比,实验结果证明识别率会更高,尤其提高了人脸大面积遮挡的识别率。     

基于有监督注意力网络的伪造人脸视频检测

在伪造人脸视频检测中,大多数方法都以单一的卷积神经网络作为特征提取模块,提取的特征可能与人类的视觉机制不符。针对此类问题,提出基于有监督注意力网络的伪造人脸视频检测方法。基于胶囊网络检测伪造人脸视频,使用注意力分支提高对伪造人脸图像细节特征的提取能力,使用焦点损失提高模型对难检测样本的检测能力。在数据集FaceForensics++上的实验结果表明,提出方案有更优越的性能。     

一种自下而上的人脸检测算法

针对在非控条件下的人脸检测经常遇到的问题,比如复杂的人脸姿态表情、严重的人脸遮挡、外界环境背景复杂、光照条件差、小人脸等提出了一种自下而上的人脸检测方法。自下而上的人脸检测是基于深度学习的,先进行人脸相关关键点检测和关键点之间的位置关系检测再进行人脸检测。网络结构采用稠密网络进行图像特征提取,提取到的特征传送给6个级联网络,每个级联网络由两个分支网络构成,分支网络1用来预测人脸相关关键点位置坐标,分支网络2用来预测关键点之间的位置关系。利用得到的关键点位置和位置关系进行人脸检测。在FDDB测试集上进行了验证,取得了0.98的成绩,并可以在输入图像分辨率为1920x1080的情况下,能检测到的最小人脸分辨率为10x10,使用GPU Nvidia Gefore GTX 1070最快能达到17fps。     

基于深度自编码器网络的人脸特征点定位方法

使用深度学习网络技术的人脸特征点定位方法已经取得了比较突出的效果。然而,人脸图像由于姿态、表情、光照、遮挡等变化而具有复杂多样性,因此数目较多的人脸特征点(超过50个特征点)定位依然有很大的挑战性。设计了三层级联的自编码器网络,并通过由粗到精的方法对多数目的人脸特征点进行定位。第一层网络以整张人脸图像为输入,直接估计人脸轮廓和部件位置,从而将特征点分成三部分(眼眉鼻,嘴巴和人脸轮廓)进行下一步定位;之后的两层网络分别对各部件特征点进行估计求精。在LFPW、HELEN数据库上的实验表明,该方法能够提高人脸特征点定位的准确性和鲁棒性。     

基于YOLO与改进的DLIB多角度遮挡人脸判别方法

针对ATM机上违法犯罪分子通过遮挡面部进行犯罪活动进而无法追踪的问题,提出了一种基于YOLO与改进的DLIB多角度遮挡人脸判别方法。通过将基于YOLO模型的多目标检测改成单一人脸检测,并调整其损失函数中人脸置信度损失计算方式,提高了人脸定位的准确性与时效性,完成了从原始图像的输入到任意人脸位置的回归,再结合改进的DLIB多角度人脸68个关键点检测算法在回归出的人脸位置上进行遮挡判别的新方法。测试结果验证了新方法优于传统方法,能够有效并快速地判别出各类遮挡,实现了ATM机上遮挡人脸判别的实时性与鲁棒性,具有较高的应用价值。     

基于面部特征图对称的人脸正面化生成对抗网络算法

目前人脸正面化研究主要解决人脸偏转问题,而对监控视频等现实场景中同时受偏转和俯仰变化影响的侧脸的正面化生成关注较少,针对这个问题和多角度侧脸生成的正面人脸图存在身份信息保留不全的问题,提出了一种基于特征图对称模块和眼周特征保留损失的生成对抗网络（GAN）。首先,根据人脸对称性先验,提出特征图对称模块,先使用人脸关键点检测器检测出侧脸鼻尖点位置,再将编码器提取到的特征图依照鼻尖位置进行镜像对称,从而在特征层面上缓解面部信息缺失的问题。其次,借鉴眼周识别思想,在现有的生成图身份保留方法中加入了眼周特征保留损失以训练生成器生成逼真的且保留身份信息的人脸正面图像。实验结果表明,所提算法得到的生成图面部细节保留较好,且在CAS-PEAL-R1数据集的所有俯角下人脸的平均Rank-1识别率为99.03%,可见该算法能够有效解决多角度侧脸的正面化问题。     

基于非对称卷积-压缩激发-次代残差网络的人脸关键点检测

级联深度卷积神经网络（DCNN）算法为首先在人脸关键点检测中使用卷积神经网络（CNN）的模型,CNN的使用使得检测精度得到极大的提升。针对该策略需要对相邻阶段间的数据反复进行回归处理使得算法流程十分复杂的问题,提出基于非对称卷积-压缩激发-次代残差网络（AC-SE-ResNeXt）的人脸关键点检测算法。所提算法仅使用单阶段回归,既避免了级联策略中多阶段回归的算法流程复杂性,又解决了相邻阶段间数据需要进行预处理的问题。为了不降低精度,在次代残差网络（ResNeXt）块的基础上添加了非对称卷积（AC）模块和压缩激发（SE）模块,构建了AC-SE-ResNeXt网络模型。同时,为了能够精确拟合在不同光照、姿态、表情等复杂环境下的人脸,将AC-SE-ResNeXt网络模型加深到101层。对训练好的模型分别在数据集BioID和LFPW上进行测试,其中该模型在BioID数据集上的人脸五点关键点检测的综合平均误差率为1.99%,在LFPW数据集上的人脸五点关键点检测的综合平均误差率为2.3%。实验结果表明,所改进的算法不但简化了算法流程使之能进行端到端处理,而且其精度与级联DCNN算法相当,鲁棒性也有明显提升。     

基于迁移学习的并行卷积神经网络牦牛脸识别算法

为了在牦牛养殖过程中对牦牛实现精确管理,需要对牦牛的身份进行识别,而牦牛脸识别是一种可行的牦牛身份识别方式。然而已有的基于神经网络的牦牛脸识别算法中存在牦牛脸数据集特征多、神经网络训练时间长的问题,因此,借鉴迁移学习的方法并结合视觉几何组网络（VGG）和卷积神经网络（CNN）,提出了一种并行CNN（Parallel-CNN）算法用来识别牦牛的面部信息。首先,利用已有的VGG16网络对牦牛脸图像数据进行迁移学习以及初次提取牦牛的面部信息特征;然后,将提取到的不同层次的特征进行维度变换并输入到Parallel-CNN中进行二次特征提取;最后,利用两个分离的全连接层对牦牛脸图像进行分类。实验结果表明：Parallel-CNN能够对不同角度、光照和姿态的牦牛脸进行识别,在含有300头牦牛的90 000张牦牛脸图像的测试数据集上,所提算法的识别准确率达到91.2%。所提算法可以对牦牛身份进行精确识别,从而帮助牦牛养殖场实现对牦牛的智能化管理。     

基于VGGNet和多谱带循环网络的高光谱人脸识别系统

为了提高光谱人脸数据表征人脸特征的有效性，提出一种基于VGGNet和多谱带循环训练的高光谱人脸识别方法。首先，在光谱人脸图像的预处理阶段，采用多任务卷积神经网络（MTCNN）进行高光谱人脸图像的精确定位，并利用混合通道的方式对高光谱人脸数据进行增强；然后，基于卷积神经网络（CNN）结构建立一个面向高光谱人脸识别的VGG12深度网络；最后，基于高光谱人脸数据的特点，引入多谱带循环训练方法训练建立的VGG12网络，完成最后的训练和识别。在公开的UWA-HSFD和PolyU-HSFD高光谱人脸数据集的实验结果表明，所提方法取得了比其他深度网络（如DeepID、DeepFace、VGGNet）更好的识别性能。     

Context modeling for facial landmark detection based on Non-Adjacent Rectangle (NAR) Haar-like feature

Automatically locating facial landmarks in images is an important task in computer vision. This paper proposes a novel context modeling method for facial landmark detection, which integrates context constraints together with local texture model in the cascaded AdaBoost framework. The motivation of our method lies in the basic human psychology observation that not only the local texture information but also the global context information is used for human to locate facial landmarks in faces. Therefore, in our solution, a novel type of feature, called Non-Adjacent Rectangle (NAR) Haar-like feature, is proposed to characterize the co-occurrence between facial landmarks and its surroundings, i.e., the context information, in terms of low-level features. For the locating task, traditional Haar-like features (characterizing local texture information) and NAR Haar-like features (characterizing context constraints in global sense) are combined together to form more powerful representations. Through Real AdaBoost learning, the most discriminative feature set is selected automatically and used for facial landmark detection. To verify the effectiveness of the proposed method, we evaluate our facial landmark detection algorithm on BioID and Cohn-Kanade face databases. Experimental results convincingly show that the NAR Haar-like feature is effective to model the context and our proposed algorithm impressively outperforms the published state-of-the-art methods. In addition, the generalization capability of the NAR Haar-like feature is further validated by extended applications to face detection task on FDDB face database.     

基于聚类关联网络的群组行为识别

目前群组行为识别方法没有充分利用群组关联信息而导致群组识别精度无法有效提升,针对这个问题,提出了基于近邻传播算法（AP）的层次关联模块的深度神经网络模型,命名为聚类关联网络（CRN）。首先,利用卷积神经网络（CNN）提取场景特征,再利用区域特征聚集提取场景中的人物特征。然后,利用AP的层次关联网络模块提取群组关联信息。最后,利用长短期记忆网络（LSTM）融合个体特征序列与群组关联信息,并得到最终的群组识别结果。与多流卷积神经网络（MSCNN）方法相比,CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了5.39与3.33个百分点。与置信度能量循环网络（CERN）方法相比,CRN方法在Volleyball数据集与Collective Activity数据集上的识别准确率分别提升了8.7与3.14个百分点。实验结果表明,CRN方法在群体行为识别任务中拥有更高的识别准确精度。     

面向远程光体积描记的人脸检测与跟踪

目的 远程光体积描记（remote photoplethysmograph,rPPG）是一种基于视频的非接触心率测量方法,通过跟踪人脸皮肤区域并从中提取周期性微弱变化的颜色信号估计出心率。目前基于级联回归树的人脸地标方法训练的Dlib库,由于能快速准确定位人脸轮廓,正逐渐被研究者用于跟踪皮肤感兴趣区域（region of interest,ROI）。由于实际应用中存在地标无规则抖动,且现有研究没有考虑目标晃动的影响,因此颜色信号提取不准确,心率估计精度不佳。为了克服以上缺陷,提出一种基于Dlib的抗地标抖动和运动晃动的跟踪方法。方法 本文方法主要包含两个步骤：首先,通过阈值判断两帧间地标的区别,若近似则沿用地标,反之使用当前帧地标以解决抖动问题。其次,针对运动晃动,通过左右眼地标中点计算旋转角度,矫正晃动的人脸,保证ROI在运动中也能保持一致。结果 通过信噪比（signal-to-noise,SNR）、平均绝对误差（mean absolute error,MAE）和均方根误差（root mean squared error,RMSE）来评价跟踪方法在rPPG中的测量表现。经在UBFC-RPPG（stands for Univ.Bourgogne Franche-Comté Remote PhotoPlethysmoGraphy）和PURE（Pulse Rate Detection Dataset）数据集测试,与Dlib相比,本文方法rPPG测量结果在UBFC-RPPG中SNR提高了约0.425 dB,MAE提高0.291 5 bpm,RMSE降低0.645 3 bpm;在PURE中SNR降低了0.041 1 dB,MAE降低0.065 2 bpm,RMSE降低0.271 8 bpm。结论 本文方法相比于Dlib有效提高跟踪框稳定性,在静止和运动中都能跟踪相同ROI,适合rPPG应用。     

基于掩膜生成网络的遮挡人脸检测方法

针对复杂遮挡条件下人脸检测精度低的问题,提出一种基于掩膜生成网络（MGN）的遮挡人脸检测方法。对人脸训练集进行预处理,将训练人脸划分为25个子区域,并为每个子区域分别添加遮挡。将一系列添加遮挡的人脸图像和原始人脸图像作为图像对依次输入MGN进行训练,以生成对应各个遮挡子区域的遮挡掩膜字典。通过组合相关字典项生成与检测人脸遮挡区域相对应的组合特征掩膜,并将该组合特征掩膜与检测人脸深层特征图相点乘,以屏蔽由局部遮挡引起的人脸特征元素损坏。在AR和MAFA数据集上进行实验,结果表明,该方法的检测精度高于MaskNet、RPSM等方法,且检测速度较快。     

关键点深度特征驱动人脸表情识别

目的 人脸关键点检测和人脸表情识别两个任务紧密相关。已有对两者结合的工作均是两个任务的直接耦合,忽略了其内在联系。针对这一问题,提出了一个多任务的深度框架,借助关键点特征识别人脸表情。方法 参考inception结构设计了一个深度网络,同时检测关键点并且识别人脸表情,网络在两个任务的监督下,更加关注关键点附近的信息,使得五官周围的特征获得较大响应值。为进一步减小人脸其他区域的噪声对表情识别的影响,利用检测到的关键点生成一张位置注意图,进一步增加五官周围特征的权重,减小人脸边缘区域的特征响应值。复杂表情引起人脸部分区域的形变,增加了关键点检测的难度,为缓解这一问题,引入了中间监督层,在第1级检测关键点的网络中增加较小权重的表情识别任务,一方面,提高复杂表情样本的关键点检测结果,另一方面,使得网络提取更多表情相关的特征。结果 在3个公开数据集：CK+（Cohn-Kanade dataset）,Oulu（Oulu-CASIA NIR&VIS facial expression database）和MMI（MMI facial expression database）上与经典方法进行比较,本文方法在CK+数据集上的识别准确率取得了最高值,在Oulu和MMI数据集上的识别准确率比目前识别率最高的方法分别提升了0.14%和0.54%。结论 实验结果表明了引入关键点信息的有效性：多任务的卷积神经网络表情识别准确率高于单任务的传统卷积神经网络。同时,引入注意力模型也提升了多任务网络中表情的识别率。     

基于深度神经网络的特征加权融合人脸识别方法

针对目前难以提取到适合用于分类的人脸特征以及在非限条件下进行人脸识别准确率低的问题,提出了一种基于深度神经网络的特征加权融合人脸识别方法(DLWF)。首先,应用主动形状模型(ASM)提取出人脸面部的主要特征点,并根据主要特征点对人脸不同器官区域进行采样;然后,将所得采样块分别输入到对应的深度信念网络(DBN)中进行训练,获得网络最优参数;最后,利用Softmax回归求出各个区域的相似度向量,将多区域的相似度向量加权融合得到综合相似度评分进行人脸识别。经ORL和WFL人脸库上进行实验验证,DLWF算法的识别准确率分别达到97%和88.76%,与传统算法主成分分析(PCA)、支持向量机(SVM)、DBN及FIP+线性判别式分析(LDA)相比,无论是限制条件还是非限制条件下,识别率均有提高。实验结果表明,该算法具有高效的人脸识别能力。