应用深度学习的大姿态人脸对齐

针对大姿态人脸对齐算法中的精确度低的问题,设计并实现了一种新的分层并行和多尺度Inception-Resnet网络来实现大姿态人脸对齐.首先,构建了一个四阶级联沙漏网络模型.该模型通过端到端的方式直接输入图像进行人脸对齐.其次,网络内部使用预先设定的参数进行采样和特征提取.最后,直接输出对应的人脸特征点提取图像以及同等人脸大小的二维坐标点绘制图,并将所提出的方法在AFLW2000-3D数据集上进行测试.实验结果表明,对于任意无约束的二维人脸图像,该方法的归一化平均误差为4.41%.与传统方法相比,该方法输出的正脸姿态图像视觉质量高、保真度更强.     

基于神经网络的坐姿下头部肩部姿态估计

基于神经网络设计一种在坐姿状态下由人脸中的关键点在空间中的相对位置的变化估计头部姿态,以及肩部关键点在空间中的相对位置变化估计肩部姿态的方法,并将头部姿态分为6种,肩部姿态分为2种。利用SDM算法对人脸关键点进行标记;标记出人脸关键点后利用的POSIT算法对头部姿态角度估计,计算出头部欧拉角并设定阈值对头部姿态进行分类;利用OpenPose算法对人体肩部关键点进行标定,利用左肩和右肩关键点的连线夹角进行肩部姿态的估计。通过实验证明:该方法的头部以及肩部姿态检测性良好,姿态估计准确率高。     

一种自下而上的人脸检测算法

针对在非控条件下的人脸检测经常遇到的问题,比如复杂的人脸姿态表情、严重的人脸遮挡、外界环境背景复杂、光照条件差、小人脸等提出了一种自下而上的人脸检测方法。自下而上的人脸检测是基于深度学习的,先进行人脸相关关键点检测和关键点之间的位置关系检测再进行人脸检测。网络结构采用稠密网络进行图像特征提取,提取到的特征传送给6个级联网络,每个级联网络由两个分支网络构成,分支网络1用来预测人脸相关关键点位置坐标,分支网络2用来预测关键点之间的位置关系。利用得到的关键点位置和位置关系进行人脸检测。在FDDB测试集上进行了验证,取得了0.98的成绩,并可以在输入图像分辨率为1920x1080的情况下,能检测到的最小人脸分辨率为10x10,使用GPU Nvidia Gefore GTX 1070最快能达到17fps。     

基于神经网络的双目视觉下头部姿态估计

头部姿态估计是人体姿态检测的关键技术之一。本文基于神经网络设计一种在双目视觉下由人脸中的关键点在空间中的相对位置的变化估计头部姿态,并对头部进行定位的方法。将头部姿态分为6种,空间位置关系分为2种。利用改进SDM算法对双目视觉下的人脸关键点进行标记;标记出人脸关键点后利用的POSIT算法对头部姿态角度估计,计算出头部欧拉角;根据左右图像中对应的头部关键点位置的视差由三角测量原理算出其深度信息。并设定阈值对其进行分类。通过实验,该方法的头部姿态估计准确率高,头部空间定位精度良好。     

用于表情识别的半监督学习自适应提升算法

针对半监督人脸表情识别算法在表情来源多样、姿态不一时准确率低的问题,在迁移学习自适应提升算法的基础上,提出一种新的半监督学习自适应提升算法。该算法通过近邻计算由训练集中的已标记样本求出未标记样本的类别,并借助Ada Boost.M1算法分别对多数据源的人脸表情样本和多姿态人脸表情样本展开识别,实现样本的多类识别任务。实验结果表明,与标号传递等半监督学习算法相比,该算法显著提高了表情识别率,且分别在多数据库和多姿态数据库上获得了73.33%和87.71%的最高识别率。     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题,提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法,利用多幅不同姿态侧脸之间的相关信息来进行人脸校正,并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络,包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器,以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征;多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征;而正脸合成模块在进行姿态校正的过程中加入融合特征,通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构,可以有效提高校正结果。实验结果表明,与现有基于深度学习的人脸校正方法相比,所提方法恢复出的正脸图像不仅轮廓清晰,而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点,并且输入侧脸图像越多,恢复出的正脸图像的识别率越高,表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题，提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法，利用多幅不同姿态侧脸之间的相关信息来进行人脸校正，并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络，包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器，以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征；多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征；而正脸合成模块在进行姿态校正的过程中加入融合特征，通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构，可以有效提高校正结果。实验结果表明，与现有基于深度学习的人脸校正方法相比，所提方法恢复出的正脸图像不仅轮廓清晰，而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点，并且输入侧脸图像越多，恢复出的正脸图像的识别率越高，表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

一种鲁棒高效的人脸特征点跟踪方法

人脸特征点跟踪能获取除粗略的人脸位置和运动轨迹以外的人脸部件的精确信息,对计算机视觉研究有重要作用.主动表象模型(Active appearance model, AAM)是描述人脸特征点位置的最有效的方法之一,但是其高维参数空间和梯度下降优化策略使得AAM对初始参数敏感,且易陷入局部极值. 因此,基于传统AAM的人脸特征点跟踪方法不能同时较好地解决大姿态、光照和表情的问题.本文在多视角AAM的框架下,提出一种结合随机森林和线性判别分析(Linear discriminate analysis, LDA)的实时姿态估计算法对跟踪的人脸进行姿态预估计和更新,从而有效地解决了视频人脸大姿态变化的问题.提出了一种改进的在线表象模型(Online appearance model, OAM)方法来评估跟踪的准确性,并自适应地通过增量主成分分析(Principle component analysis, PCA) 学习来更新AAM的纹理模型,极大地提高了跟踪的稳定性和模型应对光照和表情变化的能力.实验结果表明,本文算法在视频人脸特征点跟踪的准确性、鲁棒性和实时性方面都有良好的性能.     

基于尺度自适应与增量式学习的人脸对齐方法

针对传统基于回归的人脸对齐算法在人脸尺度归一化时会造成纹理的损失,以及为了提升算法模型的泛化能力必须扩充数据集重新训练而导致训练时间增加,甚至出现不收敛、不可计算等问题,提出一种基于尺度自适应与增量式学习（IL）的人脸对齐方法来提高定位精度。首先,建立初始人脸形状与标准人脸形状的映射关系;然后,通过映射关系实现纹理特征在原图上的提取和人脸尺度的归一化;最后,利用算法模型在新的数据集上进行增量式的学习,快速提高原模型的泛化能力。实验结果表明,与传统回归方法相比,所提方法有更高的对齐精度,特别是在AFW数据集（68个特征点）上提高了2~4个百分点;在10万级别的大数据集（5个特征点）上,所提方法的鲁棒性比基于深度学习的方法高1~2个百分点。同时,所提的增量式学习方法不仅适用于人脸对齐场景下的回归模型求解,还适用于其他应用场景下回归模型的求解。     

基于LLR算法的多姿态人脸识别*

多姿态人脸识别是模式识别领域的难点之一,针对该问题提出的很多效果较好的算法都有其局限性,不能适应人脸状态多变的特征。在局部线性回归算法(LLR)的基础上,对人脸进行归一化校正,并通过引入一个局部常量因子,对不同水平旋转角度的侧脸进行姿态估计得到其正脸。改进后的LLR算法对人脸识别率有较大改善,这表明采用局部常量化和线性化分析,可以较好地弥补侧脸到正脸变换的非线性信息丢失。     

姿态和表情变化下的三维人脸标志点定位

三维人脸标志点定位在人脸识别、人脸跟踪、人脸建模、表情分析等方面具有非常重要的作用. 然而, 在姿态和表情变化很大的条件下进行标志点定位, 这仍然是一个很具挑战性的课题. 本文提出一种对姿态和表情不敏感的三维人脸标志点定位方法, 利用HK曲率分析检测出候选标志点, 根据对面部形状的先验知识, 提出一种基于人脸几何结构的分类策略对候选标志点进一步细分, 通过把候选标志点与人脸标志点模型进行匹配, 实现标志点的精确定位. 首先在CASIA数据集对该方法的标志点定位精度进行测试, 然后在UND/FRGC v2.0数据集对该方法与其他方法进行比较. 实验结果表明该方法在姿态和表情变化很大的条件下具有高精度和高鲁棒性.     

Subject-specific and pose-oriented facial features for face recognition across poses

Most face recognition scenarios assume that frontal faces or mug shots are available for enrollment to the database, faces of other poses are collected in the probe set. Given a face from the probe set, one needs to determine whether a match in the database exists. This is under the assumption that in forensic applications, most suspects have their mug shots available in the database, and face recognition aims at recognizing the suspects when their faces of various poses are captured by a surveillance camera. This paper considers a different scenario: given a face with multiple poses available, which may or may not include a mug shot, develop a method to recognize the face with poses different from those captured. That is, given two disjoint sets of poses of a face, one for enrollment and the other for recognition, this paper reports a method best for handling such cases. The proposed method includes feature extraction and classification. For feature extraction, we first cluster the poses of each subject's face in the enrollment set into a few pose classes and then decompose the appearance of the face in each pose class using Embedded Hidden Markov Model, which allows us to define a set of subject-specific and pose-priented (SSPO) facial components for each subject. For classification, an Adaboost weighting scheme is used to fuse the component classifiers with SSPO component features. The proposed method is proven to outperform other approaches, including a component-based classifier with local facial features cropped manually, in an extensive performance evaluation study.     

多信息融合的多姿态三维人脸面部五官标志点定位方法

针对三维人脸模型面部五官标志点定位对姿态变化非常敏感的问题,提出了一种基于多信息融合的多姿态三维人脸五官标志点定位方法.首先对二维人脸纹理图像采用仿射不变的Affine- SIFT方法进行特征点检测,再利用映射关系将其投影到三维空间,并采用局部邻域曲率变化最大规则和迭代约束优化相结合的方法对面部五官标志点进行精确定位.在FRGC2.0和自建NPU3D数据库的实验结果表明,文中方法无需对姿态和三维数据的格式进行预先估计和定义,算法复杂度低,同时对人脸模型的姿态有着较强的鲁棒性,与现有五官标志点定位方法相比,有着更高的定位精度.     

结合形变模型与图像修复的人脸姿态矫正

目的 人脸姿态偏转是影响人脸识别准确率的一个重要因素,本文利用3维人脸重建中常用的3维形变模型以及深度卷积神经网络,提出一种用于多姿态人脸识别的人脸姿态矫正算法,在一定程度上提高了大姿态下人脸识别的准确率。方法 对传统的3维形变模型拟合方法进行改进,利用人脸形状参数和表情参数对3维形变模型进行建模,针对面部不同区域的关键点赋予不同的权值,加权拟合3维形变模型,使得具有不同姿态和面部表情的人脸图像拟合效果更好。然后,对3维人脸模型进行姿态矫正并利用深度学习对人脸图像进行修复,修复不规则的人脸空洞区域,并使用最新的局部卷积技术同时在新的数据集上重新训练卷积神经网络,使得网络参数达到最优。结果 在LFW（labeled faces in the wild）人脸数据库和StirlingESRC（Economic Social Research Council）3维人脸数据库上,将本文算法与其他方法进行比较,实验结果表明,本文算法的人脸识别精度有一定程度的提高。在LFW数据库上,通过对具有任意姿态的人脸图像进行姿态矫正和修复后,本文方法达到了96.57%的人脸识别精确度。在StirlingESRC数据库上,本文方法在人脸姿态为±22°的情况下,人脸识别准确率分别提高5.195%和2.265%;在人脸姿态为±45°情况下,人脸识别准确率分别提高5.875%和11.095%;平均人脸识别率分别提高5.53%和7.13%。对比实验结果表明,本文提出的人脸姿态矫正算法有效提高了人脸识别的准确率。结论 本文提出的人脸姿态矫正算法,综合了3维形变模型和深度学习模型的优点,在各个人脸姿态角度下,均能使人脸识别准确率在一定程度上有所提高。     

3D face reconstruction and dense alignment with a new generated dataset

Face alignment and reconstruction are classical problems in the computer vision field, one of the greatest difficulties of which is the limited number of facial images with landmark points. The 300 W-LP dataset is the most commonly used for the existing methods of single-view 3D Morphable Model (3DMM)-based reconstruction; however, the model performance is limited by the small variety of facial images in this dataset. In this work, a 3D facial image dataset with landmark points generated by the rotate-and-render method is proposed. The key innovation of the proposed method is that the back-and-forth rotation of faces in 3D space and then re-rendering them to the 2D plane can provide strong self-supervision. The recent advances in 3D face modeling and high-resolution generative adversarial networks (GANs) are leveraged to constitute the blocks. To obtain more precise facial landmark points, the 3D dense face alignment (3DDFA) model is used to label the generated images and filter the landmark points. Finally, the 3DDFA model is retrained using the proposed dataset, and an improved result is achieved.     

A coupled encoder–decoder network for joint face detection and landmark localization

Face detection and landmark localization have been extensively investigated and are the prerequisite for many face related applications, such as face recognition and 3D face reconstruction. Most existing methods address only one of the two problems. In this paper, we propose a coupled encoder–decoder network to jointly detect faces and localize facial key points. The encoder and decoder generate response maps for facial landmark localization. Moreover, we observe that the intermediate feature maps from the encoder and decoder represent facial regions, which motivates us to build a unified framework for multi-scale cascaded face detection by coupling the feature maps. Experiments on face detection using two public benchmarks show improved results compared to the existing methods. They also demonstrate that face detection as a pre-processing step leads to increased robustness in face recognition. Finally, our experiments show that the landmark localization accuracy is consistently better than the state-of-the-art on three face-in-the-wild databases.     

基于深度对齐网络的生成对抗网络伪造人脸检测

针对现有的生成对抗网络（GAN）伪造人脸图像检测方法在有角度及遮挡情况下存在的真实人脸误判问题,提出了一种基于深度对齐网络（DAN）的GAN伪造人脸图像检测方法。首先,基于DAN设计面部关键点提取网络,以提取真伪人脸关键点位置;然后,采用主成分分析（PCA）方法将每一组关键点映射到三维空间,从而减少冗余信息以及降低特征维度;最后,利用支持向量机（SVM）五折交叉验证对特征进行分类,并计算准确率。实验结果表明,该方法通过提高面部关键点定位准确度改善了由于定位误差引起的面部不协调问题,进而降低了真实人脸误判率。与VGG19、XceptionNet和Dlib-SVM方法相比,正脸情况下,该方法的ROC下面积（AUC）值提高了4.48到32.96个百分点,平均精度（AP）提高了4.26到33.12个百分点;有角度及遮挡人脸情况下,该方法的AUC值提高了10.56到30.75个百分点,AP提高了7.42到42.45个百分点。     

Multi-view facial landmark detection by using a 3D shape model

An algorithm for accurate localization of facial landmarks coupled with a head pose estimation from a single monocular image is proposed. The algorithm is formulated as an optimization problem where the sum of individual landmark scoring functions is maximized with respect to the camera pose by fitting a parametric 3D shape model. The landmark scoring functions are trained by a structured output SVM classifier that takes a distance to the true landmark position into account when learning. The optimization criterion is non-convex and we propose a robust initialization scheme which employs a global method to detect a raw but reliable initial landmark position. Self-occlusions causing landmarks invisibility are handled explicitly by excluding the corresponding contributions from the data term. This allows the algorithm to operate correctly for a large range of viewing angles. Experiments on standard “in-the-wild” datasets demonstrate that the proposed algorithm outperforms several state-of-the-art landmark detectors especially for non-frontal face images. The algorithm achieves the average relative landmark localization error below 10% of the interocular distance in 98.3% of the 300 W dataset test images.