基于最小扭曲变换的正面人脸图像合成

二维正面人脸图像在视频监控、人脸识别等领域有重要的实际意义,为此提出一种利用多幅非正面人脸图像自动合成正面人脸图像的算法.从多幅非正面人脸图像中选择扭曲形变最小的像素进行合成,并使用加权平均来平滑合成图像,从而使得合成的正面人脸图像尽可能自然.实验结果表明,该算法所合成的正面人脸图像可以十分有效地逼近真实正面人脸图像,在人脸识别中也可以有效地保持人脸图像的身份特征不变.     

分段仿射变换下基于泊松融合的正面人脸合成

针对目前正面人脸合成算法运算量大或合成图像失真较大的问题,提出一种基于分段仿射变换和泊松融合的正面人脸图像合成算法,将多幅输入图像用分段仿射变换（Piecewise Affine Warp,PAW）映射到正面人脸模板,并根据映射时产生的非刚性形变求得其对应的权重矩阵,进而获取每幅映射图像对应的变形掩膜,依次以这些映射图像为前景图像,以其对应的变形掩膜为泊松掩膜,并以上一次的融合图像为背景图像进行泊松融合,生成一幅平滑自然的正面人脸图像。实验结果表明,相比现有算法,该算法生成的正面人脸图像更加逼近真实正面人脸图像,而且很好地保留了输入人脸的个体信息。     

基于多姿态人脸图像合成的识别方法研究

为了解决多姿态人脸识别问题,提出基于独立成分分析（ICA）进行正面人脸合成的新方法。首先利用ICA和PCA提取不同姿态人脸的特征子空间,然后利用通过训练得到的姿态转换矩阵合成其相对应的正面人脸图像,实验表明ICA人脸识别算法要优于PCA人脸识别算法,并在此基础上用小波对人脸图像进行预处理,据姿态转换矩阵得到的正面人脸特征系数直接进行分类比较,识别率得到了很大的提高。     

基于Adaboost算法的多角度人脸检测

文中提出了一种基于Adaboost算法的多角度人脸检测方法.多角度人脸检测问题的研究与正面人脸检测相比,相对薄弱,离实际应用的需求还比较远.首先使用Haar特征设计并构造弱分类器空间,用Adaboost算法学习得到基于视图的多分类器级联的人脸检测器;然后将多角度人脸划分成三类:全侧脸,半侧脸及正面人脸,并为不同角度的人脸建立不同的检测器分别用于检测.在CMU侧面人脸检测集合上,用基于Adaboost的方法对多角度人脸图像进行仿真实验,检测正确率为89.8%,误报数为243个.相比Schneiderman等人的方法,该方法具有更好的性能.     

基于AAM的人脸图像描述与编码

利用主动表观模型(AAM)来对人脸图像进行描述和编码,经过一定次数迭代,进行模型和人脸匹配,合成人脸图像.方法基于统计信息建模来实现对目标图像的描述.由于采用了优化算法,经过迭代运算使合成的模型与目标图像不断接近,最终能得到反应目标图像纹理及形状的合成模型.实验表明AAM方法进行人脸描述和编码的有效性.方法在人脸图像编码有重要的意义.     

基于网格变形的从图像重建三维人脸

从图像重建高质量三维人脸一直是计算机视觉和图形学的一个重要研究问题.不同于传统的基于立体匹配的窄基线多视几何和数据驱动的人脸形变方法,提出一种结合网格变形技术和立体视觉原理的、从图像重建高质量三维人脸模型方法.给定从不同视角拍摄的几幅人脸图像,基于健壮图像特征获得可靠的相机外部参数和稀疏三维点;在此基础上,提出一种结合几何细节保持和图像一致性约束的三维人脸变形算法重建三维人脸,通过对人脸模板的网格变形,使得变形人脸在多幅图像中的可见投影具有一致性的图像颜色强度.基于模板的人脸变形可以有效地解决三维模型成像中的遮挡问题,采用健壮估计法消除噪声、离群点和光照对目标函数收敛性的影响,对目标函数的多次非线性优化求解进一步改进了人脸重建的质量.采用合成人脸图像和真实人脸图像重建三维人脸的实验结果表明,文中算法可以从几幅宽基线图像重建高质量的三维人脸模型.     

条件主动外观模型下的人脸特征点跟踪

为了完成人脸关键特征点的精确定位跟踪,提出一种改进的基于反向合成匹配算法的条件主动外观模型匹配及其初始化算法.该算法假设已知正面人脸的关键特征点,首先通过建立散乱点对应与标定点对应之间的映射,根据给定的正面人脸标定点对任意姿态的侧面人脸进行自动初始标定,映射关系由核岭回归算法学习得到;将该标定点作为人脸跟踪算法的初始化点,然后利用条件主动外观模型反向合成匹配算法建立正面与任意姿态人脸的外观和形状模型,并对模型参数进行迭代优化;最后得到最优的任意姿态人脸的轮廓点,完成人脸跟踪.实验结果证明,与同类方法相比,该算法表现出了良好的性能,可在较短的计算时间内获得较高的定位精度.     

基于三维矫正和相似性学习的无约束人脸验证

针对无约束条件下的人脸图像样本少、面部姿态变化大、被遮挡以及背景复杂等问题,提出一种结合三维人脸矫正与相似性学习相结合的人脸验证算法（sub-SL）。首先,通过三维人脸矫正方法对人脸图像进行姿态矫正,将图像中的人脸矫正为标准正面脸;其次,裁剪该正面脸的脸部相关区域,去除复杂的图像背景;最后,利用基于个体子空间的相似性学习方法对图像对之间的相似度进行度量,完成人脸验证。实验采用了几个以LFW（Labeled Faces in the Wild）数据库为基础的经过预处理操作（例如人脸矫正、裁剪等）后建立起来的数据库。在基于局部三值模式（LTP）的特征提取方法并且训练图像对数为625的实验中,sub-SL算法的识别率比利用马氏距离进行度量学习的算法sub-ML以及结合了马氏距离与相似性学习的度量学习算法sub-SML分别高出了15.6%和8.4%。实验结果表明,sub-SL算法能够有效提高无约束条件下人脸识别的准确率。     

一种新的人脸姿态估计算法

提出基于正射投影模型的人脸姿态参数估计算法.从图像获取特征点,计算这些点到正面姿态参考模型特征点的最佳姿态变换参数,算法只需获取4个特征点就能确定图像人脸姿态.同时基于该模型提出新的人脸图像姿态拟合方法,以最小化SSD为目标函数,迭代法求姿态参数.该方法的优势是人脸姿态估计并不依赖于特征点检测,给定初始姿态就能找到模型到图像的最佳姿态拟合.模拟图像和真实图像的姿态估计实验结果显示,拟合算法的迭代过程能迅速收敛,并且该算法可有效用于姿态跟踪.     

面向普通用户的3D虚拟人脸动画

为合成真实感人脸动画,提出一种实时的基于单摄像头的3D虚拟人脸动画方法.首先根据用户的单张正面人脸图像重建用户的3D人脸模型,并基于该人脸模型合成姿态、光照和表情变化的人脸图像,利用这些图像训练特定用户的局部纹理模型;然后使用摄像头拍摄人脸视频,利用特定用户的局部纹理模型跟踪人脸特征点;最后由跟踪结果和3D关键形状估计Blendshape系数,通过Blendshape模型合成的人脸动画.实验结果表明,该方法能实时合成真实感3D人脸动画,且只需要一个普通的摄像头,非常适合普通用户使用.     

On transforming statistical models for non-frontal face verification

We address the pose mismatch problem which can occur in face verification systems that have only a single (frontal) face image available for training. In the framework of a Bayesian classifier based on mixtures of gaussians, the problem is tackled through extending each frontal face model with artificially synthesized models for non-frontal views. The synthesis methods are based on several implementations of maximum likelihood linear regression (MLLR), as well as standard multi-variate linear regression (LinReg). All synthesis techniques rely on prior information and learn how face models for the frontal view are related to face models for non-frontal views. The synthesis and extension approach is evaluated by applying it to two face verification systems: a holistic system (based on PCA-derived features) and a local feature system (based on DCT-derived features). Experiments on the FERET database suggest that for the holistic system, the LinReg-based technique is more suited than the MLLR-based techniques; for the local feature system, the results show that synthesis via a new MLLR implementation obtains better performance than synthesis based on traditional MLLR. The results further suggest that extending frontal models considerably reduces errors. It is also shown that the local feature system is less affected by view changes than the holistic system; this can be attributed to the parts based representation of the face, and, due to the classifier based on mixtures of gaussians, the lack of constraints on spatial relations between the face parts, allowing for deformations and movements of face areas.     

人脸年龄合成的生成对抗网络方法综述

年龄信息作为人类生物特征识别的重要组成部分,在社会保障和数字娱乐等领域具有广泛的应用前景。人脸年龄合成技术由于其广泛的应用价值,受到了越来越多学者的重视,已经成为计算机视觉领域的重要研究方向之一。随着深度学习的快速发展,基于生成对抗网络的人脸年龄合成技术已成为研究热点。尽管基于生成对抗网络的人脸年龄合成方法取得了不错的成果,但生成的人脸年龄图像仍存在图像质量较差、真实感较低、年龄转换效果和多样性不足等问题。主要因为当前人脸年龄合成研究仍存在以下困难： 1）现有人脸年龄合成数据集的限制; 2）引入人脸年龄合成的先验知识不足; 3）人脸年龄图像的细粒度性被忽视; 4）高分辨率下的人脸年龄合成问题;5）目前人脸年龄合成方法的评价标准不规范。本文对目前人脸年龄合成技术进行全面综述,以人脸年龄合成方法为研究对象,阐述其研究现状。通过调研文献,对人脸年龄合成方法进行分类,重点介绍了基于生成对抗网络的人脸年龄合成方法。此外,本文还讨论了常用的人脸年龄合成数据集及评价指标,分析了各种人脸年龄合成方法的基本思想、特点及其局限性,对比了部分代表方法的性能,指出了该领域目前存在的挑战并提供了一些具有潜力的研究方向,为研究者们解决存在的问题提供便利。     

A super resolution frontal face generation model based on 3DDFA and CBAM

Pose and low resolution seriously affect the synthesis of high-quality frontal face images. With the development of deep learning, a large number of models based on the deep neural network are used to solve the problem of face pose and image super-resolution. However, the synthesis of the high-resolution frontal face is still a problem that has not been fully studied. Therefore, in this paper, we propose a method to realize image super-resolution and face frontal generation simultaneously. Specifically, we propose a frontal face model FFSR_GAN used to generate super-resolution. This model mainly solves the problem of low resolution and large face pose. There are two main improvements: 1) Aiming at the problem of artifacts in the image generated by the face frontal generation module, the face frontal generation module is designed based on 3DDFA and CBAM; 2) Aiming at the problem of low resolution in frontal face generation, a face super-resolution module is carefully designed, which is used for super-resolution of the generated frontal face. The method proposed in this paper solves the problem of face pose and super-resolution for the first time and improves the recognition accuracy of low-resolution and face images with larger posture. The experimental results on the existing public dataset prove the advantages of the FFSR_GAN model.     

图像特征抽取的奇异值分解方法

传统的PCA方法和LDA方法扯处理图像识别问题时，一般先将图像矩阵转化为图像向量，然后以该图像向量作为原始特征进行特征抽取。近来一些研究人员提出利用图像矩阡瓿接构造敞布矩阵，并存此基础上进行特征抽取的方法。该文在该思想的基础上，提出了IMSVD方法。该方法没有采用PCA或LDA方法，而是利用奇肄值分解方法进行特征抽取。对ORL人脸阁像的识别试验结果表明，IMSVD订法具有良好的特征抽取性能。     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题,提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法,利用多幅不同姿态侧脸之间的相关信息来进行人脸校正,并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络,包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器,以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征;多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征;而正脸合成模块在进行姿态校正的过程中加入融合特征,通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构,可以有效提高校正结果。实验结果表明,与现有基于深度学习的人脸校正方法相比,所提方法恢复出的正脸图像不仅轮廓清晰,而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点,并且输入侧脸图像越多,恢复出的正脸图像的识别率越高,表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题，提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法，利用多幅不同姿态侧脸之间的相关信息来进行人脸校正，并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络，包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器，以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征；多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征；而正脸合成模块在进行姿态校正的过程中加入融合特征，通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构，可以有效提高校正结果。实验结果表明，与现有基于深度学习的人脸校正方法相比，所提方法恢复出的正脸图像不仅轮廓清晰，而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点，并且输入侧脸图像越多，恢复出的正脸图像的识别率越高，表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

Pose invariant face recognition based on hybrid-global linear regression

The paper presents a simple but efficient novel H-eigenface (Hybrid-eigenface) method for pose invariant face recognition ranging from frontal to profile view. H-eigenfaces are entirely new basis for face image representation under different poses and are used for virtual frontal view synthesis. The proposed method is based on the fact that face samples of same person under different poses are similar in terms of the combination pattern of facial features. H-eigenfaces exploit this fact and thus two H-eigenfaces under different poses capture same features of the face. Thereby providing a compact view-based subspace, which can be further used to generate virtual frontal view from inputted non-frontal face image using least square projection technique. The use of proposed methodology on FERET and ORL face database shows an impressive improvement in recognition accuracy and a distinct reduction in online computation when compared to global linear regression method.     

结合形变模型与图像修复的人脸姿态矫正

目的 人脸姿态偏转是影响人脸识别准确率的一个重要因素,本文利用3维人脸重建中常用的3维形变模型以及深度卷积神经网络,提出一种用于多姿态人脸识别的人脸姿态矫正算法,在一定程度上提高了大姿态下人脸识别的准确率。方法 对传统的3维形变模型拟合方法进行改进,利用人脸形状参数和表情参数对3维形变模型进行建模,针对面部不同区域的关键点赋予不同的权值,加权拟合3维形变模型,使得具有不同姿态和面部表情的人脸图像拟合效果更好。然后,对3维人脸模型进行姿态矫正并利用深度学习对人脸图像进行修复,修复不规则的人脸空洞区域,并使用最新的局部卷积技术同时在新的数据集上重新训练卷积神经网络,使得网络参数达到最优。结果 在LFW（labeled faces in the wild）人脸数据库和StirlingESRC（Economic Social Research Council）3维人脸数据库上,将本文算法与其他方法进行比较,实验结果表明,本文算法的人脸识别精度有一定程度的提高。在LFW数据库上,通过对具有任意姿态的人脸图像进行姿态矫正和修复后,本文方法达到了96.57%的人脸识别精确度。在StirlingESRC数据库上,本文方法在人脸姿态为±22°的情况下,人脸识别准确率分别提高5.195%和2.265%;在人脸姿态为±45°情况下,人脸识别准确率分别提高5.875%和11.095%;平均人脸识别率分别提高5.53%和7.13%。对比实验结果表明,本文提出的人脸姿态矫正算法有效提高了人脸识别的准确率。结论 本文提出的人脸姿态矫正算法,综合了3维形变模型和深度学习模型的优点,在各个人脸姿态角度下,均能使人脸识别准确率在一定程度上有所提高。     

人脸识别研究的新进展及趋势

简要回顾了人脸识别技术的研究背景及发展历程,总结了近三四年人脸识别方法的研究进展,根据三维人脸重构方法的数据来源不同,将其分为基于静态图像和视频序列的三维重构技术.重点对目前多特征和多模态识别技术进行了分类阐述,分析了一些有代表性的算法并对其识别结果进行了比较.最后,总结了人脸识别技术现存的研究难点,并探讨了其未来的发展方向.