人脸画像合成研究的综述与对比分析

人脸画像合成通常是在给定一些训练画像-照片的前提下,将一张输入的人脸照片转换为画像的过程.目前并没有一个系统性的实验对比分析揭示当前此过程面临的挑战以及可能的解决思路.文中对具有代表性的各类方法进行综合深入对比与分析.人脸画像合成方法归纳为2类:数据驱动类方法(即基于样本的方法)和模型驱动类方法.数据驱动方法由3类方法组成:基于子空间学习的方法、基于稀疏表示的方法和基于贝叶斯推断的方法.模型驱动方法直接学习照片到画像的映射关系.文中给出一些之前文献中并未发现的有意义的结论和展望.     

基于深度特征增广的跨域小样本人脸欺诈检测算法

随着人脸识别技术的发展,人脸欺诈攻击已经成为一项实际的安全问题,人脸欺诈检测算法用于及早发现该类攻击,保护系统安全.文中将一种经典域自适应算法扩展到深度神经网络中,首先定义了基于深度特征增广的域自适应层,提出了一种基于深度特征增广的跨域小样本人脸欺诈检测算法.该算法在已有的基于全卷积神经网络的人脸欺诈检测深度神经网络的中部嵌入域自适应层将卷积特征图增广,来适配源域和目标域的差异,随后根据增广后的特征图进行像素级分类,最后将像素级概率图从空间上融合为帧级决策.文中在CASIA-FASD,Replay-Attack和OULU-NPU 3个数据集和6个常见测评协议(2个CASIA-FASD与Replay-Attack跨库协议和4个OULU-NPU标准协议)下进行实验,验证了算法在不同背景、不同攻击设备、不同相机等跨域情况下的性能.实验表明,基准FCN人脸欺诈检测算法已经能够达到较好的性能,在此基础上,借助小样本目标域数据学习域自适应模型,可进一步显著提升性能,将错误率减半(CASIA-FASD训练+Replay-Attack测试的HTER指标从27.31％降至11.23％,Replay-Attack训练+CASIA-FASD测试的HTER指标从37.33％降至21.83％,OULU-NPU标准协议IV的ACER指标从9.45％降至5.56％),实验结果验证了基于深度特征增广的跨域小样本人脸欺诈检测算法的有效性.     

基于深度特征增广的跨域小样本人脸欺诈检测算法

随着人脸识别技术的发展,人脸欺诈攻击已经成为一项实际的安全问题,人脸欺诈检测算法用于及早发现该类攻击,保护系统安全.文中将一种经典域自适应算法扩展到深度神经网络中,首先定义了基于深度特征增广的域自适应层,提出了一种基于深度特征增广的跨域小样本人脸欺诈检测算法.该算法在已有的基于全卷积神经网络的人脸欺诈检测深度神经网络的中部嵌入域自适应层将卷积特征图增广,来适配源域和目标域的差异,随后根据增广后的特征图进行像素级分类,最后将像素级概率图从空间上融合为帧级决策.文中在CASIA-FASD,Replay-Attack和OULU-NPU 3个数据集和6个常见测评协议(2个CASIA-FASD与Replay-Attack跨库协议和4个OULU-NPU标准协议)下进行实验,验证了算法在不同背景、不同攻击设备、不同相机等跨域情况下的性能.实验表明,基准FCN人脸欺诈检测算法已经能够达到较好的性能,在此基础上,借助小样本目标域数据学习域自适应模型,可进一步显著提升性能,将错误率减半(CASIA-FASD训练+Replay-Attack测试的HTER指标从27.31％降至11.23％,Replay-Attack训练+CASIA-FASD测试的HTER指标从37.33％降至21.83％,OULU-NPU标准协议IV的ACER指标从9.45％降至5.56％),实验结果验证了基于深度特征增广的跨域小样本人脸欺诈检测算法的有效性.     

RGB-D图像的贝叶斯显著性检测

本文提出了一种基于贝叶斯框架融合颜色和深度对比特征的RGB-D图像显著性检测模型.基于空间先验的超像素对比计算得到深度特征,并通过高斯分布近似深度对比特征概率密度建模深度显著图.类似于深度显著性计算,采用高斯分布计算多尺度超像素低层对比特征得到颜色显著图.假设在给定显著类别下颜色和深度对比特征条件独立,依据贝叶斯定理,由深度显著概率和颜色显著概率得到RGB-D图像显著性后验概率,并采用判别混合分量朴素贝叶斯（DMNB）模型进行计算,其中DMNB模型中的高斯分布参数由变分最大期望算法进行估计.在RGB-D图像显著性检测公开数据集的实验结果表明提出的模型优于现有的方法.     

多层次深度网络融合人脸识别算法*

深度学习模型可以获得更具有鉴别力的人脸特征,提高人脸识别性能.因此,文中结合深度学习思想,提出多层次深度网络融合特征提取模型.在深度子空间基础上,采用“卷积-池化”网络结构,在降低特征维度的同时保留图像纹理信息,并且获得局部转换鲁棒性.同时,利用人脸标定算法获得人脸特征点,并以此划分人脸区域为5个局部人脸块.基于多层次分类策略,利用全局人脸训练全局网络,完成测试样本预分类.利用局部人脸块训练局部网络,在候选类别中完成最终分类.实验表明,结合局部特征与全局特征的模型可以取得较好的识别率,对光照、表情、姿态,遮挡等影响因素具有较好的鲁棒性,并且加入池化层及两步判别的算法可以有效提高识别率.     

人脸遮挡区域检测与重建

提出一种基于模糊主分量分析技术(FPCA)的人脸遮挡检测与去除方法.首先,有遮挡人脸被投影到特征脸空间并通过特征脸的线性组合得到一个重建人脸.计算重建图与原图的差图像,加权滤波后并归一化作为被遮挡的概率,以此概率为权重由原图和重建图合成新的人脸.在后续迭代中,根据遮挡概率使用模糊主分量分析进行分析重建,并使用累积误差进行遮挡检测.实验结果表明,算法可精确定位人脸遮挡区域,得到平滑自然的重建人脸图像,优于经典的迭代PCA方法.     

提升图嵌入框架及在表情识别中的应用 *

提出了一种提升图嵌入框架用于特征提取和选择 ,以及一种新的近邻权重计算方法 ,称为分类图。传统图嵌入模型的近邻权重采用欧氏距离 ,不能被提升算法所更新 ;相比较 ,分类图采用的是提升算法中样本的权重,反映的是样本在分类过程中的重要程度 ,有效地提高了图嵌入模型的分类性能。在通用人脸表情库上的识别实验结果验证了提升图嵌入模型的有效性。     

动态人脸表情合成的模型特征驱动算法综述

分析人脸模型的动态表情合成方法并依据它们内在特点进行分类描述。尽管这个领域已经存在较多文献,但是动态人脸表情合成仍然是非常活跃的研究热点。根据输出类型的不同,分类概览二维图像平面和三维人脸曲面上的合成算法。对于二维图像平面空间合成人脸表情主要有如下几种算法：主动表情轮廓模型驱动的人脸表情合成算法,基于拉普拉斯算子迁移计算的合成方法,使用表情比率图合成框架的表情合成算法,基于面部主特征点offset驱动的人脸表情合成算法,基于通用表情映射函数的表情合成方法和近来基于深度学习的表情合成技术。对于三维空间人脸合成则主要包括：基于物理肌肉模型的合成,基于形变的表情合成,基于三维形状线性回归的表情合成,基于脸部运动图的表情合成和近来基于深度学习的三维人脸表情合成技术。对以上每一种类别讨论它们的方法论以及其主要优缺点。本工作有望帮助未来研究者更好地定位研究方向和技术突破口。     

基于多尺度分析的自动人脸照片移植

针对人脸移植中输入图像与目标图像的脸部姿态、光照环境与颜色分布不一致的问题,提出了一种基于多尺度分析的自动人脸照片移植方法。通过多线性模型从单张图像中恢复三维人脸模型,从而自动变换输入图像中的人脸姿态。提出了一种多尺度增强与融合算法,根据目标图像的细节特征对输入图像自动调整,并通过无缝融合合成新的人脸照片。实验结果表明该方法可以使输入图像有效匹配目标图像的明暗变化与颜色分布,并自适应调整局部细节。该方法对各种人脸图像之间的移植鲁棒性高,合成照片真实感强。     

基于边缘检测的人脸模拟画像检索

为配合刑事侦查工作和公安网上追逃的迫切需要,对人脸模拟画像的检索作初步研究.首先,根据网上追逃数据库中的人脸照片设计出一种半自动的归一化算法.其次,研究了人脸模拟画像和人脸照片的边缘检测方法,给出一种自适应的人脸照片边缘检测算法,从而得到三种用于人脸模拟画像检索的统计特征.最后,建立了人脸模拟画像检索的实验数据库,给出相似性量度,并对实验数据进行了分析.为构建实用的人脸模拟画像检索系统的开发提供了理论支持;对金盾工程的完善起到良好的促进作用.     

基于局部定性表达的光照不变人脸识别方法

提出一种局部定性特征表达方法称为局部序映射(LOM)作为光照不变表达用于人脸识别。该特征表达像素在其邻域中所处的序阶位置,反应了图像像素在局部区域内的相对关系,因而对光照引起的图像大面积灰度变化有很好的不敏感性。同时提出一种针对序定性特征的逻辑距离度量,用于特征空间中最近邻分类器的相似性度量准则。 在Extended YaleB 光照变化人脸测试库中的实验表明了本文局部序映射表达的光照鲁棒性及逻辑距离度量的有效性。     

深层融合对称子空间学习稀疏特征提取模型*

提出深层融合对称子空间学习稀疏特征提取模型.在深度子空间基础上,引入对称性、稀疏性约束,通过构建深层映射网络,完成深层特征提取.首先根据最小化重构误差准则构建基本子空间模型,并在构建过程中加入对称性、稀疏性约束.然后对基本子空间模型进行深度化改造,得到深层对称稀疏子空间模型.最后将各个层特征进行融合编码,得到深层特征提取结果.在人脸数据库及目标数据库上的实验表明,文中算法可以取得较高识别率及较好光照、表情、人脸朝向的鲁棒性.相比卷积神经网络等深度学习框架,文中算法具有结构简洁、收敛速度快等优点.     

AAM Based Face Sketch Synthesis

Face sketch synthesis has many practical applications, such as law enforcement and digital entertainment. Existing face sketch synthesis methods focus on neighbor selection and/or weight reconstruction. However, these approaches did not take “interpretation through synthesis” into consideration obviously. Active appearance model (AAM) is one of “interpretation through synthesis” approaches. In this paper, we introduce AAM to “explain” face photos by generating synthetic images that are as similar as possible. Then AAM provides a compact set of parameters that are useful for face sketch synthesis. Extensive experiments on public face sketch databases demonstrate the superiority of the proposed method in comparison to state-of-the-art methods.     

Application of image correction and bit-plane fusion in generalized PCA based face recognition

A novel generalized PCA based face recognition algorithm is proposed in this paper. Two approaches to improve the illumination robustness of the algorithm are presented, symmetrical image correction (SIC) and bit-plane feature fusion (BPFF). Specifically, for an assumed eudipleural face image, SIC first compares a pixel with the mean of this pixel and its symmetrical one and constructs a weight using the difference, then performs correction of the face image by adding the weight image to it to reduce bright speckles and shadows caused by over lighting. BPFF decomposes a face image into its eight bit-planes and extracts outline features and texture features respectively from them, then it constructs a new virtual face by combining those two features. Finally, Generalized PCA is applied to the virtual faces to achieve face recognition. Experimental results show that, the proposed combined approach can effectively reduce the sensitivity of face recognition algorithm to illumination variances and thus fewer projection vectors are required to achieve the same recognition rate than the comparing approaches.     

结合优化MGFR与二维线性降维的特征提取算法

受限于人脸姿态、光照变化等因素,通过引入多通道Gaborface表征结合基于子空间的二维双向线性降维算法,提出了一种结合优化多通道Gaborface与二维线性降维的特征提取算法。首先,采用多通道Gaborface表征(MGFR)模型对样本集进行预处理,提取不同通道下的人脸Gabor特征表示并优化选取通道融合方式而组合成新特征;再引入样本间类别信息获得改进线性二维双向特征降维算法,从而对获得的人脸表示进行特征降维与提取;最终通过最近邻分类器得到分类结果。试验结果表明,通过在AR、ORL和YALE人脸库进行对比分析,改进算法对人脸姿态等变化具有较强的鲁棒性,且较其他算法表现出了较优的识别性能。     

改进Retinex和稀疏表示的光照人脸识别

为了提高光照变化条件下的人脸识别率,针对当前人脸识别方法存在的缺陷,提出了一种改进Retinex算法和稀疏表示相融合的光照人脸识别方法。首先对Retinex算法的不足进行改进,并应用于人脸图像预处理中,消除光照对人脸识别的干扰,然后采用稀疏表示提取人脸特征向量,并采用投票方式实现人脸识别,最后通过3个标准人脸数据库对方法的性能进行测试。结果表明,该方法不仅提高了人脸识别率,而且缩短了人脸识别时间,对光照具有较好的鲁棒性。     

联合Gabor误差字典和低秩表示的人脸识别算法

针对人脸图片的遮挡、伪装、光照及表情变化等问题,根据Gabor特征对遮挡、伪装、光照及表情变化有着更强的鲁棒性的特点,提出了联合Gabor误差字典和低秩表示的人脸识别算法(GDLRR)。首先对训练样本和测试样本分别进行Gabor特征提取,并将这些特征组成待测试的特征字典;然后将一个单位阵进行Gabor特征提取并训练成一个更紧凑的Gabor误差字典;最后联合Gabor误差字典和训练特征字典对测试特征字典进行低秩表示后进行分类识别。各类实验表明,提出的改进算法对人脸识别的各类问题都有着更强的鲁棒性和更高的识别准确率。     

基于Gabor特征与投影字典对学习的人脸识别算法

为了提高人脸的识别率及其识别速度,提出了一种基于Gabor特征与投影字典对学习的人脸识别算法。由于Gabor特征对表情、光照和角度等变化具有较强的鲁棒性,首先提取人脸图像多方向多尺度的Gabor局部特征,并将经主成分分析降维后的增广Gabor特征作为训练数据,代替原始的训练样本。然后,根据训练数据同时学习综合字典与分析字典,综合字典具有重构能力,分析字典可以快速求出系数矩阵。最后,根据各类别的重构误差进行分类,以达到人脸识别的目的。在扩展的YaleB、ORL和AR人脸数据库上的实验结果表明,提出的算法不仅具有较高的识别率,而且能够有效地提高识别速度。     

双空间局部方向模式的人脸识别

目的 针对传统局部方向模式（LDP）在特征提取的充分性、对光照和噪声等的鲁棒性以及识别时间长短这3方面不能同时取得一个很好的平衡效果,提出了一种双空间局部方向模式（DSLDP）的人脸识别方法。方法 首先,将图像3×3邻域像素灰度值与8个Kirsch模板算子卷积,得到8个方向的边缘响应值,然后,将近邻边缘响应值之间相应作差,对应8个方向的边缘响应差值,将两组值取绝对值,取各自最大值的方向编码成一个二位八进制数,产生DSLDP码。最后,在人脸描述阶段将人脸图像进行分块并把每块转换成DSLDP图,再对DSLDP图进行直方图统计,并利用信息熵对每块进行加权,将所有子块的直方图连接生成人脸特征,再通过PCA进行降维,用最近邻分类器分类识别。结果 在剑桥大学Olivetti实验室（ORL）、Aleix Martinez and Robert Benavente （AR）和中国科学院（CAS-PEAL）的人脸图像数据库进行实验,相比局部方向模式（LDP）、显著型局部方向模式（SLDP）、增强型局部方向模式（ELDP）、局部方向数字模式（LDN）、差值型局部方向模式（DLDP）、中心对称局部方向模式（CSLDP）和梯度中心对称局部方向模式（GCSLDP）,DSLDP具有更好的识别性能。5幅测试样本时,在ORL库上取得了97.82%的平均识别率,在AR光照、表情、遮挡A和遮挡B库分别取得了98.00%、98.33%、99.33%、87.67%的平均识别率,在CAS-PEAL光照、表情和饰物库分别取得了99.33%、95.33%、90.00%的平均识别率。结论 1）该方法既考虑了近邻边缘响应值的外在变化,也考虑了近邻边缘响应值之间的内在变化,通过将强度空间和梯度空间人脸特征信息结合使人脸特征得到更加充分的提取。2） DSLDP只考虑邻边缘响应值和边缘响应差值的最大值情况,突出了主要边缘梯度信息,同时又避免了不重要信息的干扰,相比同类基于局部方向模式的单一人脸识别算法,对光照、表情、噪声、遮挡等情况表现出更强的鲁棒性。3） DSLDP码是由二位八进制数构成,特征模式数降低到64,识别时间明显降低。因此,DSLDP算法能同时在识别效果,稳定性和识别时间上取得一个较好的平衡效果。