基于尺度自适应与增量式学习的人脸对齐方法

针对传统基于回归的人脸对齐算法在人脸尺度归一化时会造成纹理的损失,以及为了提升算法模型的泛化能力必须扩充数据集重新训练而导致训练时间增加,甚至出现不收敛、不可计算等问题,提出一种基于尺度自适应与增量式学习（IL）的人脸对齐方法来提高定位精度。首先,建立初始人脸形状与标准人脸形状的映射关系;然后,通过映射关系实现纹理特征在原图上的提取和人脸尺度的归一化;最后,利用算法模型在新的数据集上进行增量式的学习,快速提高原模型的泛化能力。实验结果表明,与传统回归方法相比,所提方法有更高的对齐精度,特别是在AFW数据集（68个特征点）上提高了2~4个百分点;在10万级别的大数据集（5个特征点）上,所提方法的鲁棒性比基于深度学习的方法高1~2个百分点。同时,所提的增量式学习方法不仅适用于人脸对齐场景下的回归模型求解,还适用于其他应用场景下回归模型的求解。     

基于相对索引特征回归的人脸对齐算法

针对传统人脸对齐算法对于较大人脸姿态鲁棒性较差,并且对于人脸检测结果十分敏感的问题,提出了一种基于改进的局部二值特征的人脸对齐算法.不同于传统的形状索引特征,在一种空间依赖假设下的前提下设计相对索引特征.同时,在这种空间依赖假设下使用半全局线性学习替代全局线性学习.通过人脸对齐敏感性分析比较了算法在不同人脸检测器下的鲁棒性,在300-W基准数据集上的实验表明:算法优于传统的级联回归算法.     

基于形状索引的DoG特征结合GPRT的人脸关键点检测算法

针对传统人脸对齐算法效率较低的问题,提出一种基于形状索引的高斯差分(DoG)特征与高斯过程回归树(GPRT)的人脸关键点检测算法。首先,由高斯过程回归树的内核测量两个输入之间的相似性,并表示为两个输入进入相同叶子的树木数。然后基于高斯过程回归树模型提取形状索引DoG特征,并进一步完成GPRT的特征设计。最后从局部视网膜模式中采集滤波回应来增加稳定性,实现对抗几何差异的鲁棒性。在LFPW人脸数据库上验证结果表明该方法能够取得良好的性能表现,证明了基于形状索引的DoG特征与GPRT的人脸关键点检测算法的有效性。     

图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

基于改进ASM的三维人脸自动对齐算法

针对传统三维人脸对齐算法需要大量人工操作和数据冗余的不足,提出一种基于改进主动形状模型的三维人脸自动对齐算法。该算法对二维人脸进行快速自动特征定位,根据三维人脸柱面展开的二维纹理图进行自动特征定位并分片。采用基于平面模板的重采样算法,自动实现三维人脸顶点稠密对齐。实验结果表明,该算法在提高运算速率的同时,得到的归一化结果与原始数据仍能保持99%形状相似度。     

改进的显式形状回归人脸特征点定位算法

针对显式形状回归（ESR）人脸特征点定位精度低的问题，提出了改进的显式形状回归人脸特征点定位算法。首先定位出三点人脸形状代替人脸检测框作为初始形状的映射标准来得到更精确的初始人脸形状，然后采用像素块特征代替像素特征对抗光照变化来提高算法的鲁棒性，最后采用多假设融合策略代替平均法对多个定位结果进行最佳融合来进一步提高算法的定位精度。仿真实验结果表明，在LFPW、HELEN和300-W人脸库上，与显式形状回归算法相比，定位精度分别提高了7.96%、5.36%和1.94%。     

应用深度学习的大姿态人脸对齐

针对大姿态人脸对齐算法中的精确度低的问题,设计并实现了一种新的分层并行和多尺度Inception-Resnet网络来实现大姿态人脸对齐.首先,构建了一个四阶级联沙漏网络模型.该模型通过端到端的方式直接输入图像进行人脸对齐.其次,网络内部使用预先设定的参数进行采样和特征提取.最后,直接输出对应的人脸特征点提取图像以及同等人脸大小的二维坐标点绘制图,并将所提出的方法在AFLW2000-3D数据集上进行测试.实验结果表明,对于任意无约束的二维人脸图像,该方法的归一化平均误差为4.41%.与传统方法相比,该方法输出的正脸姿态图像视觉质量高、保真度更强.     

改进级联回归模型的人脸特征点定位

针对级联回归模型依赖形状初始化且结构复杂使其在人脸特征点定位中速度慢、精度低的问题,提出了改进的级联回归人脸特征点定位算法.采用仿射变换参数回归初始化人脸形状,使变换后的初始形状更接近真实人脸以提高模型的收敛速度和精度;在各特征点局部区域构造随机蕨局部学习器,并学习得到易于计算且高度稀疏的二值化特征应用提高模型的速度;对二值化特征使用全局线性回归求得形状增量,实现特征点定位.仿真实验结果表明:相比于原算法,所提算法在LFPW,HELEN,AFW库上定位误差平均降低了11%,定位时间平均减少了14%.     

Lasso整脸形状回归的人脸配准算法

人脸配准是人脸识别、美化和面部表情分析等人脸相关应用的重要组成部分,这些应用通过人脸配准以精准定位人脸五官及面部轮廓特征点.在整脸形状回归的人脸配准框架基础上,使用Lasso回归来解决人脸配准问题,提出基于Lasso的整脸回归人脸配准算法.首先对人脸配准过程中的回归系数施加L1模惩罚,以在不牺牲效果的基础上减少模型大小;然后提出人脸变换比例调整方法,在回归过程中使用人脸变换比例对特征点位置进行调整,用于解决小规模样本条件下不同尺度样本相互干扰的问题.在相关数据集上的实验结果表明,该算法配准精确度高,可以达到实时的速度,且适用于不同姿态下的人脸配准问题.     

基于深度学习和表情AU参数的人脸动画方法

为了利用计算机方便快捷地生成表情逼真的动漫人物,提出一种基于深度学习和表情AU参数的人脸动画生成方法.该方法定义了用于描述面部表情的24个面部运动单元参数,即表情AU参数,并利用卷积神经网络和FEAFA数据集构建和训练了相应的参数回归网络模型.在根据视频图像生成人脸动画时,首先从单目摄像头获取视频图像,采用有监督的梯度下降法对视频帧进行人脸检测,进而对得到的人脸表情图像准确地回归出表情AU参数值,将其视为三维人脸表情基系数,并结合虚拟人物相对应的24个基础三维表情形状和中立表情形状,在自然环境下基于表情融合变形模型驱动虚拟人物生成人脸动画.该方法省去了传统方法中的三维重建过程,并且考虑了运动单元参数之间的相互影响,使得生成的人脸动画的表情更加自然、细腻.此外,基于人脸图像比基于特征点回归出的表情系数更加准确.     

基于非线性Boosting回归的多视角人脸配准

人脸配准可以作为表情分析、人脸识别等人脸相关研究的预处理步骤, 是人脸相关的计算机视觉研究的关键问题. 本文针对图像中水平视角在正负45°内的人脸配准问题, 利用基于Haar特征的非线性Boosting回归算法, 根据标定点邻域内的局部纹理预测标定点的位移, 提出了一种新的基于经典活动形状模型(Active shape model, ASM)的实时多视角人脸配准算法. 在两个数据集合上的测试实验表明, 该算法在速度、准确度和稳定性上都比经典的ASM算法有显著提高且优于近期的改进算法, 具有明显的实用价值.     

Face hallucination with imprecise-alignment using iterative sparse representation

Existing face hallucination methods assume that the face images are well-aligned. However, in practice, given a low-resolution face image, it is very difficult to perform precise alignment. As a result, the quality of the super-resolved image is degraded dramatically. In this paper, we propose a near frontal-view face hallucination method which is robust to face image mis-alignment. Based on the discriminative nature of sparse representation, we propose a global face sparse representation model that can reconstruct images with mis-alignment variations. We further propose an iterative method combining the global sparse representation and the local linear regression using the Expectation Maximization (EM) algorithm, in which the face hallucination is converted into a parameter estimation problem with incomplete data. Since the proposed algorithm is independent of the face similarity resulting from precise alignment, the proposed algorithm is robust to mis-alignment. In addition, the proposed iterative manner not only combines the merits of the global and local face hallucination, but also provides a convenient way to integrate different strategies to handle the mis-alignment problem. Experimental results show that the proposed method achieves better performance than existing methods, especially for mis-aligned face images.     

级联回归的多姿态人脸配准

目的 人脸配准是当前计算机视觉领域的研究热点之一,其目的是准确定位出人脸图像中具有语义特征的面部关键点,这也是人脸识别、人脸美化等众多与人脸有关的视觉任务的重要步骤。最近,基于级联回归的人脸配准算法在配准精度和速度上都达到了最先进的水准。级联回归是一种迭代更新的算法,初始脸形将通过多个线性组合的弱回归器逐渐逼近真实的人脸形状。但目前的算法大多致力于改进学习方法或提取具有几何不变性的特征来提升弱回归器的能力,而忽略了初始脸形的质量,这极大的降低了它们在复杂场景下的配准精度,如夸张的面部表情和极端的头部姿态等。因此,在现有的级联回归框架上,提出自动估计初始形状的多姿态人脸配准算法。方法 本文算法首先在脸部区域提取基于高斯滤波一阶导数的梯度差值特征,并使用随机回归森林预测人脸形状;然后针对不同的形状使用独立的级联回归器。结果 验证初始形状估计算法的有效性,结果显示,本文的初始化算法能给现有的级联回归算法带来精度上的提升,同时结果也更加稳定;本文算法产生的初始形状都与实际脸型较为相近,只需很少的初始形状即可取得较高的精度;在COFW、HELEN和300W人脸数据库上,将本文提出的多姿态级联回归算法和现有配准算法进行对比实验,本文算法的配准误差相较现有算法分别下降了29.2%、13.3%和9.2%,结果表明,本文算法能有效消除不同脸型之间的干扰,在多姿态场景下得到更加精确的配准结果,并能达到实时的检测速度。结论 基于级联回归模型的多姿态人脸配准算法可以取得优于现有算法的结果,在应对复杂的脸形时也更加鲁棒。所提出的初始形状估计算法可以自动产生高质量的初始形状,用于提升现有的级联回归算法。     

自适应监督下降方法的姿态鲁棒人脸对齐算法

人脸对齐是人脸分析处理中的重要一步。由于现实中的人脸照片通常在姿态、光线等方面存在较大的差异,人脸对齐是一项艰巨的任务。初始关键点的位置以及特征提取对人脸对齐很重要。提出一种自适应监督下降方法(SDM)的姿态鲁棒人脸对齐算法。首先,为了减小姿态差异对人脸对齐的影响,使用聚类算法将图片按照姿态分成三类(正脸,左侧脸,右侧脸),这样每个类别下的姿态更加紧致。其次,考虑到人脸对齐是由粗到细的多阶段监督学习过程,采用自适应特征提取框(由大到小)来提取判别性特征。基于上述两种策略,在每个类别下,提供一个更好的初始关键点位置,通过自适应特征提取的SDM模型来进行回归模型的训练。选用LFPW、HELEN和300W数据集进行评估,实验结果表明,该模型在复杂姿态下能准确定位关键点,并且好于现有的人脸对齐算法。     

两种自由曲线重建方法*

通过深入分析ASM/AAM算法的各种改进方案的试验统计结果,提出了一种基于局部梯度统计特征和纹理约束形状的改进ASM算法： 用梯度信息代替灰度信息训练特征模型得以有效提高匹配精度和减少所需训练的样本数,用全局的纹理去约束形状得以有效提高算法对特征点定位的精度。大量统计试验表明所提出的算法能正确地提取大部分正向人脸的特征点。提出的算法对人脸跟踪、识别和表情分析等图像理解任务有着广泛的应用前景。     

基于深度特征学习的复杂环境下陌生人脸匹配算法研究

复杂环境下的陌生人脸匹配,即在人脸存在光照、姿态干扰时,判断两张在训练集中从未出现过的人脸照片是否代表同一个人。在预处理阶段,采用多尺度视皮层算法,降低光照的影响,提出并采用基于PCA-SIFT特征的图片融合算法无监督地对齐人脸,降低人脸姿态的影响。在识别阶段,提出并采用半随机池化方法优化了局部卷积限制波尔兹曼机网络的稳定性,习得深度特征后采用基于信息熵的度量学习算法计算马氏距离并通过SVM分类识别。实验结果显示,提出的方法在LFW数据集上取得了78%的识别率,相比于采用相同训练模式的经典度量学习方法取得了7%的提高,验证了所提方法的有效性。     

Robust face alignment and tracking by combining local search and global fitting

When a face in an image is considerably occluded, existing local search and global fitting methods often cannot find the facial features due to failures in the local facial feature detectors or the fitting limitations of appearance modeling. To solve these problems, we propose a new face alignment method that combines the local search and global fitting methods, where local misalignments in the local search method are restricted by holistic appearance fitting in the global fitting method and the divergent or shrinking alignments in the global fitting method are avoided by the restricting local movements in the local search method. The proposed alignment method consists of two stages: the initialization stage detects the face, estimates the facial pose and obtains the initial facial features by locating a pose-specific mean shape on the detected face; the optimization stage then obtains the facial features by updating the parameter set from the combined Hessian matrix and the combined gradient vector. We also extend the proposed face alignment to face tracking by adding a template image that is warped from the facial features obtained in the previous frame. In the experiments, the proposed method yields more accurate and stable face alignment or tracking under heavy occlusion and pose variation than the existing methods.