多视角约束级联回归的视频人脸特征点跟踪

近年来,静态图像中人脸特征点检测算法得到了极大的改进,然而,由于真实视频中头部姿态、遮挡和光照等因素的变化,人脸特征点检测和跟踪仍然具有挑战性。为了解决这一问题,提出一种多视角约束级联回归的视频人脸特征点跟踪算法。首先,利用三维和二维稀疏点集建立变换关系,并估计初始形状;其次,由于人脸图像存在较大的姿态差异,使用仿射变换对人脸图像进行姿态矫正;在构造形状回归模型时,采用多视角约束级联回归模型减小形状方差,从而使学习到的回归模型对形状方差具有更强的鲁棒性;最后,采用重新初始化机制,并在特征点正确定位时使用归一化互相关（NCC）模板匹配跟踪算法建立连续帧之间的形状关系。在公共数据集上的实验结果表明：该算法的平均误差小于眼间距离的10%。     

改进的显式形状回归人脸特征点定位算法

针对显式形状回归（ESR）人脸特征点定位精度低的问题，提出了改进的显式形状回归人脸特征点定位算法。首先定位出三点人脸形状代替人脸检测框作为初始形状的映射标准来得到更精确的初始人脸形状，然后采用像素块特征代替像素特征对抗光照变化来提高算法的鲁棒性，最后采用多假设融合策略代替平均法对多个定位结果进行最佳融合来进一步提高算法的定位精度。仿真实验结果表明，在LFPW、HELEN和300-W人脸库上，与显式形状回归算法相比，定位精度分别提高了7.96%、5.36%和1.94%。     

Lasso整脸形状回归的人脸配准算法

人脸配准是人脸识别、美化和面部表情分析等人脸相关应用的重要组成部分,这些应用通过人脸配准以精准定位人脸五官及面部轮廓特征点.在整脸形状回归的人脸配准框架基础上,使用Lasso回归来解决人脸配准问题,提出基于Lasso的整脸回归人脸配准算法.首先对人脸配准过程中的回归系数施加L1模惩罚,以在不牺牲效果的基础上减少模型大小;然后提出人脸变换比例调整方法,在回归过程中使用人脸变换比例对特征点位置进行调整,用于解决小规模样本条件下不同尺度样本相互干扰的问题.在相关数据集上的实验结果表明,该算法配准精确度高,可以达到实时的速度,且适用于不同姿态下的人脸配准问题.     

基于全局信息的人脸特征点精确定位

空间中物理位置的线性变化在图像空间的变化往往是非线性的,人脸特征点定位受到头部姿态较大的影响。提出一种改进的基于头部姿态估计的条件回归森林方法,该方法有效地将原非线性问题转换为分段线性问题。使用局部保持投影（LPP）得到全局的姿态信息标签,通过非线性回归（NLR）得出头部姿态,训练并使用条件回归森林对全局特征条件下的人脸特征点进行一个精确定位。实验结果表明,该方法有效地降低了头部偏转等图像空间中的非线性变化引起的特征估计误差,提高了人脸特征点定位的精确度。     

基于模糊聚类回归的人脸特征点定位研究

传统基于回归的人脸特征点定位算法存在忽略人脸局部结构信息、姿态偏转较大时定位精度差等问题。为此,提出一种基于模糊聚类回归的定位算法。利用人脸特征点之间的局部结构信息对人脸训练集进行聚类,并根据阈值判决结果适度扩充训练样本。分别训练所有子训练集的回归结构,在测试过程中加入多次形状约束以自动调整每次聚类的结果和回归结构的选择,由此提高人脸特征点定位的精度。在300-W数据库上的实验结果表明,与形状回归算法和鲁棒姿势回归算法相比,该算法明显提高了姿态偏转较大情况下的定位精度。     

改进级联回归模型的人脸特征点定位

针对级联回归模型依赖形状初始化且结构复杂使其在人脸特征点定位中速度慢、精度低的问题,提出了改进的级联回归人脸特征点定位算法.采用仿射变换参数回归初始化人脸形状,使变换后的初始形状更接近真实人脸以提高模型的收敛速度和精度;在各特征点局部区域构造随机蕨局部学习器,并学习得到易于计算且高度稀疏的二值化特征应用提高模型的速度;对二值化特征使用全局线性回归求得形状增量,实现特征点定位.仿真实验结果表明:相比于原算法,所提算法在LFPW,HELEN,AFW库上定位误差平均降低了11%,定位时间平均减少了14%.     

基于尺度自适应与增量式学习的人脸对齐方法

针对传统基于回归的人脸对齐算法在人脸尺度归一化时会造成纹理的损失,以及为了提升算法模型的泛化能力必须扩充数据集重新训练而导致训练时间增加,甚至出现不收敛、不可计算等问题,提出一种基于尺度自适应与增量式学习（IL）的人脸对齐方法来提高定位精度。首先,建立初始人脸形状与标准人脸形状的映射关系;然后,通过映射关系实现纹理特征在原图上的提取和人脸尺度的归一化;最后,利用算法模型在新的数据集上进行增量式的学习,快速提高原模型的泛化能力。实验结果表明,与传统回归方法相比,所提方法有更高的对齐精度,特别是在AFW数据集（68个特征点）上提高了2~4个百分点;在10万级别的大数据集（5个特征点）上,所提方法的鲁棒性比基于深度学习的方法高1~2个百分点。同时,所提的增量式学习方法不仅适用于人脸对齐场景下的回归模型求解,还适用于其他应用场景下回归模型的求解。     

视频中的多视角人脸检测与姿态判别

提出了一种基于多种信息融合的多视角人脸检测方法.对视频图像通过对称差分算法检测运动区域,利用神经网络肤色模型对运动区域进行肤色识别,将多视角多人脸检测简化在候选区域内;最后通过集成多神经网络,其中每个神经网络负责一定视角的图像,实现了人脸验证,同时可以粗略地判定人脸姿态.实验结果表明该算法可适应不同的光照环境,检测不同大小,不同视角的人脸.     

条件主动外观模型下的人脸特征点跟踪

为了完成人脸关键特征点的精确定位跟踪,提出一种改进的基于反向合成匹配算法的条件主动外观模型匹配及其初始化算法.该算法假设已知正面人脸的关键特征点,首先通过建立散乱点对应与标定点对应之间的映射,根据给定的正面人脸标定点对任意姿态的侧面人脸进行自动初始标定,映射关系由核岭回归算法学习得到;将该标定点作为人脸跟踪算法的初始化点,然后利用条件主动外观模型反向合成匹配算法建立正面与任意姿态人脸的外观和形状模型,并对模型参数进行迭代优化;最后得到最优的任意姿态人脸的轮廓点,完成人脸跟踪.实验结果证明,与同类方法相比,该算法表现出了良好的性能,可在较短的计算时间内获得较高的定位精度.     

基于多视角缺失补全算法的数据挖掘研究

针对数字化信息复杂度带来的海量多视角数据问题,并考虑到在大量的多视角数据的获取过程中,由于收集的难度、高额成本或设备故障等情况,往往会导致多视角数据出现视角缺失。提出了一种基于核回归的多视角数据缺失补全方法,采用离线核回归模型学习和在线多视角缺失数据补全构建了算法框架,通过引入高斯核核函数的方式,建立视角间的非线性回归模型,结合训练数据的线性组合来表示回归系数的最优解,以完成挖掘多视角数据间的互补相关性,有效实现缺失视角的补全。最后通过模拟三类数据集来验证基于多视角缺失补全算法的性能。     

基于稀疏级联回归的快速人脸配准方法及其在移动设备上的应用

如何在计算和存储能力受限的移动平台上实现高效的人脸配准是移动平台人脸应用需要解决的关键问题。主要研究了移动平台上的快速人脸配准问题,为了降低配准模型的计算与存储要求,提出了稀疏约束的级联回归模型。该模型采用稀疏性约束学习回归矩阵,不但能够筛选鲁棒的特征,而且模型的存储空间被压缩到原来的5%左右。基于稀疏级联回归模型,进一步构建了移动平台上人脸配准的快速算法。首先,在人脸检测的基础上,利用二值特征快速定位眼角、嘴角和鼻尖的关键点,估计出人脸的姿态,旋正人脸图像;然后,根据人脸的姿态,选择相应的正脸或侧脸模型,进行稀疏约束的级联回归配准,定位人脸关键点。大量实验结果表明,提出的配准方法精度高、速度快、模型小。在三星Note3智能手机上,每幅人脸图像的配准时间在10ms左右,整个apk文件大小仅为4MB,非常适合移动平台的人脸应用。     

基于SLPP和张量分解相结合的人脸识别*

针对多线性分析算法对多姿态多身份因素并存时,人脸的识别率大大下降等问题,提出了带监督的局 部保留投影映射算法与多线性张量分析算法相结合的人脸识别方法。该方法将人脸转动的近邻点信息作为监 督信息引入,更精确地描述了姿态空间的非线性结构,再结合张量分解和核函数将姿态流形系数映射到高维图 像空间,使得从低维空间到高维空间映射的精确性得以提高。在东方人脸数据库上进行实验,结果验证了该算 法的有效性。     

基于状态估计的张量分解人脸识别方法

张量脸算法是分析和表达多因素影响的人脸图像结构的一种有效的数学模型,然而张量分解对状态空间的非线性处理仍存在不足之处。对此提出了一种新的多姿态人脸图像识别方法,在原有的张量脸算法基础上结合状态估计的方法。将训练样本图库中不同状态的人脸通过PCA分解得到多种状态(角度、光照、表情)分别对应的特征空间,对于测试样本先投影到每个特征空间,利用最近邻分类器进行状态估计,对利用张量脸算法得到的张量脸进行识别。实验结果表明,该特征提取方法的识别率优于原有的张量脸算法。     

Multi-View AAM Fitting and Construction

Active Appearance Models (AAMs) are generative, parametric models that have been successfully used in the past to model deformable objects such as human faces. The original AAMs formulation was 2D, but they have recently been extended to include a 3D shape model. A variety of single-view algorithms exist for fitting and constructing 3D AAMs but one area that has not been studied is multi-view algorithms. In this paper we present multi-view algorithms for both fitting and constructing 3D AAMs. Fitting an AAM to an image consists of minimizing the error between the input image and the closest model instance; i.e. solving a nonlinear optimization problem. In the first part of the paper we describe an algorithm for fitting a single AAM to multiple images, captured simultaneously by cameras with arbitrary locations, rotations, and response functions. This algorithm uses the scaled orthographic imaging model used by previous authors, and in the process of fitting computes, or calibrates, the scaled orthographic camera matrices. In the second part of the paper we describe an extension of this algorithm to calibrate weak perspective (or full perspective) camera models for each of the cameras. In essence, we use the human face as a (non-rigid) calibration grid. We demonstrate that the performance of this algorithm is roughly comparable to a standard algorithm using a calibration grid. In the third part of the paper, we show how camera calibration improves the performance of AAM fitting. A variety of non-rigid structure-from-motion algorithms, both single-view and multi-view, have been proposed that can be used to construct the corresponding 3D non-rigid shape models of a 2D AAM. In the final part of the paper, we show that constructing a 3D face model using non-rigid structure-from-motion suffers from the Bas-Relief ambiguity and may result in a “scaled” (stretched/compressed) model. We outline a robust non-rigid motion-stereo algorithm for calibrated multi-view 3D AAM construction and show how using calibrated multi-view motion-stereo can eliminate the Bas-Relief ambiguity and yield face models with higher 3D fidelity. Electronic Supplementary Material The online version of this article () contains supplementary material, which is available to authorized users.     

Self-adaptive morphable model based collaborative multi-view 3d face reconstruction in visual sensor network

3D face reconstruction is an efficient method for pedestrian recognition in non-cooperative environment because of its outstanding performance in robust face recognition for uncontrolled pose and illumination changes. Visual sensor network is widely used in target surveillance as powerful unattended distributed measurement systems. This paper proposes a collaborative multi-view non-cooperative 3D face reconstruction method in visual sensor network. A peer-to-peer paradigm-based visual sensor network is employed for distributed pedestrian tracking and optimal face image acquisition. Gaussian probability distribution-based multi-view data fusion is used for target localization, and kalman filter is applied for target tracking. A lightweight face image quality evaluation method is presented to search optimal face images. A self-adaptive morphable model is designed for multiview 3D face reconstruction. To adjust the self-adaptive morphable model, the optimal face images and their poses estimation are used. Cooperative chaotic particle swarm optimization is employed for parameters optimization of the self-adaptive morphable model. Experimental results on real data show that the proposed method can acquire optimal face images and achieve non-cooperative 3D reconstruction efficiently.     

级联回归的多姿态人脸配准

目的 人脸配准是当前计算机视觉领域的研究热点之一,其目的是准确定位出人脸图像中具有语义特征的面部关键点,这也是人脸识别、人脸美化等众多与人脸有关的视觉任务的重要步骤。最近,基于级联回归的人脸配准算法在配准精度和速度上都达到了最先进的水准。级联回归是一种迭代更新的算法,初始脸形将通过多个线性组合的弱回归器逐渐逼近真实的人脸形状。但目前的算法大多致力于改进学习方法或提取具有几何不变性的特征来提升弱回归器的能力,而忽略了初始脸形的质量,这极大的降低了它们在复杂场景下的配准精度,如夸张的面部表情和极端的头部姿态等。因此,在现有的级联回归框架上,提出自动估计初始形状的多姿态人脸配准算法。方法 本文算法首先在脸部区域提取基于高斯滤波一阶导数的梯度差值特征,并使用随机回归森林预测人脸形状;然后针对不同的形状使用独立的级联回归器。结果 验证初始形状估计算法的有效性,结果显示,本文的初始化算法能给现有的级联回归算法带来精度上的提升,同时结果也更加稳定;本文算法产生的初始形状都与实际脸型较为相近,只需很少的初始形状即可取得较高的精度;在COFW、HELEN和300W人脸数据库上,将本文提出的多姿态级联回归算法和现有配准算法进行对比实验,本文算法的配准误差相较现有算法分别下降了29.2%、13.3%和9.2%,结果表明,本文算法能有效消除不同脸型之间的干扰,在多姿态场景下得到更加精确的配准结果,并能达到实时的检测速度。结论 基于级联回归模型的多姿态人脸配准算法可以取得优于现有算法的结果,在应对复杂的脸形时也更加鲁棒。所提出的初始形状估计算法可以自动产生高质量的初始形状,用于提升现有的级联回归算法。     

M3 CSR: Multi-view,multi-scale and multi-component cascade shape regression

Automatic face alignment is a fundamental step in facial image analysis. However, this problem continues to be challenging due to the large variability of expression, illumination, occlusion, pose, and detection drift in the real-world face images. In this paper, we present a multi-view, multi-scale and multi-component cascade shape regression (M³CSR) model for robust face alignment. Firstly, face view is estimated according to the deformable facial parts for learning view specified CSR, which can decrease the shape variance, alleviate the drift of face detection and accelerate shape convergence. Secondly, multi-scale HoG features are used as the shape-index features to incorporate local structure information implicitly, and a multi-scale optimization strategy is adopted to avoid trapping in local optimum. Finally, a component-based shape refinement process is developed to further improve the performance of face alignment. Extensive experiments on the IBUG dataset and the 300-W challenge dataset demonstrate the superiority of the proposed method over the state-of-the-art methods.     

多姿态人脸照片的姿态估计

提出了一种基于面部图像的新的匹配系统。在这个系统中,输入的图像与各种人脸姿态的数据库图像进行比较,然后,匹配的图像给出了人脸姿态。图像数据库不仅包括各种人脸姿态,而且也包括不同的光照条件,如此,这个人脸姿态评价系统适用于不同的光照条件。对于收集各种不同面部图像,这里是通过计算机自动产生,而不是拍摄实际的照片。特征空间方法被用于寻找与输入面部图像匹配的图像。因为不同的光照图像被收集在面部图像数据库中,故提取的主特征向量主要依靠人脸姿态。由于通过选用主特征向量而减少了向量的维数,故这个匹配过程是很快的。这个姿态评价系统能够继续跟踪在不同的光照条件下不同人的人脸姿态。     

基于HMM的单样本可变光照、姿态人脸识别

提出了一种基于HMM的单样本可变光照、姿态人脸识别算法.该算法首先利用人工配准的训练集对单张正面人脸输入图像与Candide3模型进行自动配准,在配准的基础上重建特定人脸三维模型.对重建模型进行各种角度的旋转可得到姿态不同的数字人脸,然后利用球面谐波基图像调整数字人脸的光照系数可产生光照不同的数字人脸.将产生的光照、姿态不同的数字人脸同原始样本图像一起作为训练数据,为每个用户建立其独立的人脸隐马尔可夫模型.将所提算法对现有人脸库进行识别,并与基于光照补偿和姿态校正的识别方法进行比较.结果显示,该算法能有效避免光照补偿、姿态校正方法因对某些光照、姿态校正不理想而造成的识别率低的情况,能更好地适应光照、姿态不同条件下的人脸识别.