人脸动画关键点最优化算法

Thin-shell变形算法基于一组控制点的位移计算所有顶点的位移,不同的控制点集合会得到不同的重构结果.为了使该变形算法更精确地重构人脸表情动画,基于该算法,提出一种最优控制点计算方法.首先将计算人脸变形最优控制点问题建模,以最小化thin-shell变形算法的重构误差为目标,提出一种自适应前后向贪婪策略学习最优化控制点,称为人脸动画关键点;通过引入边界约束、对称性约束以及多分辨率性,使得所提出的关键点具有通用性.实验结果证明,所提出的人脸动画关键点方法在仿真数据和真实数据上可以有效地获取关键控制点和重构人脸动画.     

基于网格变形的从图像重建三维人脸

从图像重建高质量三维人脸一直是计算机视觉和图形学的一个重要研究问题.不同于传统的基于立体匹配的窄基线多视几何和数据驱动的人脸形变方法,提出一种结合网格变形技术和立体视觉原理的、从图像重建高质量三维人脸模型方法.给定从不同视角拍摄的几幅人脸图像,基于健壮图像特征获得可靠的相机外部参数和稀疏三维点;在此基础上,提出一种结合几何细节保持和图像一致性约束的三维人脸变形算法重建三维人脸,通过对人脸模板的网格变形,使得变形人脸在多幅图像中的可见投影具有一致性的图像颜色强度.基于模板的人脸变形可以有效地解决三维模型成像中的遮挡问题,采用健壮估计法消除噪声、离群点和光照对目标函数收敛性的影响,对目标函数的多次非线性优化求解进一步改进了人脸重建的质量.采用合成人脸图像和真实人脸图像重建三维人脸的实验结果表明,文中算法可以从几幅宽基线图像重建高质量的三维人脸模型.     

基于面部特征约束的人脸纹理映射及变形

将一幅人脸图像（称为源图像）映射到另一幅人脸图像（称为目标图像）上,从而实现人脸图像的变形并达到某种特殊效果的表现要求。其中,一个最关键的问题是保持两幅人脸中器官特征的约束映射。提出一种技术策略,可以有效实现这种映射效果。利用人脸特征检测算法检测出源人脸和目标人脸的特征点;基于特征点,利用Delaunay三角剖分的方法将目标人脸转化为三角网格;采用调和映射的方法计算得出所有网格点在源人脸图像中的对应坐标;在获得网格点纹理坐标后,就可以实现源人脸到目标人脸的映射。实验表明,该方法可以实现任意人脸间的映射,并能较好地保持人脸五官间的映射关系。     

约束的B-Snake模型的非线性粒子滤波算法研究

针对人脸轮廓跟踪,提出一种约束的B-Snake模型的非线性粒子滤波新算法.该算法引入轮廓的主动模型,采用B-Snake表示人脸轮廓,通过建立人脸轮廓变形的形状空间,对人脸轮廓的可变形范围进行约束.同时,利用非线性滤波方法在人脸轮廓的变形区域内进行搜索,求解人脸轮廓参数,进行人脸轮廓跟踪.运用人脸的运动模型进行了跟踪仿真实验,仿真结果表明,该方法有效地解决了复杂背景下人脸自由运动、光照变化及部分遮挡的问题,具有较高的鲁棒性.     

基于肤色和可调式搜索窗口的人脸检测技术

提出了一种基于肤色和可调式搜索窗口的人脸检测方法.首先用YCbCr空间的肤色统计模型分割出可能包含人脸的区域.然后用特征提取法,结合几何关系的约束加以过滤.同时用仅在固定分辨率的图像上搜寻的可调式搜索窗口框出可能的人脸候选区域,它可自动判断移动方式和调整窗口大小.最后,采用主分量分析来验证这两种方法所检测出的人脸区域是否为真正人脸.实验证明该方法在少量条件约束下,对光线、不同尺寸、表情姿态、部分遮挡、复杂背景及多个互相重叠人脸等情况有较好的检测效果.     

双层级联神经网络的人脸超分辨率重建

针对普通的基于卷积神经网络的人脸超分辨率方法未能结合人脸结构信息，重建图像易出现五官偏移、边缘模糊等问题，提出一种基于双层级联神经网络的人脸超分辨率重建方法。在重建网络中加入面部先验信息估计模块，捕捉输入图像的面部关键点信息，约束重建图像与目标图像的空间一致性。在CelebA与Helen数据集上的实验结果验证了该方法对正面人脸能够准确地重建面部五官，对侧面及遮挡人脸等不同的变形人脸也具有强鲁棒性。     

真实感人脸模型的细分曲面重建

提出一种利用2张正交照片和细分曲面进行真实感三维人脸建模的方法,并实现了不同模型间的三维变形.为了构造个性化的人脸几何模型,将网格简化、自由曲面变形和细分结合起来,得到多个层次细节下的人脸模型;再经过纹理融合和映射,完成个性化的真实感三维人脸建模;同时利用线性插值实现了同拓扑真实感模型间的光滑变形.实验结果表明：该方法不仅可以进行有效的真实感三维人脸建模,而且变形简单流畅,具有广阔的应用前景.     

基于曲率信息的三维人脸面部特征提取

提出了一种基于曲率信息的三维人脸面部特征提取方法。首先根据几何约束和曲率信息得到由若干间断点描述的人脸五官区域轮廓线;其次采用边界连接及变形膨胀方法,得到完全闭合、但存在多余毛刺的区域边界;最后利用二维图像处理方法进行边界精确化处理,提取出比较精确的人脸面部特征区域。实验证明了所提方法对正面自然表情三维人脸模型的有效性。     

基于区域控制模型的三维人脸重建技术

根据头骨和面部肌肉的解剖结构提出了一个人脸区域控制模型,该模型采用骨骼和皮肤2层网格来表示一个三维人脸,其中外层的皮肤网格被划分成几个功能区域,不同区域采用不同的子区域变形模型.基于该模型实现了一个三维人脸重建系统,该系统在"计算机辅助眼镜设计系统"中得到了很好的应用.     

基于局部区域稀疏编码的人脸检测

提出一种基于局部区域稀疏编码的人脸检测方法.首先提取人脸局部区域作为训练样本;然后学习得到一个具有较强判别性的字典,字典中的每个基与人脸各局部区域有明确的对应关系;接着,基于各检测窗口稀疏编码的响应判断人脸某一局部区域是否出现;最后,利用人脸局部区域的检测结果和位置约束进行投票,完成人脸定位.该方法的创新在于将稀疏编码和基于部件模型的思想相结合,实现人脸检测.在Caltech 和BioID 人脸数据库的实验结果表明:该方法适用于小样本问题,且在遮挡、复杂表情、人脸偏转等情况下具有较好的检测效果.     

Multiple nose region matching for 3D face recognition under varying facial expression

An algorithm is proposed for 3D face recognition in the presence of varied facial expressions. It is based on combining the match scores from matching multiple overlapping regions around the nose. Experimental results are presented using the largest database employed to date in 3D face recognition studies, over 4,000 scans of 449 subjects. Results show substantial improvement over matching the shape of a single larger frontal face region. This is the first approach to use multiple overlapping regions around the nose to handle the problem of expression variation.     

结合径向线的局部遮挡下的3维人脸识别

目的 3维人脸点云的局部遮挡是影响3维人脸识别精度的一个重要因素。为克服局部遮挡对3维人脸识别的影响,提出一种基于径向线和局部特征的3维人脸识别方法。方法 首先为了充分利用径向线的邻域信息,提出用一组局部特征来表示径向线;其次对于点云稀疏引起的采样点不均匀,提出将部分相邻局部区域合并以减小采样不均匀的影响;然后,利用径向线的邻域信息构造代价函数,进而构造相应径向线间的相似向量。最后,利用相似向量来进行径向线匹配,从而完成3维人脸识别。结果 在FRGC v2.0数据库上进行不同局部特征识别率的测试实验,选取的局部特征Rank-1识别率达到了95.2%,高于其他局部特征的识别率;在Bosphorus数据库上进行不同算法局部遮挡下的人脸识别实验,Rank-1识别率达到了最高的92.0%;进一步在Bosphorus数据库上进行不同算法的时间复杂度对比实验,耗费时间最短,为8.17 s。该算法在准确率和耗时方面均取得了最好的效果。结论 基于径向线和局部特征的3维人脸方法能有效提取径向线周围的局部信息;局部特征的代价函数生成的相似向量有效减小了局部遮挡带来的影响。实验结果表明本文算法具有较高的精度和较短的耗时,同时对人脸的局部遮挡具有一定的鲁棒性。该算法适用于局部遮挡下的3维人脸识别,但是对于鼻尖部分被遮挡的人脸,无法进行识别。     

A Region Ensemble for 3-D Face Recognition

In this paper, we introduce a new system for 3D face recognition based on the fusion of results from a committee of regions that have been independently matched. Experimental results demonstrate that using 28 small regions on the face allow for the highest level of 3D face recognition. Score-based fusion is performed on the individual region match scores and experimental results show that the Borda count and consensus voting methods yield higher performance than the standard sum, product, and min fusion rules. In addition, results are reported that demonstrate the robustness of our algorithm by simulating large holes and artifacts in images. To our knowledge, no other work has been published that uses a large number of 3D face regions for high-performance face matching. Rank one recognition rates of 97.2% and verification rates of 93.2% at a 0.1% false accept rate are reported and compared to other methods published on the face recognition grand challenge v2 data set.     

基于肤色与模板匹配的人脸识别

本文提出了一种基于肤色与模板匹配的人脸识别算法。我们首先利用肤色在HSI空间的聚类特征对肤色加以判别,继而提取出人脸候选区域,最后通过模板匹配过程对候选区域加以识别。实验结果表明,该算法简单易实现,在执行时间及识别率上均取得了令人满意的效果。     

A novel illumination-robust face recognition using statistical and non-statistical method

This paper proposes a novel illumination-robust face recognition technique that combines the statistical global illumination transformation and the non-statistical local face representation methods. When a new face image with arbitrary illumination is given, it is transformed into a number of face images exhibiting different illuminations using a statistical bilinear model-based indirect illumination transformation. Each illumination transformed image is then represented by a histogram sequence that concatenates the histograms of the non-statistical multi-resolution uniform local Gabor binary patterns (MULGBP) for all the local regions. This is facilitated by dividing the input image into several regular local regions, converting each local region using several Gabor filters, and converting each Gabor filtered region image into multi-resolution local binary patterns (MULBP). Finally, face recognition is performed by a simple histogram matching process. Experimental results demonstrate that the proposed face recognition method is highly robust to illumination variation as exhibited in the real environment.     

基于侧面轮廓线和刚性区域的3维人脸识别

针对3维人脸识别问题,提出一种由粗到细的两步识别方法。首先结合几何约束与曲率信息定位特征点,根据特征点确定人脸对称面,提取人脸侧面轮廓线。利用轮廓线匹配作为排除算法,在识别初期迅速排除库集中不相似人脸以提高识别效率,剩余库集人脸采用一种具有表情鲁棒性的、基于区域的匹配方法进行识别,该方法自动切割人脸中受表情影响较小的刚性区域,并采用改进的迭代最近点算法对刚性区域进行匹配,为达到更好的识别精度,将各刚性区域的匹配结果采用加法规则融合。在3D_RMA人脸数据库的实验结果表明,该方法具有较好的实时性和鲁棒性。     

SURF特征及预处理RANSAC算法在人脸识别中的应用

针对人脸识别问题,提出了一种基于SURF特征的人脸图像快速识别方法。首先,对经预处理后的人脸图像提取SURF特征点,采用最近邻匹配法对特征点进行粗匹配;其次,利用KMeans聚类算法对粗匹配的特征点进行预处理来过滤明显不合适的匹配点,再利用RANSAC算法对过滤后的特征点实现精匹配,以达到对人脸的特征点比较准确地识别匹配。实验结果表明,该方法适用于手机终端的人脸图像的快速匹配,具有较强的鲁棒性及一定的实用价值。     

双目视觉下基于区域生长的三维人脸重建算法

为解决传统立体匹配算法匹配低纹理人脸图像时极易产生误匹配的问题,提出一种基于区域生长的人脸立体匹配算法。该算法利用级联回归树算法提取的人脸特征点将人脸划分为不同区域以分别限制各区域的视差搜索范围,从而避免在全局范围上查找匹配点;同时利用人脸的局部形状特性,采用局部曲面拟合的方式筛除误匹配种子点并生成大量可靠种子点用于区域生长;最后,分别在实验室环境采集的人脸图像和FRGC v2.0人脸数据库上进行定性和定量实验。实验结果表明,与传统算法相比,所提算法能够重建出更加准确的三维人脸模型。经点云配准后与人脸点云真实值的均方根误差在2 mm以内,且不同光照、姿态、表情下人脸图像的重建表明所改进的立体匹配算法具有较好的鲁棒性。     

对表情鲁棒的面部轮廓线3维人脸识别

目的表情变化是3维人脸识别面临的主要问题。为克服表情影响,提出了一种基于面部轮廓线对表情鲁棒的3维人脸识别方法。方法首先,对人脸进行预处理,包括人脸区域切割、平滑处理和姿态归一化,将所有的人脸置于姿态坐标系下;然后,从3维人脸模型的半刚性区域提取人脸多条垂直方向的轮廓线来表征人脸面部曲面;最后,利用弹性曲线匹配算法计算不同3维人脸模型间对应的轮廓线在预形状空间(preshape space)中的测地距离,将其作为相似性度量,并且对所有轮廓线的相似度向量加权融合,得到总相似度用于分类。结果在FRGC v2.0数据库上进行识别实验,获得97.1%的Rank-1识别率。结论基于面部轮廓线的3维人脸识别方法,通过从人脸的半刚性区域提取多条面部轮廓线来表征人脸,在一定程度上削弱了表情的影响,同时还提高了人脸匹配速度。实验结果表明,该方法具有较强的识别性能,并且对表情变化具有较好的鲁棒性。