基于合成的通用头部网格模型的表情合成

针对当前通用脸部网格模型的可操控性和逼真性难以同时兼顾的问题,提出了一种新的通用网格模型合成方法,该方法基于Candide-3模型和从建模软件中导出来的模型进行简化得到的模型进行结合来合成通用头部模型.在此模型的基础上合成出六大基本表情,对输入人脸正面照片使用ASM(active shape model)算法自动提取出特征点,利用特征点和径向基函数来调整合成的通用模型得到特定的表情.实验结果显示,该通用网格模型具有良好的操控性,且能完整表示整个头部结构,还能表达六大基本表情和特定表情.     

基于多点模型和改进BFGS的人脸姿态估计

针对人脸姿态估计往往存在姿态解不稳定和不能唯一确定人脸三维空间姿态的缺陷,准确提取人脸特征点及进行相应特征点深度值估计后,以人脸的多个特征点建立人脸模型,并利用人脸特征点近似估计人脸姿态,通过改进的BFGS(Broyden-Fletch-er-Goldfarb-Shanno)算法精确估计三维人脸空间姿态。实验结果表明,该方法不仅可以获得稳定和唯一的3D人脸空间姿态,而且与同类方法比较具有良好的姿态估计精度。     

基于稀疏模型的人脸姿态估计

针对现有的人脸姿态估计方法易受“自遮挡”影响,采用改进的ASM 算法 提取人脸特征点,并利用人脸形态的几何统计知识来估计人脸特征点的深度值。以人脸主要 特征点建立人脸稀疏模型,在利用相关人脸特征点近似估计人脸姿态后,通过最小二乘法精 确估计三维人脸空间姿态。实验结果表明,对于“自遮挡”情况,该方法仍有较好的估计结果, 与同类方法比较具有良好的姿态估计精度。     

人脸姿态表情的低维表示

人脸姿态表情变化是影响人脸识别的重要因素,传统方法主要从像素角度对人脸姿态表情进行分析。根据姿态表情的拓扑结构分析人脸姿态表情,应用非线性降维方法将高维图像数据嵌入到低维空间。该算法表示了不同姿态表情的非线性结构,具有平移、旋转等不变特性。实验证明,该方法能有效地表征人脸姿念表情的细微变化,不同人脸姿态表情在低维空间的分布是一致的,通过其邻域脸谱图像可以精确重构原来的脸谱图像。     

人脸自适应三维建模的研究与实现

以Candide-3 模型为基础,提出了一种适应不同人脸的三维建模方法。该方法通过对人脸的灰度图像及相应的边缘检测图像进行分层次区域灰度投影,确定了人脸面部器官的大致区域,同时对二值化图像进行分析,采用直接定位和计算定位两种方式,提取了人脸特征点,并以此为基础建立了人脸的三维模型。实验证明,该方法能够较好地调整标准Candide-3 模型,使之适应不同的人脸。     

基于3D人脸重建的光照、姿态不变人脸识别

待匹配人脸图像与库存原型图像之间姿态和光照的差异是自动人脸识别的两个主要瓶颈问题,已有的解决方法往往只能单独处理二者之-,而不能同时处理光照和姿态问题.提出了一种对人脸图像中的姿态和光照变化同时进行校正处理的方法,即通过光照不变的3D人脸重建过程,将姿态和光照都校正到预先定义的标准条件下.首先,利用先验的统计变形模型,结合人脸图像上的一些关键点来恢复较为精细的人脸3D形状.基于此重建的3D形状,进而通过球面谐波商图像的方法估计输入图像的光照属性并提取输入图像的光照无关的纹理信息,从而将光照无关的3D人脸完全重构出来,生成输入人脸图像在标准姿态和光照条件下的虚拟视图,用于最终的分类识别,实现了对光照和姿态问题的同时处理.在CMU PIE数据库上的实验结果表明,此方法可以在很大程度上提高现有人脸识别方法对于原型集合(gallery)和测试集合中图像在姿态和光照不一致情况下识别结果的正确性     

基于KLT和BFGS的人脸姿态估计

在对给定的人脸图像序列准确提取正面人脸特征点后,利用改进的KLT方法跟踪非正面人脸图像的特征点。根据人脸形状特性,使用人脸的多个特征点作为人脸模型。在近似估计人脸姿态后,以改进的BFGS算法精确估计3D人脸空间姿态。实验结果证明,该方法可以获得唯一的3D人脸空间姿态,相比同类方法有更好的姿态估计精确度。     

基于AAM和T型结构的人脸3D姿态估计

在分析已有的人脸姿态估计方法基础上,提出了一种基于主动表观模型(AAM)和T型结构的人脸3D姿态估计方法。对多姿态的人脸样本进行训练,得到多姿态的AAM模板集;利用训练得到的多姿态的AAM模板集进行最佳模板匹配,并对人脸的特征点进行精确定位;用人脸的双眼和嘴部构建T型模型,进行人脸3D姿态的参数估计。实验结果表明,该方法能适应较大的姿态旋转角度,并具有良好的姿态估计精度。     

基于3D人脸模型的驾驶员头部姿态鲁棒跟踪算法

驾驶员头部姿态跟踪是车辆辅助驾驶系统中的关键问题之一,文中提出了一种基于3D人脸模型的驾驶员头部姿态鲁棒跟踪算法;首先,将3D人脸模型映射到第一帧图像中,获取到脸部区域及估计出初始姿态;然后,在脸部区域中跟踪并检测特征点,并把匹配结果作为基于模型的光束法平差机制的输入来恢复出3D人脸模型的头部姿态;为提高检测精度,在每帧脸部区域内重新提取特征点用于跟踪;实验结果表明,该算法在部分遮挡及大幅转动时是有效的.     

人脸特征约束点的三维表情合成*

针对目前很多三维表情合成算法计算量大、方法比较复杂、真实感不强的特点,结合人脸分布特征,提出了一种基于Delaunay三角剖分的三维表情合成新算法。该方法通过对人脸特征点集的快速三角剖分避免了病态三角网格,有效提高了合成后人脸表情的真实度,降低了算法复杂度。大量实际人脸表情合成的实验结果表明,该算法通过少量的特征点生成的三维人脸表情更加真实,可有效快捷地合成各种真实的人脸表情。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在，人脸点云数据不同程度缺失的问题，探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析，然后提出了一种新的网络框架——HFN。首先，在数据预处理后随机采样固定点数的点云；其次，将固定点数的人脸点云输入SA模块，以获取局部区域的质心点、邻域点并提取局部区域的特征，然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征；最后，利用全连接层进行三维人脸的分类，从而实现三维人脸识别。在CASIA数据库上的结果显示，所提方法的平均识别率为96.34%，优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

基于分层特征化网络的三维人脸识别

针对三维人脸多表情、多姿态变化同时存在,人脸点云数据不同程度缺失的问题,探索性地将三维点云人脸数据应用于PointNet系列的分类网络并进行了识别结果的对比与分析,然后提出了一种新的网络框架——HFN。首先,在数据预处理后随机采样固定点数的点云;其次,将固定点数的人脸点云输入SA模块,以获取局部区域的质心点、邻域点并提取局部区域的特征,然后拼接由DSA模块基于多方向卷积提取的点云空间结构特征;最后,利用全连接层进行三维人脸的分类,从而实现三维人脸识别。在CASIA数据库上的结果显示,所提方法的平均识别率为96.34%,优于PointNet、PointNet++、PointCNN和空间聚合网络（SAN）这几种分类网络。     

基于多尺度分析的三维人脸识别*

为提高人脸识别的精度,加快人脸识别的速度,提出了基于多尺度分析的三维人脸识别方法。过多的特征点容易使判别混乱,出现自相矛盾的过饱和现象,因此采用必要数和最大数的策略来限制特征点的规模。为充分利用各尺度下的人脸特征进行识别,设计了基于ICP与PCA、LDA结合的综合特征匹配方法。实验结果表明,多尺度三维人脸识别方法识别率高于各种标准识别方法,抗噪声性能突出。     

基于特征分块的三维人脸重建和识别

针对传统三维人脸重建算法效率低且难以满足实际应用的缺陷,提出一种基于特征分块的三维人脸重建算法,并将此算法应用到三维人脸识别中,实现了基于特征分块的加权三维人脸识别。首先,利用基于平面模板的非均匀重采样法对原始数据进行归一化;其次,采用主动形状模型(ASM)算法对三维人脸和二维人脸图像进行特征定位和特征分块;然后,利用基于分块主元分析(PCA)的稀疏形变模型算法实现每个人脸分块的三维重建;最后,实现了此算法在三维人脸识别中的应用。实验表明,此重建算法具有较高的精度和重建效率,还可以达到全局最优,并且可以提高三维人脸的识别率。     

基于MEGI模型的三维人脸识别方法

三维人脸识别是未来人脸识别的方向,有望解决二维人脸识别的瓶颈问题。基于MEGI模型,扩展了球面相关性系数,将其用于三维人脸识别。实验证明,基于MEGI模型的方法可以用于三维人脸识别。     

基于深度学习的三维点云人脸识别

为了增强三维点云人脸识别系统针对多表情、多姿态的鲁棒性,提出一种基于深度学习的点云特征提取网络ResPoint.ResPoint网络使用了分组、采样和局部特征提取(ResConv)等模块,而在ResConv模块中使用了跳跃式连接,因此所提网络对于稀疏点云有很好的识别结果.首先通过人脸几何特征点定位鼻尖点,并以该点为中心...     

基于特征点动态选择的三维人脸点云模型重建

针对典型的点云配准方法中伪特征点过多导致配准效率低和配准结果不精确的问题,提出一种基于特征点动态选择的三维人脸点云模型重建方法。该方法在粗配准阶段,采用动态特征矩阵求解法获取粗匹配特征变换矩阵以避免伪特征点的干扰。在精配准过程中,采用二次加权法向量垂直距离法在人脸流形表面选择更有效的特征点以减少伪特征点的数量,并采用基于特征融合与局部特征一致性的迭代最近点方法进行精配准。经过对比实验验证了算法的可行性,实验结果表明,提出算法能够实现高精度且快速的三维人脸点云模型重建,且均方根误差达到1.816 5 mm,相较于其他算法,在模型重建精度和效率方面都有所提升,具有良好的应用前景。     

改进的统计模型三维人脸特征点标定算法框架

自动三维人脸特征点标定是计算机视觉领域的研究热点,其广泛应用于人脸识别,人脸模型配准,表情识别,脸部动画等领域。通过对三维人脸样本统计建模,采用遗传算法对待匹配模型的生成数目进行参数优化,利用模型相似性匹配方法及其映射关系对三维人脸特征点进行自动标定。首先,对三维人脸数据预处理,然后对其统计建模并通过模型形变得到有映射关系的基准模型和待匹配模型。利用遗传算法对待匹配模型中的待匹配模型生成数目参数进行优化,生成与之对应的待匹配模型数;接着计算待测模型与待匹配模型的相似度。最后,利用模型相似度和模型映射关系,间接得到待测模型的特征点。实验结果表明,提出的算法是可行的,能够在一定程度上提高原有算法的效率。该算法可以自动标定三维人脸模型的特征点,当距离阈值为10像素时,39个三维人脸特征点定位的准确率都可以达到100%,并有效解决了传统方法中三维人脸模型平滑区域特征点精度不高的问题。     

采用草绘轮廓的3维人脸建模方法

为方便用户进行3维人脸形状设计,提出一种基于手绘轮廓的3维人脸建模方法。该方法的主要特点在于,一方面,引用姿态估计技术对人脸草图进行解析,将用户绘制的侧视人脸草图转换成对应的正视人脸草图,可支持用户选择多个视角绘制人脸;另一方面,采用多层映射机制建立人脸草图特征点与3维人脸特征点之间的一一对应关系,由对应特征点之间的形变量来控制生成3维人脸,保证草图笔画的几何形状信息能有效映射到3维模型中。实验结果表明,文中方法能快速生成形状新颖的特定人脸,可有效支持用户进行3维人脸形状的手绘建模。     

A central profile-based 3D face pose estimation

In this study, we develop a central profile-based 3D face pose estimation algorithm. The central profile is a unique curve on a 3D face surface that starts from forehead center, goes down through nose ridge, nose tip, mouth center, and ends at a chin tip. The points on the central profile are co-planar and belong to a symmetry plane that separates human face into two identical parts. The central profile is protrusive and has a certain length. Most importantly, the normal vectors of the central profile points are parallel to the symmetry plane. Based on the properties of the central profile, Hough transform is employed to determine the symmetry plane by invoking a voting procedure. An objective function is introduced in the parameter space to quantify the vote importance for face profile points and map the central profile to an accumulator cell with the maximal value. Subsequently, a nose model matching algorithm is used to detect nose tip on the central profile. A pitch angle estimation algorithm is also proposed. The pose estimation experiments completed for a synthetic 3D face model and the FRGC v2.0 3D database demonstrate the effectiveness of the proposed pose estimation algorithm. The obtained central profile detection rate is 99.9%, and the nose tip detection rate has reached 98.16% with error not larger than 10 mm.