一种提取人脸特征3D信息的方法

针对头部姿态大角度偏转时,传统的2D人脸模型(主动表观模型,Active Appearance Model)定位人脸特征点的精度会急剧下降.引入与MPEG-4兼容的3D人脸形状模型Candide,并为其建立2D的形状模型和表观模型.模型拟合人脸图像的过程中,在保持3D形状模型与2D形状模型形变一致的基础之上,应用反向组合算法,提取人脸特征点的位置和头部姿态等3D信息.实验结果表明:在C环境下,算法的处理速度为250帧/秒以上,能达到实时处理;当头部姿态的偏转角度为0°-60°时,算法的标准误差值介于0.01-0.1之间.     

多视角约束级联回归的视频人脸特征点跟踪

近年来,静态图像中人脸特征点检测算法得到了极大的改进,然而,由于真实视频中头部姿态、遮挡和光照等因素的变化,人脸特征点检测和跟踪仍然具有挑战性。为了解决这一问题,提出一种多视角约束级联回归的视频人脸特征点跟踪算法。首先,利用三维和二维稀疏点集建立变换关系,并估计初始形状;其次,由于人脸图像存在较大的姿态差异,使用仿射变换对人脸图像进行姿态矫正;在构造形状回归模型时,采用多视角约束级联回归模型减小形状方差,从而使学习到的回归模型对形状方差具有更强的鲁棒性;最后,采用重新初始化机制,并在特征点正确定位时使用归一化互相关（NCC）模板匹配跟踪算法建立连续帧之间的形状关系。在公共数据集上的实验结果表明：该算法的平均误差小于眼间距离的10%。     

基于肤色模型和CAMShift算法的人脸检测与跟踪研究

讨论并实现一个基于肤色模型和CAMShift方法的人脸检测与跟踪原型系统。该系统采用肤色模型分割出视频帧中的肤色区域与非肤色区域以检测出人脸．利用CAMShift算法跟踪运动的人脸,完成对人脸各种姿态的跟踪,具有较好的实时性和鲁棒性。     

一种基于肤色和脸部特征的人脸跟踪算法

本文提出一种基于肤色和脸部特征的人脸跟踪算法,将视频序列帧分类为检测帧和跟踪帧,对于两种类型的帧图像作不同的检测.最终在人脸跟踪问题中最难解决的精确性与快速性中得到折衷.实验结果表明本算法可以准确实时地对视频序列中的人脸进行跟踪.     

基于人脸特征和AdaBoost算法的多姿态人脸检测

基于人脸特征和AdaBoost算法,提出一种改进的多姿态人脸检测算法。首先利用肤色特征快速排除绝大部分背景区域,然后在肤色区域中搜索眼睛和嘴巴区域,根据眼睛和嘴巴区域的几何特征所确定的人脸方向分割出大致正向的人脸候选区域,最后利用AdaBoost算法对候选区域进行分类。实验表明,算法能实现多姿态人脸的快速检测,而且对脸部表情和遮挡有较强的鲁棒性。     

三维脸部网格模型的交互式调整

脸部网络模型的建立是基于模型的人脸合成技术的关键步骤。提出了一种结合自动和交互方式，利用正交图象的三维人脸模型调整算法，首先利用区域增长法和矩形模板匹配确定正面图象中人脸及各特征区域的位置，利用变形模板自动提取人脸完整特征；然后交互地修正人脸特点的准确正面位置，并从侧面图象提取特征点的深度；最后算法自动确定脸部姿态和利用反向距离内插调整模型非特征点，获得输和人脸模型。实验结果表明，该算法简便实用，费时较少，具有一定的实用价值。     

三维人体模型姿态与形状重构

为了解决单张照片人体重构出现的姿态翻转问题,提高重构模型的准确度,提出相邻帧姿态约束和人体轮廓线匹配的姿态与形状序列同时重构算法.对视频中的每一帧,首先估计出图像中人物的二维关节点、人物脸部特征点及其边缘轮廓线;然后将参数化模型SMPL所表达的三维人体投影到二维平面上,使得投影后的二维信息与对应的视频帧二维信息相匹配;最后通过调整SMPL的姿态与形状参数来最小化匹配能量函数,从而重构出与视频帧中人物具有相似姿态与形状的三维人体模型.此外,为了使重构结果显得更真实,也对图像帧中人体的头部姿态进行了检测和匹配.该算法在MPI-INF-3DHP数据集、Youku视频和自拍视频帧上均进行了实验,实验结果表明,与SMPLify算法等相比,该算法能有效地避免重构结果中出现姿态翻转的现象,且能在保证模型整体姿态相似性的前提下重构出准确的头部姿态和相似的模型形状.     

一种新的人脸姿态估计算法

提出基于正射投影模型的人脸姿态参数估计算法.从图像获取特征点,计算这些点到正面姿态参考模型特征点的最佳姿态变换参数,算法只需获取4个特征点就能确定图像人脸姿态.同时基于该模型提出新的人脸图像姿态拟合方法,以最小化SSD为目标函数,迭代法求姿态参数.该方法的优势是人脸姿态估计并不依赖于特征点检测,给定初始姿态就能找到模型到图像的最佳姿态拟合.模拟图像和真实图像的姿态估计实验结果显示,拟合算法的迭代过程能迅速收敛,并且该算法可有效用于姿态跟踪.     

基于自适应特征融合的无纹理3D目标跟踪

基于轮廓匹配的无纹理3D目标跟踪算法需要根据3D模型和2D投影轮廓的3D—2D匹配点连续估计目标的位置和姿态,但在背景复杂和运动模糊的情况下容易错配导致跟踪失败.针对此问题,提出一种基于自适应特征融合的3D目标跟踪算法.首先在3D模型投影轮廓附近进行轮廓匹配和颜色统计建模,以提取轮廓特征和颜色特征;然后定义基于轮廓特征和颜色特征自适应加权的能量函数,并计算其相对于位置和姿态参数的偏导数;最后通过LM优化算法求解位置和姿态参数的最优值.为处理目标和相机的快速运动,采用由粗到细的策略在多尺度视频帧中迭代跟踪.定性和定量实验结果表明,在复杂背景和运动模糊的情况下,该算法仍能实现快速稳定的跟踪,具有较高的精确性和鲁棒性.     

基于KLT和BFGS的人脸姿态估计

在对给定的人脸图像序列准确提取正面人脸特征点后,利用改进的KLT方法跟踪非正面人脸图像的特征点。根据人脸形状特性,使用人脸的多个特征点作为人脸模型。在近似估计人脸姿态后,以改进的BFGS算法精确估计3D人脸空间姿态。实验结果证明,该方法可以获得唯一的3D人脸空间姿态,相比同类方法有更好的姿态估计精确度。