基于图谱分解的人脸表情分析

文中探索用人脸的几何结构图谱方法嵌入到模式空间来分析人脸表情,以图的加权邻接矩阵主要特征向量来定义矩阵的特征模。计算谱特征向量-模间邻接矩阵。用两类模式向量在范数下的多维尺度变换方法(MDS)嵌入该向量到一个模式空间,用人脸特征点来表示人脸图,并在模式空间里描述该嵌入方法下的同一人脸的不同表情。     

Reshaping 3D facial scans for facial appearance modeling and 3D facial expression analysis

3D face scans have been widely used for face modeling and analysis. Due to the fact that face scans provide variable point clouds across frames, they may not capture complete facial data or miss point-to-point correspondences across various facial scans, thus causing difficulties to use such data for analysis. This paper presents an efficient approach to representing facial shapes from face scans through the reconstruction of face models based on regional information and a generic model. A new approach for 3D feature detection and a hybrid approach using two vertex mapping algorithms, displacement mapping and point-to-surface mapping, and a regional blending algorithm are proposed to reconstruct the facial surface detail. The resulting models can represent individual facial shapes consistently and adaptively, establishing facial point correspondences across individual models. The accuracy of the generated models is evaluated quantitatively. The applicability of the models is validated through the application of 3D facial expression recognition using the static 3DFE and dynamic 4DFE databases. A comparison with the state of the art has also been reported.     

Image Manifolds which are Isometric to Euclidean Space

Recently, the Isomap procedure [10] was proposed as a new way to recover a low-dimensional parametrization of data lying on a low-dimensional submanifold in high-dimensional space. The method assumes that the submanifold, viewed as a Riemannian submanifold of the ambient high-dimensional space, is isometric to a convex subset of Euclidean space. This naturally raises the question: what datasets can reasonably be modeled by this condition? In this paper, we consider a special kind of image data: families of images generated by articulation of one or several objects in a scene—for example, images of a black disk on a white background with center placed at a range of locations. The collection of all images in such an articulation family, as the parameters of the articulation vary, makes up an articulation manifold, a submanifold of L ². We study the properties of such articulation manifolds, in particular, their lack of differentiability when the images have edges. Under these conditions, we show that there exists a natural renormalization of geodesic distance which yields a well-defined metric. We exhibit a list of articulation models where the corresponding manifold equipped with this new metric is indeed isometric to a convex subset of Euclidean space. Examples include translations of a symmetric object, rotations of a closed set, articulations of a horizon, and expressions of a cartoon face. The theoretical predictions from our study are borne out by empirical experiments with published Isomap code. We also note that in the case where several components of the image articulate independently, isometry may fail; for example, with several disks in an image avoiding contact, the underlying Riemannian manifold is locally isometric to an open, connected, but not convex subset of Euclidean space. Such a situation matches the assumptions of our recently-proposed Hessian Eigenmaps procedure, but not the original Isomap procedure.     

3D通用人脸模型的自适应算法及应用

利用3D人脸建模的方法进行人脸识别有效地克服了2D人脸识别系统中识别率易受光照、姿态、表情影响的缺陷。文章采用一种依据人脸图像对3D通用人脸模型进行自适应调整的有效算法,构造出特定的人脸模型并运用于人脸识别中。通过比较从人脸图像中估算出的特征点与通用人脸模型在图像平面上的投影点之间的关系,对3D通用人脸模型进行全局和局部调整,以适应人脸中眼、口、鼻的个性化特征。最后以一个实例说明了此算法的应用。     

基于三维不变矩的三维人脸特征分析技术

本文针对人脸三维结构特性的描述问题,提出基于3D-Zernike的三维人脸特征提取方法.3D-Zernike描述子可以充分反映出目标的三维空间结构,具有平移,尺度,旋转不变性.文中利用3D-Zernike特征针对真实人脸三维数据进行分析和比较,实验验证了特征的有效性.     

人脸识别:从二维到三维

人脸识别是生物特征识别技术的一个重要方向。虽然目前大部分研究都还只是针对二维人脸图像,但是3D人脸模型包含更丰富的人脸信息,有助于机器对人脸的识别。从二维到三维,人脸识别研究进入了一个新的阶段。从3D人脸数据的获取方式入手,介绍最近提出的一系列3D人脸识别算法,并进行归类。最后提出"有针对性地获取3D人脸模型数据是进行有效识别的基础"这一结论。     

三维人脸建模与应用

三维建模是计算机视觉和计算机图形学领域中一个基本的问题，人脸借助其特有的普遍性和易用性成为众多先进三维建模算法的实验平台。但是由于人脸的复杂性、易变性，建立逼真的三维人脸模型成为众多研究者挑战的课题。本文分析了三维人脸建模的研究内容和研究难点，总结了1990年以来出现的最新方法和进展，从三维数据的获取、标准三维人脸建模、特定三维人脸建模及应用等三维建模的几个主要环节进行了分类综述，重点介绍了一些主要算法的基本思路和最新进展，并对该领域的研究热点和方向作了较为详细的分析。     

对表情鲁棒的面部轮廓线3维人脸识别

目的表情变化是3维人脸识别面临的主要问题。为克服表情影响,提出了一种基于面部轮廓线对表情鲁棒的3维人脸识别方法。方法首先,对人脸进行预处理,包括人脸区域切割、平滑处理和姿态归一化,将所有的人脸置于姿态坐标系下;然后,从3维人脸模型的半刚性区域提取人脸多条垂直方向的轮廓线来表征人脸面部曲面;最后,利用弹性曲线匹配算法计算不同3维人脸模型间对应的轮廓线在预形状空间(preshape space)中的测地距离,将其作为相似性度量,并且对所有轮廓线的相似度向量加权融合,得到总相似度用于分类。结果在FRGC v2.0数据库上进行识别实验,获得97.1%的Rank-1识别率。结论基于面部轮廓线的3维人脸识别方法,通过从人脸的半刚性区域提取多条面部轮廓线来表征人脸,在一定程度上削弱了表情的影响,同时还提高了人脸匹配速度。实验结果表明,该方法具有较强的识别性能,并且对表情变化具有较好的鲁棒性。     

结合加权局部旋度模式的3维人脸表情识别

目的 3维人脸的表情信息不均匀地分布在五官及脸颊附近,对表情进行充分的描述和合理的权重分配是提升识别效果的重要途径。为提高3维人脸表情识别的准确率,提出了一种基于带权重局部旋度模式的3维人脸表情识别算法。方法 首先,为了提取具有较强表情分辨能力的特征,提出对3维人脸的旋度向量进行编码,获取局部旋度模式作为表情特征;然后,提出将ICNP（interactive closest normal points）算法与最小投影偏差算法结合,前者实现3维人脸子区域的不规则划分,划分得到的11个子区域保留了表情变化下面部五官和肌肉的完整性,后者根据各区域对表情识别的贡献大小为各区域的局部旋度模式特征分配权重;最后,带有权重的局部旋度模式特征被输入到分类器中实现表情识别。结果 基于BU-3DFE 3维人脸表情库对本文提出的局部旋度模式特征进行评估,结果表明其分辨能力较其他表情特征更强;基于BU-3DFE库进行表情识别实验,与其他3维人脸表情识别算法相比,本文算法取得了最高的平均识别率,达到89.67%,同时对易混淆的“悲伤”、“愤怒”和“厌恶”等表情的误判率也较低。结论 局部旋度模式特征对3维人脸的表情有较强的表征能力; ICNP算法与最小投影偏差算法的结合,能够实现区域的有效划分和权重的准确计算,有效提高特征对表情的识别能力。试验结果表明本文算法对3维人脸表情具有较高的识别率,并对易混淆的相似表情仍具有较好的识别效果。     

三维人脸鼻子特征检测

针对现有三维数据鼻子检测与定位方法的不足,提出了自动检测与定位鼻子特征方法.通过对三维海量数据点进行二维空间Delaunay三角化并映射到三维空间,得到三维人脸模型.基于鼻子区域的凹凸特性,确定鼻子大致区域.对区域内空洞进行填补,并采用形态滤波方法对鼻子边缘进行光滑以得到准确的鼻子特征与特征点.通过对不同三维人脸数据的鼻子特征点检测与定位,表明了所提方法的有效性和可靠性.     

三维生物特征识别进展

迄今为止的绝大多数生物特征识别系统都是基于二维图像的。而成像过程中必有物体三维信息缺失,这使得单纯基于二维图像的特征识别研究在经历了一段时间的发展后,停滞不前。越来越多的研究者开始关注三维生物特征识别技术。利用三维生物特征数据可以充分发掘深度、曲率信息并较好地处理光照、姿态的影响,从而进一步提高识别率。论文综述了该领域当前的国内外研究现状,并探讨了面临的主要困难以及未来的发展方向。     

刚性区域特征点的3维人脸识别

目的 针对3维人脸识别中存在表情变化的问题,提出了一种基于刚性区域特征点的3维人脸识别方法。方法 该方法首先在人脸纹理图像上提取人脸图像的特征点,并删除非刚性区域内的特征点,然后根据采样点的序号,在人脸空间几何信息上得到人脸图像特征点的3维几何信息,并建立以特征点为中心的刚性区域内的子区域,最后以子区域为局部特征进行人脸识别测试,得到不同子区域对人脸识别的贡献,并以此作为依据对人脸识别的结果进行加权统计。结果 在FRGC v2.0的3维人脸数据库上进行实验测试,该方法的识别准确率为98.5%,当错误接受率（FAR）为0.001时的验证率为99.2%,结果表明,该方法对非中性表情下的3维人脸识别具有很好的准确性。结论 该方法可以有效克服表情变化对3维人脸识别的影响,同时对3维数据中存在的空洞和尖锐噪声等因素具有较好的鲁棒性,对提高3维人脸识别性能具有重要意义。     

三维人脸识别研究综述

近二十多年来,虽然基于图像的人脸识别已取得很大进展,并可在约束环境下获得很好的识别性能,但仍受光照、姿态、表情等变化的影响很大,其本质原因在于图像是三维物体在二维空间的简约投影.因此,利用脸部曲面的显式三维表达进行人脸识别正成为近几年学术界的研究热点.文中分析了三维人脸识别的产生动机、概念与基本过程;根据特征形式,将三维人脸识别算法分为基于空域直接匹配、基于局部特征匹配、基于整体特征匹配三大类进行综述;对二维和三维的双模态融合方法进行分类阐述;列出了部分代表性的三维人脸数据库;对部分方法进行实验比较,并分析了方法有效性的原因;总结了目前三维人脸识别技术的优势与困难,并探讨了未来的研究趋势.     

基于轮廓线的三维人脸识别的改进算法

对已有的基于轮廓线的人脸识别方法进行了改进,在人脸的任意位置利用PCA自动确定人脸纵方向,采用网格配准方法提取对称面和对称轮廓线。通过计算对称轮廓线上的曲率,提取其他3条横向轮廓线。对提取的4条轮廓线进行重采样和归一化,截取轮廓线的有价值部分作为ICP算法的输入,进行人脸识别。试验证明,该算法将人脸识别率从原来的86.5%提高到了94%,降低了误识率。     

BJUT-3D三维人脸数据库及其处理技术

BJUT-3D是目前国际上最大的中国人的三维人脸数据库,其中包括经过顸处理的1200名中国人的三维人脸数据,这一数据资源对于三维人脸识别与建模方面的研究有重要意义.首先介绍了BJUT-3D数据库的数据获取条件、数据形式,并针对数据库建立过程中数据预处理技术进行了讨论.最后作为数据库的直接应用,进行了多姿态人脸识别和人脸姿态估计算法的研究.实验结果证实,该算法具有良好的性能.     

大旋转角度人脸前视图的自动识别

文章提出了一种对人脸非完全正侧圈的识别算法,通过检测几个特征点,根据头部旋转模型计算出头部图像的偏转角度,对图像进行旋转,达到较准确识别的目的。文章给出了这些特征点的提取方法,对与表情变化无关的人脸的矢量化方法进行了研究,并对人脸特征数据库设计和优化进行了探讨。     

流形学习在三维人脸特征降维中的应用*

三维人脸识别是未来人脸识别的新方向,有望解决二维人脸识别的瓶颈问题;但三维人脸特征维数过高又制约了三维人脸识别的发展,特征降维意义重大。首先分析了传统降维算法的局限性和几种主要的流形学习算法,提出了将流形学习应用于三维人脸特征降维的思路,并构建了一个基于流形学习的三维人脸识别框架。     

实时三维人脸特征点定位

为了能够自动、实时地标定三维人脸曲面上主要特征点的位置,如鼻尖点和内眼点等,提出一种实时定位三维人脸特征点的算法.首先设计了一种基于曲面划分、直方图统计的三维局部曲面描述子——球划分直方图描述子,并使用该描述子逐点提取三维曲面顶点的局部曲面信息;其次计算其相似度,以定位三维人脸曲面上的主要特征点;在采用GPU并行运算后,能够有效地对三维人脸特征点进行实时定位.在三维人脸数据库FRGC v1.0以及BU-3DFE中的实验结果表明,与其他算法相比,该算法在三维人脸曲面上具有较强的三维人脸特征点定位能力.