基于仿射变换和线性回归的3D人脸姿态估计方法

提出了一种由仿射变换关系到线性回归的3D人脸空间姿态估计方法。即跟踪到人脸特征点后,根据仿射变换关系得到人脸姿态的粗估计值,以这个粗估计值作为人脸姿态的初始值,再通过线性回归迭代求得人脸姿态的精确值。实验结果表明,该方法在较大的姿态变化范围内,具有良好的估计精确度和鲁棒性。     

基于三维模型的人脸姿态估计

提出了一种基于三维模型的人脸姿态估计方法。首先根据人脸特征点重建出稀疏的三维人脸模型,然后基于三维模型采用线性回归的方法对人脸姿态进行初步估计,确定姿态范围,再对估计结果进行修正,从而对人脸姿态进行精确估计。实验表明,该方法具有较好的估计效果,提高了姿态估计精度。     

一种新的人脸姿态估计算法

提出基于正射投影模型的人脸姿态参数估计算法.从图像获取特征点,计算这些点到正面姿态参考模型特征点的最佳姿态变换参数,算法只需获取4个特征点就能确定图像人脸姿态.同时基于该模型提出新的人脸图像姿态拟合方法,以最小化SSD为目标函数,迭代法求姿态参数.该方法的优势是人脸姿态估计并不依赖于特征点检测,给定初始姿态就能找到模型到图像的最佳姿态拟合.模拟图像和真实图像的姿态估计实验结果显示,拟合算法的迭代过程能迅速收敛,并且该算法可有效用于姿态跟踪.     

基于三维模型的人脸姿态估计方法

提出一种三维人脸姿态估计方法。该方法通过估计三维平面人脸模型到图像平面的单应矩阵来获得人脸相对于摄像机坐标系的旋转矩阵,并利用M-估计优化方法迭代求精。其主要特点是：实施简单,不需要对透视摄像机参数预先进行标定,能够在较大范围内较精确地估计人脸姿态。对模拟数据及真实人脸图像的实验均验证了该方法的有效性。     

基于稀疏模型的人脸姿态估计

针对现有的人脸姿态估计方法易受“自遮挡”影响,采用改进的ASM 算法提取人脸特征点,并利用人脸形态的几何统计知识来估计人脸特征点的深度值。以人脸主要特征点建立人脸稀疏模型,在利用相关人脸特征点近似估计人脸姿态后,通过最小二乘法精确估计三维人脸空间姿态。实验结果表明,对于“自遮挡”情况,该方法仍有较好的估计结果,与同类方法比较具有良好的姿态估计精度。     

基于多点模型的3D人脸姿态估计方法

改进传统的活动形状模型法,准确地提取人脸特征点后,针对人脸形状特性,使用人脸的多个特征点作为人脸模型,通过最小二乘法优化求解,精确估计3D人脸空间姿态。实验结果表明,新方法不仅可以获得稳定的姿态解,而且与同类方法比较具有良好的姿态估计精确度。     

多姿态人脸照片的姿态估计

提出了一种基于面部图像的新的匹配系统。在这个系统中,输入的图像与各种人脸姿态的数据库图像进行比较,然后,匹配的图像给出了人脸姿态。图像数据库不仅包括各种人脸姿态,而且也包括不同的光照条件,如此,这个人脸姿态评价系统适用于不同的光照条件。对于收集各种不同面部图像,这里是通过计算机自动产生,而不是拍摄实际的照片。特征空间方法被用于寻找与输入面部图像匹配的图像。因为不同的光照图像被收集在面部图像数据库中,故提取的主特征向量主要依靠人脸姿态。由于通过选用主特征向量而减少了向量的维数,故这个匹配过程是很快的。这个姿态评价系统能够继续跟踪在不同的光照条件下不同人的人脸姿态。     

基于KLT和BFGS的人脸姿态估计

在对给定的人脸图像序列准确提取正面人脸特征点后,利用改进的KLT方法跟踪非正面人脸图像的特征点。根据人脸形状特性,使用人脸的多个特征点作为人脸模型。在近似估计人脸姿态后,以改进的BFGS算法精确估计3D人脸空间姿态。实验结果证明,该方法可以获得唯一的3D人脸空间姿态,相比同类方法有更好的姿态估计精确度。     

利用对称性实现三维人脸姿态的自动估计*

描述了一个能够快速精确地对三维人脸姿态进行自动估计的系统,提出了利用人脸的反射对称特性自动估计三维人脸姿态的方法,通过扩展高斯图像及最小包围球来得到三维人脸对称平面,利用搜索得到的鼻尖顶点对人脸进行估计,然后对估计在规定范围内进行修正,最终得到精确的估计结果。以三维扫描仪扫描的真实人脸数据作为输入对系统进行了验证,实验表明该方法不但具有很好的精确性和鲁棒性,而且能够很好地应用到实际应用中。     

姿态变化估计策略下的人脸真实性判别研究

针对人脸识别系统中的欺骗手段,提出了一种基于姿态变化的脸部真实性判别算法。在构建的真实性判别系统中,引入了新的脸部特征点匹配标准函数及变形块匹配方法,对脸部序列图像特征点对位置进行精确提取和进行运动估计,最终通过对脸部姿态变化的策略分析完成真实性判别。算法分析及实验结果表明,该算法特别对照片欺骗手段具有良好的防范作用,可以较好地加强人脸识别系统的安全性。     

Infinitesimal Plane-Based Pose Estimation

Estimating the pose of a plane given a set of point correspondences is a core problem in computer vision with many applications including Augmented Reality (AR), camera calibration and 3D scene reconstruction and interpretation. Despite much progress over recent years there is still the need for a more efficient and more accurate solution, particularly in mobile applications where the run-time budget is critical. We present a new analytic solution to the problem which is far faster than current methods based on solving Pose from \(n\) Points (PnP) and is in most cases more accurate. Our approach involves a new way to exploit redundancy in the homography coefficients. This uses the fact that when the homography is noisy it will estimate the true transform between the model plane and the image better at some regions on the plane than at others. Our method is based on locating a point where the transform is best estimated, and using only the local transformation at that point to constrain pose. This involves solving pose with a local non-redundant 1st-order PDE. We call this framework Infinitesimal Plane-based Pose Estimation (IPPE), because one can think of it as solving pose using the transform about an infinitesimally small region on the surface. We show experimentally that IPPE leads to very accurate pose estimates. Because IPPE is analytic it is both extremely fast and allows us to fully characterise the method in terms of degeneracies, number of returned solutions, and the geometric relationship of these solutions. This characterisation is not possible with state-of-the-art PnP methods.     

利用相对强度的监督典型相关分析算法

典型相关分析(CCA)是一种无监督的子空间学习算法,加入标签信息可以提高典型相关特征的判别力.为了有效地利用样本的标签信息,借鉴相对属性的思想,提出一种利用相对强度的监督CCA(SCCA)算法.该算法在使得2组典型投影之间具有最大的相关系数的同时,典型投影的每一维特征的大小能够表示不同样本在其上的相对强度;采用异类样本间在每个低维特征上的差异大于同类样本间差异的策略,使得典型投影的每个特征都具有较好的鉴别力.在多特征手写体数字、人脸图像以及一般对象数据库上的实验结果表明,SCCA算法具有较好的识别效果,优于已有的典型相关特征抽取算法.     

基于姿态校正与虚拟样本的多姿态人脸识别

研究人脸识别问题,提高多姿态识别精度.针对训练样本不足,当测试人脸图像姿态变化较大时,就会降低一致性,使得识别精度急剧下滑(低于60％),甚至出现无法识别的情况.为解决因训练样本不足导致识别精度低下的问题,根据正弦变换的改进型姿态校正人脸识别策略,在保留人脸图像的纹理信息的情况下,将多姿态样本校正为正面人脸图像,利用二次多项式变换方法增加虚拟训练样本,解决了实际情况中只能获取一个正面或侧面训练样本的问题,于是采用子空间的特征提取方法进行仿真,在保证时间消耗的情况下,识别率相比传统模型提高了19个百分点,达到77％,表明改进方法能对多姿态人脸进行有效识别,并提高了识别精度.     

位姿测量结果对标定误差的鲁棒性分析

在三个控制点构成等腰三角形的前提下,研究P3P位姿测量结果对像机内参数标定误差的鲁棒性.采用简化条件下的理论推导结合一般条件下的仿真实验,得到了像机内参标定误差引起的位姿测量结果误差与像机焦比成反比,与主点坐标无关,随控制点间距离的增大而减小,随测量距离的增大而增大;6个位姿量中,除光轴方向平移量的误差主要受焦比误差的影响外,其它主要受主点坐标误差的影响等结论.     

Audiovisual Synchronization and Fusion Using Canonical Correlation Analysis

It is well-known that early integration (also called data fusion) is effective when the modalities are correlated, and late integration (also called decision or opinion fusion) is optimal when modalities are uncorrelated. In this paper, we propose a new multimodal fusion strategy for open-set speaker identification using a combination of early and late integration following canonical correlation analysis (CCA) of speech and lip texture features. We also propose a method for high precision synchronization of the speech and lip features using CCA prior to the proposed fusion. Experimental results show that i) the proposed fusion strategy yields the best equal error rates (EER), which are used to quantify the performance of the fusion strategy for open-set speaker identification, and ii) precise synchronization prior to fusion improves the EER; hence, the best EER is obtained when the proposed synchronization scheme is employed together with the proposed fusion strategy. We note that the proposed fusion strategy outperforms others because the features used in the late integration are truly uncorrelated, since they are output of the CCA analysis.     

基于广义均值的鲁棒典型相关分析算法

典型相关分析(canonical correlation analysis,CCA)是一种寻求同一对象的两组变量之间最大相关性的多元统计方法,其基于L2范数的最小均方误差(mean square error,MSE)的准则函数对于野值点非鲁棒。广义均值不仅在理论上被证明是鲁棒的,而且在聚类和对象识别等应用中获得了有效性验证。将广义均值应用于CCA,提出了一种基于广义均值的鲁棒CCA(CCA based on generalized mean,GMCCA),成功克服了CCA对野值点敏感的不足。一方面,通过抑制野值点对准则函数的影响,达到鲁棒的效果。另一方面,GMCCA避免了高维小样本导致协方差矩阵奇异的问题。在多特征手写体数据库(multiple feature database MFD)、人脸数据库(ORL)和对象图像数据库(COIL-20)上的实验结果验证了该算法的有效性。     

Dimensionality reduction by Mixed Kernel Canonical Correlation Analysis

In this paper, we propose a novel method named Mixed Kernel CCA (MKCCA) to achieve easy yet accurate implementation of dimensionality reduction. MKCCA consists of two major steps. First, the high dimensional data space is mapped into the reproducing kernel Hilbert space (RKHS) rather than the Hilbert space, with a mixture of kernels, i.e. a linear combination between a local kernel and a global kernel. Meanwhile, a uniform design for experiments with mixtures is also introduced for model selection. Second, in the new RKHS, Kernel CCA is further improved by performing Principal Component Analysis (PCA) followed by CCA for effective dimensionality reduction. We prove that MKCCA can actually be decomposed into two separate components, i.e. PCA and CCA, which can be used to better remove noises and tackle the issue of trivial learning existing in CCA or traditional Kernel CCA. After this, the proposed MKCCA can be implemented in multiple types of learning, such as multi-view learning, supervised learning, semi-supervised learning, and transfer learning, with the reduced data. We show its superiority over existing methods in different types of learning by extensive experimental results.     

核诱导距离度量的鲁棒典型相关分析

典型相关分析(canonical correlation analysis,CCA)是寻找同一对象两组变量间线性相关性的一种常用的多元统计分析方法,其采用的欧氏距离度量方式导致了算法的非鲁棒性。核诱导的距离度量不仅在理论上被证明是鲁棒的,而且在(聚类)应用上获得了有效验证。将其进一步应用于CCA,发展出了核诱导距离度量的鲁棒CCA(CCA based on kernel-induced measure,KI-CCA)。该算法不仅克服了CCA非鲁棒的不足,而且使现有基于最大相关熵的鲁棒主成分分析(half-quadratic principal component analysis,HQ-PCA)成为特例,且具有非线性相关分析的能力。一方面,核的多样性使得KI-CCA也具有多样性,从而使其成为一般性的分析算法。另一方面,与CCA刻画上的相似性,使其求解可归结为广义特征值问题。在人工数据、多特征手写体数据库(multiple feature database,MFD)和人脸数据集(Yale、AR、ORL)上的实验验证了该算法的有效性。     

灰典型相关分析研究与应用

经典典型相关分析方法在解决时间序列问题时存在不足:不能及时、准确地反映样本数据的时间特征及变化趋势。针对上述问题,本文基于灰色系统时间序列的特性,将灰色系统理论与典型相关分析方法结合起来,提出了一种全新的灰典型相关分析方法并定义了其数学模型。灰典型相关分析方法充分考虑到时间对事物发展趋势的不可忽视的影响,突出了时间序列中新增数据对分析结果的重要作用,因此对具有时间意义的实际问题具有更好的统计效果。将该方法应用到社会伦理与经济发展状况关系的研究中,并通过与经典典型相关分析方法的对比揭示出其在解决时间序列问题方面的优越性,分析结果能够为相关职能部门的决策提供更有力的理论依据。     

一种综合的姿态估计算法-CMIA

结合CPCA(连续主成分分析)与MND(最大法向量分布)两种姿态估计方法,提出一种综合的姿态估计算法CMIA(CPCA and MND Integrated Algorism).研究发现CPCA与MND所适合的模型具有互补性,故将两者结合起来,根据模型的具体特征,选择合适的姿态估计算法.通过深度缓存算法对规范后的模型进行特征提取,并用PSB(Princeton Shape Benchmark)进行测试.实验结果验证了该算法的有效性.该算法的精确度较MND提高了24%,较CPCA提高了5%.可见通过选择合适的姿态估计算法,明显提高了模型的规范化效果.