基于统计不相关的无监督鉴别投影映射(UDP)特征提取方法

基于UDP(Unsupervised Discriminant Projection)特征提取方法的研究,本文提出改进算法:具有统计不相关性的UDP计算方法,并探讨该方法的有效性。这种方法的目的是寻求一组最佳鉴别矢量,使投影变换后的特征空间的非局部散度最大、局部散度最小,从而减小最佳鉴别矢量间的统计相关性。通过在不同人脸库上的仿真实验验证了所提出改进算法在一定程度上优于已有的UDP算法。     

具有统计不相关性的最佳鉴别特征空间的维数定理

提出并严格证明了具有统计不相关性的最佳鉴别特征空间的维数定理：对含有L个类别的模式识别问题，具有统计不相关性的最佳鉴别特征空间的维数为（L－1）：说明了具有统计不相关性的最佳鉴别变的与Wilks所提出的经典的模式特征抽取方法的关系。在一定的条件下，具有统计不相害性的最佳鉴别矢量集等价于Wilks所提出的经典鉴别矢量集。经典的模式特征抽取方法可以用来在不损失任何Fisher鉴别信息的意义下，对含有L个类别的模式识别问题。抽取（L－1）个具有统计不相关性的最佳鉴别特征。     

基于加权不相关鉴别分析的人脸识别

提出了一种基于加权不相关鉴别分析的人脸识别方法。该方法引入了一种新的权函数对Fisher准则加权,以改善样本在低维线性空间中的可分性;然后,以给出的加权Fisher准则为目标函数,在共轭正交的约束下求解其最佳投影方向,从而保证所提取的最佳鉴别特征之间的统计不相关性。实验结果表明,与经典的特征脸方法和Fisher脸方法相比,该方法对光照变化、表情变化以及时间变化等不敏感,具有更好的鲁棒性。     

Fisher极小准则不相关空间算法及其在人脸识别中的应用

不相关空间算法是一种基于广义Fisher准则求解不相关鉴别矢量集的快速算法,但该算法要求总体散度矩阵可逆。针对高维小样本的情况,文中提出求解不相关鉴别矢量集的改进方法。该方法的基本思路是在类间散度矩阵的值空间中运用广义Fisher极小准则求解鉴别矢量集,并讨论在该子空间中进行求解的合理性。针对高维情况下类间散度矩阵值空间的计算效率问题,提出首先利用PCA算法将数据降维,然后在低维空间中求解值空间的策略并讨论其合理性。在ORL人脸数据库上的实验验证该方法的有效性,其识别率高于传统的Fisher脸方法和不相关空间算法。     

最大间距准则与局部保持结合的特征提取方法

利用最大间距准则（MMC）寻求一组最佳鉴别矢量,使投影变化后的特征空间的类间散度最大,类内散度最小,并克服小样本问题。与原MMC相比,新特征提取方法通过对原来的散度加乘权重及对参数的调整,能够在特征提取的同时更好地保持人脸图像的局部流形结构。在ORL人脸库上的实验结果表明,该方法能够更为有效地识别人脸图像,提高识别率。     

无监督模式下统计不相关最佳鉴别平面

统计不相关最佳鉴别平面是一种重要的特征抽取方法,在模式识别领域中具有广泛的应用。然而,统计不相关最佳鉴别平面是基于Fisher准则和总体散布矩阵共轭正交条件的,需要通过样本类别信息计算Fisher最佳鉴别矢量,因而只能用于有监督模式。提出了一种将统计不相关最佳鉴别平面扩展到无监督模式下的方法,其基本思想是将模糊概念引入Fisher线性判别分析,通过对模糊Fisher准则的优化,在无监督模式下计算出最佳鉴别矢量及模糊散布矩阵,再根据共轭正交约束条件,求得第二条最佳鉴别矢量,进而获得一种基于无监督统计不相关最佳鉴别平面的特征抽取方法。对UCI数据集及CMU-PIE人脸数据库进行实验,结果表明,在样本类别信息缺失的情况下,该方法尽管无法具有与有监督模式下的统计不相关最佳鉴别平面特征抽取方法同样的性能,但当类别差异较大时,能够抽取有利于分类的统计不相关特征,获得优于主成分分析与独立成分分析等常见无监督特征抽取方法的性能。     

基于保持投影的最大散度差的特征抽取方法

对非监督鉴别投影(UDP)准则进行修正,并在修正的准则基础上提出基于保持投影的最大散度差的特征抽取方法.该方法利用非局部散度与局部散度之差作为鉴别准则,从而避免UDP线性鉴别分析中所遇到的小样本问题引起的局部散度矩阵奇异的问题.在标准人脸数据库Yale和FERET上进行实验,实验结果表明本文方法的有效性.     

有局部保持的最大间距准则特征提取方法

最大间距准则(MMC)的目的是在克服小样本问题的同时,寻求一组最佳鉴别矢量使得投影变化后的特征空间的类问散度最大,而且类内散度最小.文中所提出的特征提取方法与原来MMC相比,经过对原来的散度加乘权重,以及通过对参数的调整,能够在特征提取的同时更好地保持人脸图像的局部流形结构.在ORL人脸库、YALE标准人脸库和UMIST人脸库上的实验结果表明,该方法能够对光照和姿态变化具有一定的鲁棒性,能更为有效地识别人脸图像,提高识别率.     

基于散度差准则的隐空间特征抽取方法

本文提出了一种新的非线性特征抽取方法——基于散度差准则的隐空间特征抽取方法。该方法的主要思想就是首先利用一核函数将原始输入空间非线性变换到隐空间，然后，在该隐空间中，利用类间离散度与类内离散度之差作为鉴别准则进行特征抽取。与现有的核特征抽取方法不同，该方法不需要核函数满足Mercer定理，从而增加了核函数的选择范围。更为重要的是，由于采用了散度差作为鉴别准则，从根本上避免了传统的Fisher线性鉴别分析所遇到的小样本问题。在ORL人脸数据库和AR标准人脸库上的试验结果验证了本文方法的有效性。     

一类基于多目标规划的线性鉴别准则

两类Fisher鉴别准则、大间距线性投影准则以及最大散度差鉴别准则都是直接用于模式分类的两类线性鉴别准则,它们的共同点是将“投影后数据的可分性达到最大的方向”作为最优投影方向。区别在于它们对数据可分性的定义有所不同。过去的研究成果表明,大间距线性投影分类器与支持向量机之间、大间距线性投影准则与最大散度差鉴别准则之间以及最大散度差鉴别准则与两类Fisher鉴别准则之间,均存在着这样或那样的联系。论文试图在以往研究成果的基础上进一步理清这些两类线性鉴别准则之间的内在关系,并建立一个统一的理论框架从而将基于投影后数据可分性的这些两类线性鉴别准则都纳入其中。     

基于大间距准则的不相关保局投影分析

局部保持投影(Locality preserving projections,LPP)算法只保持了目标在投影后的邻域局部信息,为了更好地刻画数据的流形结构, 引入了类内和类间局部散度矩阵,给出了一种基于有效且稳定的大间距准则(Maximum margin criterion,MMC)的不相关保局投影分析方法.该方法在最大化散度矩阵迹差时,引入尺度因子α,对类内和类间局部散度矩阵进行加权,以便找到更适合分类的子空间并且可避免小样本问题; 更重要的是,大间距准则下提取的判别特征集一般情况下是统计相关的,造成了特征信息的冗余, 因此,通过增加一个不相关约束条件,利用推导出的公式提取不相关判别特征集, 这样做, 对正确识别更为有利.在Yale人脸库、PIE人脸库和MNIST手写数字库上的测试结果表明,本文方法有效且稳定, 与LPP、LDA (Linear discriminant analysis)和LPMIP(Locality-preserved maximum information projection)方法等相比,具有更高的正确识别率.     

基于无监督最佳鉴别平面的人脸识别*

最佳鉴别平面作为一种重要的特征抽取方法,在人脸特征降维中具有重要的影响。然而,传统的最佳鉴别平面是基于Fisher准则的,只能用于有监督模式。为此,提出了一种将最佳鉴别平面扩展到无监督模式下的方法,其基本思想是以投影空间中模糊类间离散度和模糊类内离散度的比值最大为优化目标,计算出无监督模式下最佳鉴别矢量及模糊离散度矩阵,进而获得一种新的基于无监督最佳鉴别平面的特征抽取方法。较之同属于无监督特征抽取的主成分分析,该方法更容易获得有利于分类的特征。对CMU-PIE人脸数据库进行实验,结果表明,在样本类别信息缺失的情况下,该方法尽管无法具有与有监督模式下的最佳鉴别平面特征抽取方法同样的性能,但当不同类之间差异较大时,将优于主成分分析方法。     

一种改进的基于Fisher准则的线性特征提取方法

针对现有的基于Fisher准则的线性特征提取方法存在的不足,提出了一种新的改进的Fisher特征提取方法.通过重新定义类内散度矩阵与类间散度矩阵,削弱了边缘样本与边缘类别的影响,提高了准则模型的准确性,进而提高了判别矢量的特征提取能力.同时,也给出了一种实用的求解具有统计不相关的最优判别矢量集的方法,实验结果表明,算法得到的最优判别矢量具有更好的特征提取能力.     

基于多类最大散度差的人脸表示方法

将用于两类分类的最大散度差鉴别准则推广为多类最大散度差鉴别准则,并建立了基于该准则的一种新的人脸表示方法.基于多类最大散度差鉴别准则的人脸表示方法有效避免了传统鉴别分析方法在人脸特征提取时通常面临的小样本模式识别问题.在国际标准人脸图像数据库ORL、Yale以及FERET上的实验结果表明,与Fisherfaces、Eigenfaces、正交补空间、零空间等人脸特征提取方法相比,新的人脸表示方法具有一定的优势.     

基于最大散度差鉴别准则的自适应分类算法

首先证明了,当类内散布矩阵非奇异时,特定参数值c0下最大散度差的最优鉴别方向等同于Fisher最优鉴别方向;其次,给出了最大散度差分类算法的识别率随参数C变化的曲线.该曲线通常为一脉冲曲线.随着参数C的增大,识别率也逐渐增大.当参数C增大到c0时,识别率达到最大值.另外,以往的研究成果表明:当类内散布矩阵奇异时,最大散度差鉴别准则逐步逼近大间距线性投影准则.而且,随着参数C的不断增大,最大散度差分类算法的识别率也单调增大并最终稳定到大间距线性投影分类算法的识别率上.为此,我们提出了基于最大散度差鉴别准则的自适应分类算法.新算法可以根据训练样本的特性(类内散布矩阵是否奇异)自动选择恰当的参数C.在UCI机器学习数据库上的6个数据集以及AR人脸图像数据库上的测试结果表明,自适应最大散度差分类算法具有良好的分类性能.     

Uncorrelated linear discriminant analysis based on weighted pairwise Fisher criterion

In this paper, we propose a novel uncorrelated, weighted linear discriminant analysis (UWLDA) method for feature extraction and recognition. The UWLDA first introduces a weighting function to restrain the dominant role of the classes with larger distance and then searches the optimal discriminant vectors under the conjugative orthogonal constrains in the null space of the within-class scatter matrix and its conjugative orthogonal complement space, respectively. As a result, the proposed technique not only derive the optimal and lossless discriminative information, but also guarantee that all extracted features are statistically uncorrelated. Experiments on FERET face database and AR face database are performed to test and evaluate the proposed algorithm. The results demonstrate the effectiveness of UWLDA.