核零空间线性鉴别分析及其在人脸识别中的应用

零空间线性鉴别分析NLDA充分利用样本总类内离散度矩阵的零空间信息,能有效克服线性鉴别分析LDA的小样本问题.核方法通过非线性映射,将输入空间样本映射到高维特征空间,再在高维特征空间利用线性特征提取算法.因此,核方法属于非线性特征提取算法.文中结合LDA、NLDA和核方法的优点,引入了核零空间线性鉴别分析KNLDA,导出了KNLDA算法.该算法通过引入核函数,得到低维矩阵,有效避免了直接计算复杂的非线性映射函数,解决了高维类内离散度矩阵的维数灾难问题.同时,将KNLDA算法应用于人脸识别.基于ORL人脸数据库以及ORL与Yale混合人脸数据库的实验结果表明了KNLDA算法的有效性.     

新的非线性鉴别特征抽取方法及人脸识别

在非线性空间中采用新的最大散度差鉴别准则,提出了一种新的核最大散度差鉴别分析方法.该方法不仅有效地抽取了人脸图像的非线性鉴别特征,而且从根本上避免了以往核Fisher鉴别分析中训练样本总数较多时,通常存在的核散布矩阵奇异的问题,计算复杂度大大降低,识别速度有了明显的提高.在ORL人脸数据库上的实验结果验证了该算法的有效性.     

一种新的核线性鉴别分析算法及其在人脸识别上的应用

基于核策略的核Fisher鉴别分析（KFD）算法已成为非线性特征抽取的最有效方法之一。但是先前的基于核Fisher鉴别分析算法的特征抽取过程都是基于2值分类问题而言的。如何从重叠（离群）样本中抽取有效的分类特征没有得到有效的解决。本文在结合模糊集理论的基础上,利用模糊隶属度函数的概念,在特征提取过程中融入了样本的分布信息,提出了一种新的核Fisher鉴别分析方法——模糊核鉴别分析算法。在ORL人脸数据库上的实验结果验证了该算法的有效性。     

基于QR分解的鉴别维数压缩及其在人脸识别中的应用

维数压缩是当前模式识别研究领域中的一个重要研究方向．但是当前部分维数压缩方法缺乏有效的鉴别信息保留机制，并且在利用Fisher鉴别准则的时候经常会遇到小样本问题．简单介绍了维数压缩中的鉴别信息保留，并且提出了一种新的直接线性鉴别分析方法——DLDA／QR算法．该方法首先利用矩阵的QR分解算法实现目标函数的优化，再在一个较小的空间内实现有效鉴别信息的提取．在ORL人脸数据库上的实验结果验证了算法的有效性．     

一种用于人脸识别的非线性鉴别特征融合方法

最近，在人脸等图像识别领域，用于抽取非线性特征的核方法如核Fisher鉴别分析(KFDA)已经取得成功并得到了广泛应用，但现有的核方法都存在这样的问题，即构造特征空间中的核矩阵所耗费的计算量非常大．而且，抽取得到的单类特征往往不能获得到令人满意的识别结果．提出了一种用于人脸识别的非线性鉴别特征融合方法，即首先利用小波变换和奇异值分解对原始输入样本进行降雏变换，抽取同一样本空间的两类特征，然后利用复向量将这两类特征组合在一起，构成一复特征向量空间，最后在该空间中进行最优鉴别特征抽取．在ORL标准人脸库上的试验结果表明所提方法不仅在识别性能上优于现有的核Fisher鉴别分析方法，而且，在ORL人脸库上的特征抽取速度提高了近8倍．     

核典型相关性鉴别分析

提出一种新的基于典型相关性的核鉴别分析,以图片集为基础的人脸识别算法。把每个图片集映射到一个高维特征空间,然后通过核线性鉴别分析(KLDA)处理,得到相应的核子空间。通过计算两典型向量的典型差来估计两个子空间的相似度。根据核Fisher准则,基于类间典型差与类内典型差的比率建立核子空间的相关性来得到核典型相关性鉴别分析(KDCC)算法。在ORL、NUST603、FERNT和XM2VTS人脸库上的实验结果表明,该算法能够更有效提取样本特征,在识别率上要优于典型相关性鉴别分析(DCC)和核鉴别转换(KDT)算法。     

快速核Foley—Sammon鉴别分析及其在人脸识别上的应用

核Foley-Sammon鉴别分析由于可以抽取得到原始样本的非线性正交特征,因此被广泛应用于模式识别的研究领域.但是该算法在具体求解每一个特征矢量过程中均需求解相应的广义特征方程,因此非常耗时.为了克服这一困难,提出了一种新的快速近似算法即核Foley-Sammon鉴别分析,有效地避免了多次求解广义特征方程.在ORL人脸数据库上的实验结果表明,该算法不仅在识别性能上优于核线性鉴别分析,而且在特征抽取速度上优于传统的核Foley-Sammon鉴别分析.     

不相关鉴别分析改进算法

不相关鉴别分析是一种非常有效并起着重要作用的线性鉴别分析方法,它能抽取出具有不相关性质的特征分量。但是,由于每一个鉴别矢量的得出都要求解一个特征方程,不相关鉴别分析算法一直是计算代价很大的算法,在需求解的鉴别矢量个数较多时尤其如此。该文基于一个等效的Fisher准则函数,提出了不相关鉴别分析的另一问题模型。使用Lagrange乘子法,可求出对应该问题模型的“不相关”鉴别矢量解的简洁的表示式。关于CENPARMI手写体阿拉伯数字库和ORL人脸图象库的实验表明,该文提出的不相关鉴别分析改进算法计算效率较原算法有较大提高。     

一种改进的不相关空间算法及其在人脸识别中的应用

不相关空间算法是一种基于Fisher准则求解不相关鉴别矢量集的快速算法,但应用在人脸识别中将遇到小样本问题,本文提出一种改进的不相关空间算法,较有效地解决这一问题,其思想是将原始数据空间降到一个低维的子空间,从而避免了总体散布矩阵奇异,并在理论上证明,在这个子空间中求解不相关鉴别矢量集等价于在原空间中求解不相关鉴别矢量集,另外根据散布矩阵的对称性,引入一种计算方法,进一步提高求解不相关鉴别矢量集的速度,最后,在人脸库上的实验结果验证该算法的有效性.     

基于PCA和LDA统一化原理的增强型线性鉴别分析准则

主分量分析(PCA)和线性鉴别分析(LDA)是模式识别领域的使用最为广泛的两种特征抽取方法,而在图像识别中经常采用的是PCA LDA方法来代替单纯的LDA。本文提出一种增强型线性鉴别准则(ELDA),将PCA的优点和LDA的优点充分地融合在一起,不仅解决了PCA过程中使用最小距离方法时识别精度相对低的缺点,而且解决了LDA过程中当类内散布矩阵奇异时投影向量的求解问题,也就是说可以使用该方法来替代PCA LDA的两步骤方法。另外,该方法在识别精度上比PCA和LDA或PCA LDA方法都有较大的提高,通过在ORL、Yale和NUST603人脸库上的实验验证了该算法的有效性。     

Uncorrelated discriminant vectors using a kernel method

Uncorrelated discriminant vectors using a kernel method are proposed in this paper. In some sense, kernel uncorrelated discriminant vectors extend Jin's method and then several related theorems are stated. Most importantly, the proposed method can deal with nonlinear problems. Finally, experimental results on handwritten numeral characters show that the proposed method is effective and feasible.     

A note on kernel uncorrelated discriminant analysis

In this paper, we give a theoretical analysis on kernel uncorrelated discriminant analysis (KUDA) and point out the drawbacks underlying the current KUDA algorithm which was recently introduced by Liang and Shi [Pattern Recognition 38(2) (2005) 307-310]. Then we propose an effective algorithm to overcome these drawbacks. The effectiveness of the proposed method was confirmed by experiments.     

一种新的核广义鉴别特征抽取方法

在基于核的广义鉴别特征模型的基础上,提出了一种新的核广义鉴别特征抽取方法。利用空间变换的有关理论,使得变换后的核总体散布矩阵满足非奇异性;同时通过核共轭特征抽取方法,抽取满足核共轭正交条件的特征向量,使抽取的特征满足统计不相关性。在ORL人脸库上的实验表明了所提方法的有效性,达到了比核鉴别分析等方法更好的识别效果。     

Class-incremental generalized discriminant analysis

Generalized discriminant analysis (GDA) is the nonlinear extension of the classical linear discriminant analysis (LDA) via the kernel trick. Mathematically, GDA aims to solve a generalized eigenequation problem, which is always implemented by the use of singular value decomposition (SVD) in the previously proposed GDA algorithms. A major drawback of SVD, however, is the difficulty of designing an incremental solution for the eigenvalue problem. Moreover, there are still numerical problems of computing the eigenvalue problem of large matrices. In this article, we propose another algorithm for solving GDA as for the case of small sample size problem, which applies QR decomposition rather than SVD. A major contribution of the proposed algorithm is that it can incrementally update the discriminant vectors when new classes are inserted into the training set. The other major contribution of this article is the presentation of the modified kernel Gram-Schmidt (MKGS) orthogonalization algorithm for implementing the QR decomposition in the feature space, which is more numerically stable than the kernel Gram-Schmidt (KGS) algorithm. We conduct experiments on both simulated and real data to demonstrate the better performance of the proposed methods.     

常用Fisher判别函数的判别矩阵研究

在线性判别分析(Linear discriminant analysis, LDA)中, 比迹函数、比值函数和迹比函数是三种常用的Fisher判别函数, 每一个判别函数都可得到一个正交判别(Orthogonal discriminant, OD)矩阵和一个不相关判别(Uncorrelated discriminant, UD)矩阵. 本文的主要目的是对这6种判别矩阵的获取方法及其性质进行系统分析, 拟期更清楚地认识它们的联系与区别. 当类内协方差阵非奇异时, 比迹、比值函数的判别矩阵和迹比函数的OD矩阵的获取方法及性质已有研究, 本文对迹比函数的UD矩阵的获取方法及性质进行了补充研究, 得到了迹比函数的UD矩阵与比迹、比值函数的UD矩阵是同一矩阵以及迹比函数的UD矩阵的判别函数值不超过它的OD矩阵的结论. 当类内协方差阵奇异时, 6种判别矩阵的获取方法遇到了困难, 为克服这一困难, 本文首先用极限的思想重新定义了这三种判别函数, 然后采用求极限的方法得到了6种判别矩阵的获取方法. 从所得的获取方法可以看出, 当所需的判别向量均在类内协方差阵的零空间中时, 6个判别矩阵是同一矩阵.     

Kernel direct discriminant analysis and its theoretical foundation

In this paper, the method of kernel direct discriminant analysis is analyzed from a new viewpoint and its theoretical foundation is revealed. Based on this result, an efficient and robust method is proposed. That is, the QR decomposition on the small-size matrix is adopted and then a small eigenvalue problem is solved. Finally, experimental results on ORL face database show that the proposed method is effective and feasible.     

Kernel Uncorrelated and Regularized Discriminant Analysis: A Theoretical and Computational Study

Linear and kernel discriminant analysis are popular approaches for supervised dimensionality reduction. Uncorrelated and regularized discriminant analysis have been proposed to overcome the singularity problem encountered by classical discriminant analysis. In this paper, we study the properties of kernel uncorrelated and regularized discriminant analysis, called KUDA and KRDA, respectively. In particular, we show that under a mild condition, both linear and kernel uncorrelated discriminant analysis project samples in the same class to a common vector in the dimensionality-reduced space. This implies that uncorrelated discriminant analysis may suffer from the overfitting problem if there are a large number of samples in each class. We show that as the regularization parameter in KRDA tends to zero, KRDA approaches KUDA. This shows that KUDA is a special case of KRDA, and that regularization can be applied to overcome the overfitting problem in uncorrelated discriminant analysis. As the performance of KRDA depends on the value of the regularization parameter, we show that the matrix computations involved in KRDA can be simplified, so that a large number of candidate values can be crossvalidated efficiently. Finally, we conduct experiments to evaluate the proposed theories and algorithms.