具有统计不相关性的广义图像投影鉴别分析

提出了一种新的图像投影鉴别分析方法。首先，与Liu投影鉴别分析方法相比，具有能够消除投影特征分量之间相关性的优点。其次，该方法从整体上考虑投影集的可分性。即样本在图像最佳鉴别矢量上的投影集从整体上具有最佳的可分性。另外，所提出的方法是直接基于图像矩阵的，与以往的基于图像向量的鉴别方法相比，它的突出优点是大大地提高了特征抽取的速度。最后，在0RL标准人脸库上的试验结果表明，所提出的图像投影鉴剐分析方法较Liu的方法在识别性能上有了较大幅度的提高，在普通的分类器下达到95％识别率。该识别率明显优于颇有影响的Fisher-faces方法，其特征抽取的速度提高了近19。68倍。     

Feature Extraction and Uncorrelated Discriminant Analysis for High-Dimensional Data

High-dimensional data and the small sample size problem occur in many modern pattern classification applications such as face recognition and gene expression data analysis. To deal with such data, one important step is dimensionality reduction. Principal component analysis (PCA) and between-group analysis (BGA) are two commonly used methods, and various extensions of these two methods exist. The principle of these two approaches comes from their best approximation property. From a pattern recognition perspective, we show that PCA, which is based on the total scatter matrix, preserves linear separability, and BGA, which is based on between-class scatter matrix, retains the distance between class centroids. Moreover, we propose an automatic nonparameter uncorrelated discriminant analysis (UDA) algorithm based on the maximum margin criterion (MMC). The extracted features via UDA are statistically uncorrelated. UDA combines rank-preserving dimensionality reduction and constraint discriminant analysis and also serves as an effective solution for the small-sample-size problem. Experiments with face images and gene expression data sets are conducted to evaluate UDA in terms of classification accuracy and robustness.     

基于支持向量机的特征提取方法研究

基因表达数据的一个重要应用是给组织样本进行分类。在基因表达数据中,基因的数量相对于数据样本的个数通常比较多;也就是说,可以得到变量数（基因数）远远大于样本数的数据矩阵。过高的维数（变量或基因数）将给分类问题带来极大的挑战。本文提出结合一种新的特征提取方法——非相关线性判别式分析方法（ULDA）和支持向量机（SVM）分类算法,对结肠癌组织样本进行分类识别。并同其它方法作了比较研究,结果表明了该方法的可行性和有效性。     

不相关鉴别分析改进算法

不相关鉴别分析是一种非常有效并起着重要作用的线性鉴别分析方法,它能抽取出具有不相关性质的特征分量。但是,由于每一个鉴别矢量的得出都要求解一个特征方程,不相关鉴别分析算法一直是计算代价很大的算法,在需求解的鉴别矢量个数较多时尤其如此。该文基于一个等效的Fisher准则函数,提出了不相关鉴别分析的另一问题模型。使用Lagrange乘子法,可求出对应该问题模型的“不相关”鉴别矢量解的简洁的表示式。关于CENPARMI手写体阿拉伯数字库和ORL人脸图象库的实验表明,该文提出的不相关鉴别分析改进算法计算效率较原算法有较大提高。     

Rotational Linear Discriminant Analysis Technique for Dimensionality Reduction

The linear discriminant analysis (LDA) technique is very popular in pattern recognition for dimensionality reduction. It is a supervised learning technique that finds a linear transformation such that the overlapping between the classes is minimum for the projected feature vectors in the reduced feature space. This overlapping, if present, adversely affects the classification performance. In this paper, we introduce prior to dimensionality-reduction transformation an additional rotational transform that rotates the feature vectors in the original feature space around their respective class centroids in such a way that the overlapping between the classes in the reduced feature space is further minimized. As a result, the classification performance significantly improves which is demonstrated using several data corpuses.     

具有统计不相关性的最佳鉴别特征空间的维数定理

提出并严格证明了具有统计不相关性的最佳鉴别特征空间的维数定理：对含有L个类别的模式识别问题，具有统计不相关性的最佳鉴别特征空间的维数为（L－1）：说明了具有统计不相关性的最佳鉴别变的与Wilks所提出的经典的模式特征抽取方法的关系。在一定的条件下，具有统计不相害性的最佳鉴别矢量集等价于Wilks所提出的经典鉴别矢量集。经典的模式特征抽取方法可以用来在不损失任何Fisher鉴别信息的意义下，对含有L个类别的模式识别问题。抽取（L－1）个具有统计不相关性的最佳鉴别特征。     

Feature Extraction Using Fractional-Order Embedding Direct Linear Discriminant Analysis

In this paper, a novel LDA-based dimensionality reduction method called fractional-order embedding direct LDA (FEDLDA) is proposed. More specifically, we redefine the fractional-order between-class and within-class scatter matrices which can significantly reduce the deviation of sample covariance matrices caused by the noise disturbance and limited number of training samples; then the novel feature extraction criterion based on the direct LDA (DLDA) and the idea of fractional-order embedding is applied. Experiments on AT&T, Yale and AR face image databases are performed to test and evaluate the effectiveness of the proposed algorithms. Extensive experimental results show that FEDLDA outperforms DLDA and other closely related methods in terms of classification accuracy and efficiency.     

基于图像矩阵的非线性不相关鉴别特征抽取技术

针对现有核 Fisher鉴别分析方法的弱点 ,提出了一种基于图像矩阵的非线性不相关鉴别特征抽取技术。该方法的基本思路是 :首先 ,通过经验核映射将原始输入空间 Rn 映射到某特征空间 RN,然后将特征空间 RN 上的训练样本向量变换为一个 p×k( N=p×k)的图像矩阵 ,最后基于该图像矩阵直接构造该空间上的散布矩阵。在Concordia大学的 CENPARMI手写体数字数据库上的试验结果验证了本文方法的有效性。     

基于仿生学的不相关局部保持鉴别分析

由于形象思维方式是人类的一种本质思维方式,人类通过各种感官来认知事物的规律性,进而提取出具有代表性的特征,因此通过形象思维的方法来提取事物的本质特征符合人类认知事物的规律.针对人脸识别中特征提取问题,该算法以形象认知规律与无监督判别投影为理论基础,提出了一种仿生不相关空间局部保持鉴别分析(biomimetic uncorrelated locality preserving discriminant analysis, BULPDA)算法.算法首先根据人类形象认知的特性构建了一种新的相似系数表示方法;然后结合不相关空间概念,确保矢量空间具有不相关性;最后给出了基于奇异值分解的矢量空间求解方法,形成了一种特征提取新思路.在标准数据库上的实验结果表明,新算法优于传统的特征提取方法和其他改进的局部保持投影方法.     

局部和全局加权的二维统计不相关鉴别分析

传统的统计不相关鉴别分析方法使用样本的均值来估计期望,计算出总体散度矩阵。这些方法在数据不满足高斯分布的情况下会出现大的偏差,影响最优鉴别特征的提取。为了解决该问题,文中结合二维鉴别分析的思想,分别提出了基于局部的二维统计不相关鉴别变换（L2DUDT）方法和基于全局加权的二维统计不相关鉴别变换（WG2DUDT）方法。L2DUDT通过用样本的近邻中心来定义每个样本的期望,而WG2DUDT用样本间的欧几里得距离加权来定义期望。基于AR和FERET人脸数据库的实验表明,文中提出的方法与一些相关方法相比,有效地提高了识别性能。     

具有统计不相关性的图像投影鉴别分析及人脸识别

提出了一种新的图像投影鉴别分析方法。与Liu鉴别投影分析方法相比，该方法具有能够消除投影特征向量之间相关性的优点，另外，所提出的方法是直接基于图像矩阵的，与以往的基于图像向量的鉴别方法相比，它的突出优点是大大地提高了特征抽取的速度。最后，在ORL标准人脸库和MUST603人脸库上的试验结果表明，所提出的图像投影鉴别分析方法较Liu的方法在识别性能上有了较大幅度的提高，在ORL标准人脸库和NUST603人脸库上的试验结果表明，所提出的图像投影鉴别分析方法较Liu的方法在识别性能上有了较大幅度的提高，在普通的分类器下分别达到95.5%和99.4%的识别率，该识别率明显优于颇有影响的Fisherfaces方法，而且，特征抽取的速度提高了近15倍。     

人脸识别中多目标最优不相关图像鉴别分析研究

考虑图像投影鉴别分析问题,为提高特征抽取的速度和识别率,利用图像矩阵直接构造图像散布矩阵,在具有统计不相关的条件下将Foley-Sammon鉴别分析(FSLDA)转化为两目标约束优化问题,并给出了有效投影向量的概念;根据多目标优化的最优性条件可将求取有效投影向量的问题归结为求广义特征方程的最大特征值对应的特征向量,并据此进行特征抽取,进而提出了两目标最优图像投影鉴别分析方法。与其他鉴别投影分析方法相比,该方法具有以下特点:(1)可直接由图像矩阵构建散布矩阵;(2)有效投影向量具有统计不相关性;(3)训练样本的类内散布矩阵不必为可逆的,也不需要求某种形式矩阵的逆。在ORL标准人脸库和NUST603人脸库上的试验结果表明,上述图像投影鉴别分析方法在识别性能上较以往的方法有一定的提高,尤其是特征抽取的速度有明显的提高。     

基于2D-Gabor与KLDA的特征提取

提出一种2D-Gabor小波与核线性鉴别分析(KLDA)相结合的特征提取方法。该方法对经过预处理的人脸图像进行多方向、多尺度的2D-Gabor滤波,将滤波后的图像看作独立样本加入原样本库中,对新样本利用KLDA方法进行二次特征提取,得到较理想的类内聚度和类间散度样本特征,再采用三阶近邻分类器进行特征分类处理。实验结果表明,该方法相比传统方法识别率更高,易于工程实现。     

Fisher线性鉴别函数的一种推广形式

鉴于常用的两种Fisher鉴别函数在应对奇异问题时存在的不足,给出一种Fisher鉴别函数推广形式,它能将双子空间鉴别分析中两个子空间的鉴别函数统一起来.本文还通过QR分解得到一个正交鉴别向量集,它与Fo-ley-Sammon正交鉴别向量集的鉴别性能很接近,但计算量较小.在2种人脸库上进行实验,实验结果与理论分析一致.     

无参数无相关最大化判别边界算法

在人脸识别算法中,无参数局部保持投影(PFLPP)是一种有效的特征提取算法, 但忽略了异类近邻样本在分类中所起的作用,并且对于近邻的处理仅利用样本与总体均值的 距离关系来判断,因此并不能有效地确定近邻关系。基于此,提出一种无参数无相关最大化 判别边界算法,有效地利用了样本的类别信息,定义了无参数同类近邻样本的相似权值与异 类近邻样本的惩罚权值,样本邻域大小可根据类内平均余弦距离和类间余弦距离自适应确定, 为了进一步增强算法的性能,给出了具有不相关性的目标函数。UMIST 和 AR 人脸库上的实 验结果表明,该算法相对于不相关保局投影分析算法和 PFLPP 算法,具有运算量低、识别性 能高的优势。     

类依赖的线性判别分析

线性判别分析(LDA)是一种常用的特征提取方法,其目标是提取特征后样本的类间离散度和类内离散度的比值最大,即各类样本在特征空间中有最佳的可分离性.该方法利用同一个准则将所有类的样本投影到同一个特征空间中,忽略了各类样本分布特征的差异.本文提出类依赖的线性判别方法(Class-Specific LDA,CSLDA),对每一类样本寻找最优的投影矩阵,使得投影后能够更好地把该类样本与所有其他类的样本尽可能分开,并将该方法与经验核相结合,得到经验核空间中类依赖的线性判别分析.在人工数据集和UCI数据集上的实验结果表明,在输入空间和经验核空间里均有CSLDA特征提取后的识别率高于LDA.     

2维不相关鉴别矢量集算法

在人脸识别算法中,已有的计算不相关鉴别矢量集的算法均是基于图像向量模型的,因而将遇到所谓的小样本问题,而且由于采用迭代求解方式,算法运算速度缓慢,为此提出了一种新的求取不相关鉴别矢量集的算法,即一种基于图像矩阵模型的2维不相关鉴别矢量集算法。算法由于采用了图像矩阵模型,解决了小样本问题,通过对类内散布矩阵的白化变换,使得推广的2维线性鉴别分析模型具有类似的2维主成分分析模型的形式,从而将两种算法的模型有效地联系起来,进而可以非迭代地求得2维不相关鉴别矢量集,不但求解速度快且数值解稳定。在ORL和Yale人脸库上的实验结果表明,该算法不但减少了计算时间,同时也提高了识别率,为求解不相关鉴别矢量集提供了一个新的思路。     

基于核的广义Foley-Sammon鉴别分析

广义Foley-Sammon线性鉴别分析(GFSDA)是抽取线性特征的有效方法之一。本文提出了基于核的广义Foley-Sammon鉴别分析(KGFSDA)方法,首先建立KGFSDA的模型,然后从理论上给出KGFSDA模型的具体求解方法。分析表明,KGFSDA保留了GFSDA能从整体上考虑经过广义最佳鉴别变换后样本的可分性的优点,更重要的是该方法能够有效地抽取样本的非线性特征,是对GFSDA的进一步拓展。在ORL标准人脸库上的实验结果表明,该方法在识别性能上优于已有的广义Foley-Sammon线性鉴别分析,也比经典的Foley-Sammon线性鉴别分析更有效。     

基于扰动分析的不相关鉴别矢量集优化方法

在不相关图像投影分析的基础上,重点分析特征值及特征向量的扰动特性,指出病态特征值所对应的特征向量会受到较大扰动.因此,若以该特征向量作为投影轴进行投影,则所得到的特征矢量不能提供有效的鉴别信息.由此,提出不相关鉴别矢量集的优化方法.在ORL人脸库上的实验结果表明,利用该优化方法可简化投影矩阵,从而提高特征提取的效率并使识别率的稳定性得到改善.同时,本文提出的基于扰动分析的优化方法同样适用于对其它线性鉴别矢量集进行优化.     

核不相关鉴别分析以及它在字符识别中的应用

核不相关鉴别分析是在线性不相关鉴别分析的基础上发展起来的．然而,由于核函数的运用,计算核不相关矢量集变得更加复杂．为了解决这个问题,提出一种解决核不相关鉴别分析的有效算法．该算法巧妙地利用了矩阵的分解,然后在一个矩阵对上进行广义奇异值分解．与此同时,提出了几个相关的定理．最重要的是,提出的算法能克服核不相关鉴别分析中矩阵的奇异问题．在某种意义上,提出的算法拓宽了已有的算法,即从线性问题到非线性问题．最后,用手写数字字符识别实验来验证提出的算法是可行和有效的．