一种改进的不相关空间算法及其在人脸识别中的应用

不相关空间算法是一种基于Fisher准则求解不相关鉴别矢量集的快速算法,但应用在人脸识别中将遇到小样本问题,本文提出一种改进的不相关空间算法,较有效地解决这一问题,其思想是将原始数据空间降到一个低维的子空间,从而避免了总体散布矩阵奇异,并在理论上证明,在这个子空间中求解不相关鉴别矢量集等价于在原空间中求解不相关鉴别矢量集,另外根据散布矩阵的对称性,引入一种计算方法,进一步提高求解不相关鉴别矢量集的速度,最后,在人脸库上的实验结果验证该算法的有效性.     

一种新的基于最大散度差准则的特征抽取方法

本文基于最大散度差准则（MSDC）,利用统计不相关投影空间,提出了一组具有统计不相关性的最佳鉴别矢量的计算方法。该方法的目标是寻求一组鉴别矢量集,既要使投影后的特征空间的类间散度最大,而类内散度最小;又要使最佳鉴别矢量之间具有统计不相关性。另外,本文还揭示了最大散度差鉴别准则与Fisher准则的内在关系。在ORL与NUST603人脸库上的实验结果表明,本文所提出的方法在识别性能上优于原MSDC特征抽取方法与传统的PCA方法。     

最优鉴别特征的抽取及图像识别

利用Fisher鉴别准则函数即为广义Rayleigh商这一特点,首先分析了广义Rayleigh商的极值性质,指出以共轭正交的约束条件代替Foley-Sammon正交条件的合理性。然后利用广义特征方程存在共轭性正交的特征向量这一结论,巧妙地解决了该共轭正交条件下最优鉴别矢量集的求解问题。从理论上分析了该最优鉴别矢量集较经典的Foley-Sammon最优鉴别矢量集以及Fisher线性鉴别法的优越性。另外,进一步讨论了在小样本情况下,类内散布矩阵奇异时鉴别矢量集的求解问题,并给出了简单易行的算法。最后,在CENPARMI手写体阿拉伯数字库和ORL标准人脸库上的试验结果证实了算法的有效性和稳定性。     

一种改进的基于Fisher准则的线性特征提取方法

针对现有的基于Fisher准则的线性特征提取方法存在的不足,提出了一种新的改进的Fisher特征提取方法.通过重新定义类内散度矩阵与类间散度矩阵,削弱了边缘样本与边缘类别的影响,提高了准则模型的准确性,进而提高了判别矢量的特征提取能力.同时,也给出了一种实用的求解具有统计不相关的最优判别矢量集的方法,实验结果表明,算法得到的最优判别矢量具有更好的特征提取能力.     

不相关最佳鉴别矢量集的有效算法

线性鉴别分析中处理小样本问题的方法有两类：①在模式识别之前,通过降低模式样本特征向量的维数达到消除奇异性的目的;②发展算法获得低维鉴别特征。将这两种方法结合起来,解决了高维小样本情况下基于广义Fisher线性鉴别准则的不相关最优鉴别矢量集的求解问题,给出了抽取最优鉴别矢量的有效算法。     

基于核的Fisher非线性最佳鉴别分析在人脸识别中的应用

抽取最佳鉴别特征是人脸识别中的重要一步。对小样本的高维人脸图像样本,由于各种抽取非线性鉴别特征的方法均存在各自的问题,为此提出了一种求解核的Fisher非线性最佳鉴别特征的新方法,该方法首先在特征空间用类间散度阵和类内散度阵作为Fisher准则,来得到最佳非线性鉴别特征,然后针对此方法存在的病态问题,进一步在类内散度阵的零空间中求解最佳非线性鉴别矢量。基于ORL人脸数据库的实验表明,该新方法抽取的非线性最佳鉴别特征明显优于Fisher线性鉴别分析(FLDA)的线性特征和广义鉴别分析(GDA)的非线性特征。     

一种新的求解无相关鉴别矢量集方法

无相关鉴别矢量集方法是解决模式识别问题的有效方法．通常情况下，无相关鉴别矢量集是通过递归方式获得的，计算时间较长．该文提出了一种求解无相关鉴别矢量集的非递归方法．首先根据总体散布矩阵构造无相关投影空间．对于无相关投影空间中的任何正交矢量集，其在原空间中的特征统计无关．然后在无相关投影空间求解基于Fisher线性判别准则的正交矢量集，从而得到原空间的无相关鉴别矢量集．理论分析和实验结果表明：该文方法和Jin等的方法所求解的无相关鉴别矢量集是一致的．而应用本文方法求解无相关鉴别矢量集计算时间较短，在类别数为C的情况下，二者的时间比为(C-1)：2．     

适用于小样本问题的具有类内保持的正交特征提取算法

在人脸识别中, 具有正交性的特征提取算法是一类有效的特征提取算法, 但受到小样本问题的制约. 本文在正交判别保局投影的基础上, 提出了一种适用于小样本问题的具有类内保持的正交特征提取算法. 算法根据同类样本之间的空间结构信息, 重新定义了类内散度矩阵与类间散度矩阵, 进而给出了一个新的目标函数. 然而新的目标函数对于人脸识别问题, 同样存在着小样本问题. 为此本文将原始数据空间降到一个低维的子空间, 从而避免了总体散度矩阵奇异, 并在理论上证明了在该子空间中求解判别矢量集, 等价于在原空间中求解判别矢量集. 人脸库上的实验结果表明本文算法的有效性.     

2维不相关鉴别矢量集算法

在人脸识别算法中,已有的计算不相关鉴别矢量集的算法均是基于图像向量模型的,因而将遇到所谓的小样本问题,而且由于采用迭代求解方式,算法运算速度缓慢,为此提出了一种新的求取不相关鉴别矢量集的算法,即一种基于图像矩阵模型的2维不相关鉴别矢量集算法。算法由于采用了图像矩阵模型,解决了小样本问题,通过对类内散布矩阵的白化变换,使得推广的2维线性鉴别分析模型具有类似的2维主成分分析模型的形式,从而将两种算法的模型有效地联系起来,进而可以非迭代地求得2维不相关鉴别矢量集,不但求解速度快且数值解稳定。在ORL和Yale人脸库上的实验结果表明,该算法不但减少了计算时间,同时也提高了识别率,为求解不相关鉴别矢量集提供了一个新的思路。     

最佳鉴别矢量集在无监督模式下的扩展

基于Fisher准则函数的最佳鉴别矢量集是一种重要的有监督特征提取方法,在模式识别领域有着重要的影响．提出一种将最佳鉴别矢量集扩展到无监督模式下的方法,其基本思想是通过定义的模糊Fisher准则函数将Fisher线性判别扩展成一种半模糊聚类算法,通过该算法求得最佳鉴别矢量和模糊散布矩阵,进而构造出最佳鉴别矢量集．实验表明,在聚类有效性、分类准确率均优于无监督模式下常用的主成分分析特征提取算法．     

基于大间距准则的不相关保局投影分析

局部保持投影(Locality preserving projections,LPP)算法只保持了目标在投影后的邻域局部信息,为了更好地刻画数据的流形结构, 引入了类内和类间局部散度矩阵,给出了一种基于有效且稳定的大间距准则(Maximum margin criterion,MMC)的不相关保局投影分析方法.该方法在最大化散度矩阵迹差时,引入尺度因子α,对类内和类间局部散度矩阵进行加权,以便找到更适合分类的子空间并且可避免小样本问题; 更重要的是,大间距准则下提取的判别特征集一般情况下是统计相关的,造成了特征信息的冗余, 因此,通过增加一个不相关约束条件,利用推导出的公式提取不相关判别特征集, 这样做, 对正确识别更为有利.在Yale人脸库、PIE人脸库和MNIST手写数字库上的测试结果表明,本文方法有效且稳定, 与LPP、LDA (Linear discriminant analysis)和LPMIP(Locality-preserved maximum information projection)方法等相比,具有更高的正确识别率.     

基于Fisher判别分析的增量式非负矩阵分解算法

增量式非负矩阵分解算法是基于子空间降维技术的无监督增量学习方法.文中将Fisher判别分析思想引入增量式非负矩阵分解中,提出基于Fisher判别分析的增量式非负矩阵分解算法.首先,利用初始样本训练的先验信息,通过索引矩阵对新增系数矩阵进行初始化赋值.然后,将增量式非负矩阵分解算法的目标函数改进为批量式的增量学习算法,在此基础上施加类间散度最大和类内散度最小的约束.最后,采用乘性迭代的方法计算分解后的因子矩阵.在ORL、Yale B和PIE等3个不同规模人脸数据库上的实验验证文中算法的有效性.     

一种改进的线性判别分析算法在人脸识别中的应用

线性判别分析算法是一种经典的特征提取方法,但其仅在大样本情况下适用。本文针对传统线性判别分析算法面临的小样本问题和秩限制问题,提出了一种改进的线性判别分析算法ILDA。该方法在矩阵指数的基础上,重新定义了类内离散度矩阵和类间离散度矩阵,有效地同时提取类内离散度矩阵零空间和非零空间中的信息。若干人脸数据库上的比较实验表明了ILDA在人脸识别方面的有效性。     

无监督模式下统计不相关最佳鉴别平面

统计不相关最佳鉴别平面是一种重要的特征抽取方法,在模式识别领域中具有广泛的应用。然而,统计不相关最佳鉴别平面是基于Fisher准则和总体散布矩阵共轭正交条件的,需要通过样本类别信息计算Fisher最佳鉴别矢量,因而只能用于有监督模式。提出了一种将统计不相关最佳鉴别平面扩展到无监督模式下的方法,其基本思想是将模糊概念引入Fisher线性判别分析,通过对模糊Fisher准则的优化,在无监督模式下计算出最佳鉴别矢量及模糊散布矩阵,再根据共轭正交约束条件,求得第二条最佳鉴别矢量,进而获得一种基于无监督统计不相关最佳鉴别平面的特征抽取方法。对UCI数据集及CMU-PIE人脸数据库进行实验,结果表明,在样本类别信息缺失的情况下,该方法尽管无法具有与有监督模式下的统计不相关最佳鉴别平面特征抽取方法同样的性能,但当类别差异较大时,能够抽取有利于分类的统计不相关特征,获得优于主成分分析与独立成分分析等常见无监督特征抽取方法的性能。     

完备正交邻域保持判别嵌入的人脸识别

为解决邻域保持判别嵌入算法所面临的小样本问题,并充分利用类内邻域散度矩阵零空间和非零空间中的判别信息进行人脸识别,提出一种完备正交邻域保持判别嵌入的人脸识别算法。首先间接地利用特征分解方法去除总体邻域散度矩阵的零空间;然后分别在类内邻域散度矩阵零空间和非零空间中提取最优判别矢量。此外,为进一步提高算法的识别性能,给出了基于瘦QR分解的正交投影矩阵的求解方法。在ORL和Yale人脸库上验证了以上算法的有效性。     

Uncorrelated linear discriminant analysis based on weighted pairwise Fisher criterion

In this paper, we propose a novel uncorrelated, weighted linear discriminant analysis (UWLDA) method for feature extraction and recognition. The UWLDA first introduces a weighting function to restrain the dominant role of the classes with larger distance and then searches the optimal discriminant vectors under the conjugative orthogonal constrains in the null space of the within-class scatter matrix and its conjugative orthogonal complement space, respectively. As a result, the proposed technique not only derive the optimal and lossless discriminative information, but also guarantee that all extracted features are statistically uncorrelated. Experiments on FERET face database and AR face database are performed to test and evaluate the proposed algorithm. The results demonstrate the effectiveness of UWLDA.     

A multiple maximum scatter difference discriminant criterion for facial feature extraction.

Maximum scatter difference (MSD) discriminant criterion was a recently presented binary discriminant criterion for pattern classification that utilizes the generalized scatter difference rather than the generalized Rayleigh quotient as a class separability measure, thereby avoiding the singularity problem when addressing small-sample-size problems. MSD classifiers based on this criterion have been quite effective on face-recognition tasks, but as they are binary classifiers, they are not as efficient on large-scale classification tasks. To address the problem, this paper generalizes the classification-oriented binary criterion to its multiple counterpart--multiple MSD (MMSD) discriminant criterion for facial feature extraction. The MMSD feature-extraction method, which is based on this novel discriminant criterion, is a new subspace-based feature-extraction method. Unlike most other subspace-based feature-extraction methods, the MMSD computes its discriminant vectors from both the range of the between-class scatter matrix and the null space of the within-class scatter matrix. The MMSD is theoretically elegant and easy to calculate. Extensive experimental studies conducted on the benchmark database, FERET, show that the MMSD out-performs state-of-the-art facial feature-extraction methods such as null space method, direct linear discriminant analysis (LDA), eigenface, Fisherface, and complete LDA.