半监督的局部保留投影降维方法

针对现有数据降维算法不能同时利用标记样本和无标记样本的问题,提出一种半监督局部保留投影降维方法。定义类间相似度和类内相似度,同时最大化类间分离度、最小化类内分离度,保持样本总体结构和局部结构,从而提高数据降维的效果。在人工数据集、UCI数据库和Olivetti人脸库中的测试结果表明,该方法的识别率较高。     

基于核的半监督的局部保留投影降维方法

为能有效捕捉数据的非线性特征,特提出一种新的非线性数据降维算法——核半监督局部保留投影(KSSLPP)。该方法利用标记样本的标记信息及所有训练样本的结构重新定义了类间相似度和类内相似度,然后将原始数据映射到高维核空间,在核空间中最大化类间分离度,最小化类内分离度。该方法在核空间保持了数据的局部结构和全局结构,以及数据的标签信息。在Olivetti人脸库和UCI数据库中的对比实验验证了该算法的有效性。     

全局加权稀疏局部保留投影

针对稀疏保留投影(SPP)算法运行时间较长并且忽略了样本的类间差异信息的问题,在稀疏保留投影算法的基础上,提出了全局加权稀疏局部保留投影(GWSLPP)算法。该算法在保持样本的稀疏重构关系的同时,使样本具有很好的鉴别能力,算法通过对样本进行稀疏重构处理;然后对样本进行投影并且最大化样本的类间散度;最后利用得到的投影将样本分类。该算法分别在FERET人脸库和YALE人脸库上进行实验。实验结果表明,全局加权稀疏保留算法在执行时间和识别率综合性能上,优于局部保留投影(LPP)、SPP和FisherFace算法,执行时间只有25s,识别率能达到95%以上,实验数据验证了算法的有效性。     

全局加权稀疏局部保留投影

针对稀疏保留投影(SPP)算法运行时间较长并且忽略了样本的类间差异信息的问题,在稀疏保留投影算法的基础上,提出了全局加权稀疏局部保留投影(GWSLPP)算法。该算法在保持样本的稀疏重构关系的同时,使样本具有很好的鉴别能力,算法通过对样本进行稀疏重构处理;然后对样本进行投影并且最大化样本的类间散度;最后利用得到的投影将样本分类。该算法分别在FERET人脸库和YALE人脸库上进行实验。实验结果表明,全局加权稀疏保留算法在执行时间和识别率综合性能上,优于局部保留投影(LPP)、SPP和FisherFace算法,执行时间只有25s,识别率能达到95%以上,实验数据验证了算法的有效性。     

一种适用于小样本问题的基于边界的特征提取算法

特征提取技术是模式识别领域进行数据降维和强化判别信息的有效方法.线性判别分析是监督特征提取方法的典型代表,获得广泛应用,但受到小样本问题的制约.对此提出一种适用于小样本问题的基于边界的特征提取算法.算法利用高维数据小样本情况下线性可分概率增加以及其低维投影趋于正态分布的特点,定义了新的类别边界,不但考虑了由线性判别分析提出的类内、类间离散度,也兼顾各类别的方差差异性.通过极大化该边界获得最优投影向量,同时避免因类内离散度矩阵奇异导致的小样本问题.进一步将算法推广到多类问题.高光谱数据特征提取与分类实验表明,算法在小样本情况下对于两类和多类问题均具有良好的推广性能,优于多种线性判别分析的改进算法,并且在样本较多时也取得了满意结果.     

2DPCA+2DLDA和改进的LPP相结合的人脸识别算法

针对局部保持投影（LPP）算法无监督且只保留局部信息的特性,提出一种2DPCA+2DLDA和改进的LPP相结合的人脸识别算法。将训练集样本用2DPCA+2DLDA算法进行投影,保留数据整体空间信息和分类信息;引入类内、类间信息对LPP算法的关系矩阵进行优化,使LPP成为有监督的非线性学习方法,采用改进的LPP（ILPP）算法对训练集图像进行二次投影,提取样本的局部流形信息,并作为人脸识别信息进行鉴别。在Yale和ORL人脸库的测试结果验证了该方法的有效性。     

基于局部Fisher准则判别投影的人脸识别算法

为了提取更真实的样本局部分布结构以及合理利用样本标签信息,提出局部Fisher准则判别投影的人脸识别算法。通过求解样本在总体下稀疏表示来自适应选择样本的近邻参数,以使样本间分布关系尽可能符合真实情况;在获取稀疏近邻结构的基础上,利用样本标签信息设计自定义的类内局部散度矩阵和类间局部散度矩阵,以使得在保留样本间近邻关系的同时提高样本标签信息带来的判别能力。该算法可以有效保持同类样本间的稀疏近邻关系,并且破坏非同类样本间的稀疏近邻结构。在Yale库、AR库以及Yale B库上的实验结果表明:与相关的人脸识别算法相比,该算法具有更高的人脸识别率,可以有效提升人脸识别算法的识别率。     

结合成对约束的近邻稀疏保留投影算法

稀疏保持投影算法是一种无监督的全局线性降维方法,无法应对训练样本不足及类内样本间差异过大的情况。针对该问题,提出一种结合成对约束机制的近邻稀疏保留投影算法。利用近邻样本求取稀疏系数以保留局部结构信息,引入成对约束监督的思想,利用样本类别指导稀疏重构过程,最后定义能最大限度保留稀疏系数中蕴含的类别信息的低维子空间。将该算法用于人脸识别,实验结果证明了算法在识别率以及运行时间上的有效性和可行性。     

基于流形学习的正交稀疏保留投影鉴别分析

稀疏保留投影( SPP)是一种保留样本间的稀疏重构关系的特征提取方法。但是根据流形学习理论,考虑局部流形结构比考虑全局欧氏结构更重要。此外,SPP得到的不是一组正交的投影向量,特征间存在冗余信息。为解决该问题,文中提出一种改进的稀疏保留投影算法,在SPP中引入有监督的流形学习,使得所得投影空间正交,并用迭代的方式求解最优投影变换,称为基于流形学习的迭代正交稀疏保留鉴别分析( MLIOSDA)。同时提出一种终止准则终止迭代。在CAS-PEAL人脸数据库和PolyU掌纹数据库的实验结果表明,文中提出的方法与一些相关方法相比有效地提高了识别结果。     

Fisher大间距线性分类器

作为一种著名的特征抽取方法,Fisher线性鉴别分析的基本思想是选择使得Fisher准则函数达到最大值的向量(称为最优鉴别向量)作为最优投影方向,以便使得高维输入空间中的模式样本在该向量投影后,在类间散度达到最大的同时,类内散度最小。大间距线性分类器是寻找一个最优投影矢量(最优分隔超平面的法向量),它可使得投影后的两类样本之间的分类间距(Margin)最大。为了获得更佳的识别效果,结合Fisher线性鉴别分析和大间距分类器的优点,提出了一种新的线性投影分类算法——Fisher大间距线性分类器。该分类器的主要思想就是寻找最优投影矢量wbest(最优超平面的法向量),使得高维输入空间中的样本模式在wbest上投影后,在使类间间距达到最大的同时,使类内离散度尽可能地小。并从理论上讨论了与其他线性分类器的联系。在ORL人脸库和FERET人脸数据库上的实验结果表明,该线性投影分类算法的识别率优于其他分类器。     

局部非参数子空间分析在人脸识别中的应用

提出了一种局部非参数子空间分析算法（Local Nonparametric Subspace Analysis,LNSA）,将其应用在人脸识别中。LNSA算法结合了非参数子空间算法（Nonparametric Subspace Analysis,NSA）与局部保留投影算法（Locality Preserving Projection,LPP）。它利用LPP算法中的相似度矩阵重构NSA的类内散度矩阵,使得在最大化类间散度矩阵的同时保留了类的局部结构。在ORL人脸库和XM2VTS人脸库上作了实验并证明LNSA方法要优于其他方法。     

完备的无参数近邻保持及最大化非近邻算法

无参数保持投影算法无需参数设置且识别性能稳定,但算法不能有效地保持样本的局部结构,且忽略了非局部样本所起的作用,而且存在着小样本(SSS)问题,为此提出了一种完备的无参数近邻保持及最大化非近邻算法。算法以样本间余弦距离0.5为分界点将样本分成近邻及非近邻样本,为了充分利用近邻样本及非近邻样本,分别构造了近邻散度矩阵及非近邻散度矩阵,因此算法的目标函数就是求取能够最小化近邻散度矩阵的同时,最大化非近邻散度矩阵的投影矩阵。对于目标函数的求解,可先将高维样本通过主成分分析(PCA)算法降至一个低维的子空间,并通过两个定理证明了这种处理方法没有损失任何有效的判别信息;然后将目标函数转换为差形式,从而有效地解决了小样本问题。在人脸库及掌纹库上的实验结果表明,与无参数局部保持投影算法相比,所提算法平均识别率更高,验证了算法的有效性。     

Supervised optimal locality preserving projection

In the past few years, the computer vision and pattern recognition community has witnessed a rapid growth of a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among these methods, locality preserving projection (LPP) is one of the most promising feature extraction techniques. Unlike the unsupervised learning scheme of LPP, this paper follows the supervised learning scheme, i.e. it uses both local information and class information to model the similarity of the data. Based on novel similarity, we propose two feature extraction algorithms, supervised optimal locality preserving projection (SOLPP) and normalized Laplacian-based supervised optimal locality preserving projection (NL-SOLPP). Optimal here means that the extracted features via SOLPP (or NL-SOLPP) are statistically uncorrelated and orthogonal. We compare the proposed SOLPP and NL-SOLPP with LPP, orthogonal locality preserving projection (OLPP) and uncorrelated locality preserving projection (ULPP) on publicly available data sets. Experimental results show that the proposed SOLPP and NL-SOLPP achieve much higher recognition accuracy.     

完备鉴别保局投影人脸识别算法

为了充分利用保局总体散布主元空间内的鉴别信息进行人脸识别,提出了一种完备鉴别保局投影(complete discriminant locality preserving projections,简称CDLPP)人脸识别算法.鉴于Fisher鉴别分析和保局投影已经被广泛的应用于人脸识别,完备鉴别保局投影(locality preserving projections,简称LPP)算法将这两者结合起来,分析了保局类内散布、类间散布和总体散布的主元空间和零空间内包含的鉴别信息.该算法采用奇异值分解(singular value decomposition,简称SVD),去除了不含任何鉴别信息的保局总体散布的零空间;分别在保局类内散布的主元空间和零空间提取规则鉴别特征和不规则鉴别特征;用串联的方式在特征层融合规则鉴别特征和不规则鉴别特征形成完备的鉴别特征进行人脸识别.在ORL库、FERET子库和PIE子库上的大量识别实验充分表明了完备鉴别保局投影算法的性能优于线性鉴别分析、保局投影和鉴别保局投影等现有的子空间人脸识别算法,验证了算法的有 效性.     

基于大间距准则的不相关保局投影分析

局部保持投影(Locality preserving projections,LPP)算法只保持了目标在投影后的邻域局部信息,为了更好地刻画数据的流形结构, 引入了类内和类间局部散度矩阵,给出了一种基于有效且稳定的大间距准则(Maximum margin criterion,MMC)的不相关保局投影分析方法.该方法在最大化散度矩阵迹差时,引入尺度因子α,对类内和类间局部散度矩阵进行加权,以便找到更适合分类的子空间并且可避免小样本问题; 更重要的是,大间距准则下提取的判别特征集一般情况下是统计相关的,造成了特征信息的冗余, 因此,通过增加一个不相关约束条件,利用推导出的公式提取不相关判别特征集, 这样做, 对正确识别更为有利.在Yale人脸库、PIE人脸库和MNIST手写数字库上的测试结果表明,本文方法有效且稳定, 与LPP、LDA (Linear discriminant analysis)和LPMIP(Locality-preserved maximum information projection)方法等相比,具有更高的正确识别率.     

正则化保局鉴别分析方法

提出一种正则化保局鉴别分析方法(RLPDA)并将其应用于人脸识别。受样本有限制约和大量噪声干扰,保局类内散布矩阵的零特征值及小特征值估计不准确,进而影响鉴别保局投影算法的性能。结合倒数谱模型对保局类内散布矩阵的特征值进行正则化,并利用正则化后的特征值对相应的特征空间加权,使人脸空间被保留,噪声空间被削弱,而零空间则被加强。通过分析鉴别信息在数据空间的分布可发现,RLPDA方法有效利用整个特征空间的鉴别信息,有利于提高算法的识别精度,同时从原理上回避小样本问题。在FERET和UMIST人脸数据库上的识别结果表明,RLPDA是一种有效的人脸特征提取方法。     

大间距无监督正交特征提取算法

以主成分分析和局部保持投影为理论基础,提出了一种同时考虑数据样本的全局和局部特性的大间距无监督正交特征提取算法,算法的目标函数采用大间距准则,避免了由于矩阵求逆带来的小样本问题,同时为了进一步增强算法的识别性能,对所求取的投影矩阵进行了正交化约束,最后人脸库上的实验结果表明所提方法的有效性.     

Kernel class-wise locality preserving projection

In the recent years, the pattern recognition community paid more attention to a new kind of feature extraction method, the manifold learning methods, which attempt to project the original data into a lower dimensional feature space by preserving the local neighborhood structure. Among them, locality preserving projection (LPP) is one of the most promising feature extraction techniques. However, when LPP is applied to the classification tasks, it shows some limitations, such as the ignorance of the label information. In this paper, we propose a novel local structure based feature extraction method, called class-wise locality preserving projection (CLPP). CLPP utilizes class information to guide the procedure of feature extraction. In CLPP, the local structure of the original data is constructed according to a certain kind of similarity between data points, which takes special consideration of both the local information and the class information. The kernelized (nonlinear) counterpart of this linear feature extractor is also established in the paper. Moreover, a kernel version of CLPP namely Kernel CLPP (KCLPP) is developed through applying the kernel trick to CLPP to increase its performance on nonlinear feature extraction. Experiments on ORL face database and YALE face database are performed to test and evaluate the proposed algorithm.     

无关性判别保局算法及其在人脸识别中的应用

特征提取是人脸识别过程中的一个重要步骤,是人脸识别算法有效性的关键。提出了一种基于无关性判别保局的特征提取算法,并应用于人脸识别。基于保局投影算法的人 脸识别是一种有效的人脸识别算法,但它只考虑了数据的局部性,没有考虑类别信息,也没有考虑所提特征之间的相关性,现有的改进算法虽然考虑了类别信息,但是没有考虑到 类间信息。本文算法使得所提特征之间相互无关,这样降低了数据冗余,同时考虑到类别信息,使得投影后的类间区分度加强了。实验结果验证了算法的正确性和有效性,比传统 算法有较好的识别性能。     

面向酉子空间的二维判别保局投影的人脸识别*

保局投影算法（LPP）在人脸识别中具有较好的识别性能,但它是一种非监督学习,并且在具体实现时需要把图像转换为向量,破坏了图像的像素结构,这显然不利于模式识别。针对这些问题,提出基于酉子空间的二维判别保局算法,不仅在判别保局算法的基础上增加了类别信息,而且直接在灰度矩阵上进行水平和垂直方向上的二维保局投影。该方法构造酉空间上的复向量后再运用线性判别分析提取特征。在ORL、Yale和XJTU人脸库中验证了算法的正确性和有效性,其识别率比传统的2DLDA和2DLPP等方法提高4～5个百分点。