核判别随机近邻嵌入分析方法

为了有效地解决非线性特征提取中存在的鉴别效率和样本外问题,最大限度地保持观测信息,并进一步提高相关方法的降维性能,将核学习的方法应用到判别随机近邻嵌入分析方法中,提出一种核判别随机近邻嵌入分析方法.通过引入核函数,将原空间中的样本映射到高维核空间中,构建了用于反映同类和异类数据间相似度的联合概率表达式;在此基础上,引入线性投影矩阵生成对应子空间数据;最后在类内Kullback-Leiber(KL)散度最小和类间KL散度最大的准则下建立目标泛函.该方法突出了异类样本间的特征差异,使样本变得线性可分,从而提高了分类性能.在COIL-20图像库和ORL,Yale经典人脸库上进行实验,验证了文中方法的分类鉴别能力.     

判别随机近邻嵌入分析方法

针对随机近邻嵌人算法的非线性本质和无监督学习特征,提出一种线性有监督的特征提取方法,称为判别随机近邻嵌入分析.该方法通过输入样本的类别信息构建数据分布的联合概率表达式,用于反映同类和异类数据间的相似度;同时引入线性投影矩阵生成子空间数据,并在类内KL散度最小和类间KL散度最大的准则下建立目标泛函.通过人工合成数据和经典人脸库对文中方法的性能进行验证,结果表明,该方法不仅具有较好的可视化能力,而且能够有效地对不同类别的数据进行降维分簇,提升后续模式分类器的鉴别效果.     

基于局部Fisher准则判别投影的人脸识别算法

为了提取更真实的样本局部分布结构以及合理利用样本标签信息,提出局部Fisher准则判别投影的人脸识别算法。通过求解样本在总体下稀疏表示来自适应选择样本的近邻参数,以使样本间分布关系尽可能符合真实情况;在获取稀疏近邻结构的基础上,利用样本标签信息设计自定义的类内局部散度矩阵和类间局部散度矩阵,以使得在保留样本间近邻关系的同时提高样本标签信息带来的判别能力。该算法可以有效保持同类样本间的稀疏近邻关系,并且破坏非同类样本间的稀疏近邻结构。在Yale库、AR库以及Yale B库上的实验结果表明:与相关的人脸识别算法相比,该算法具有更高的人脸识别率,可以有效提升人脸识别算法的识别率。     

样本列信息与自适应邻域图的局部保持投影

针对局部保持投影(locality preserving projection,LPP)算法在传统k近邻构图过程中出现的参数k选择困难问题和样本的一维向量容易忽略样本的原始结构特征问题,引入样本的列信息思想,提出了一种基于样本对应列信息的自适应邻域构图的局部保持投影算法(adaptive neighbor and corresponding columns based graph construction on LPP,ANCCG-LPP)。该算法根据样本间的列信息自适应地得出所有样本列的列近邻,然后根据样本间成对的列近邻个数自适应地确定样本的邻域;最后通过重新定义权值矩阵来优化目标函数进行最优投影向量集的求解。在ANCCG-LPP算法的基础上,通过加入样本的类别信息,提出了有监督的ANCCGLPP算法。在ORL、Yale Extended B人脸库上的仿真实验验证了该算法的有效性。     

无参数无相关最大化判别边界算法

在人脸识别算法中,无参数局部保持投影(PFLPP)是一种有效的特征提取算法, 但忽略了异类近邻样本在分类中所起的作用,并且对于近邻的处理仅利用样本与总体均值的 距离关系来判断,因此并不能有效地确定近邻关系。基于此,提出一种无参数无相关最大化 判别边界算法,有效地利用了样本的类别信息,定义了无参数同类近邻样本的相似权值与异 类近邻样本的惩罚权值,样本邻域大小可根据类内平均余弦距离和类间余弦距离自适应确定, 为了进一步增强算法的性能,给出了具有不相关性的目标函数。UMIST 和 AR 人脸库上的实 验结果表明,该算法相对于不相关保局投影分析算法和 PFLPP 算法,具有运算量低、识别性 能高的优势。     

无监督的差分鉴别特征提取以及在人脸识别上的应用

局部保持投影(LPP)只考虑了投影后的局部性,而忽视了非局部性.针对这个问题,引入非局部散布矩阵,提出无监督的差分鉴别特征提取算法,通过最大化非局部和局部之间的散度差来寻找最优变换矩阵,并将其成功地应用于人脸识别.该算法同时引入非局部和局部的信息,揭示隐含在高维图像空间中的非线性结构;采用差分的形式求解最优变换矩阵,以避免"小样本"问题;对LPP中的邻接矩阵进行了修正,以更准确地描述样本之间的邻近关系.在Yale和AR标准人脸库上的实验结果验证了文中算法的有效性.     

边界近邻零空间鉴别分析

提出了一种边界近部零空间鉴别分析算法。算法首先定义了新的目标函数,通过对该目标函数的理论分析与证明指出首先用PCA将高维样本降维至一个低维子空间,而在此低维子空间该目标函数并不损失任何有效的鉴别信息;算法不但能有效地解决本问题,而且仅需通过3次特征值分解就可求出具有正交性的投影矩阵,从而有效地提高了算法的识别性能。最后也给出了该算法基于核映射的非线性拓展。人脸库上的实验结果证实了所提方法的有效性。     

完备自适应近邻图嵌入的局部鉴别投影算法

针对基于自适应近邻图嵌入的局部鉴别投影算法（Neighborhood graph embedding based local adaptive discriminant analysis, LADP ）仅仅利用局部类内离差矩阵主元空间的鉴别信息而丢失了其零空间内大量鉴别信息的不足,结合全空间的基本思想提出了完备的基于自适应近邻图嵌入的局部鉴别投影算法（ Complete LADP,CLADP）。在局部类内离差矩阵的零空间内,通过最大化局部类间离差矩阵提取不规则鉴别特征,在局部类间离差矩阵的主元空间内,通过最大化局部类间离差矩阵的同时最小化局部类 内离差矩阵提取规则鉴别特征,最后将不规则鉴别特征和规则鉴别特征串联形成CLADP特征。在ORL,Yale以及PIE人脸库上的人脸识别实验结果证明了CLADP的有效性。     

完备的双子空间边界近邻鉴别分析

针对边界Fisher鉴别分析算法不能够有效解决小样本问题,提出了一种完备的双子空间边界近邻鉴别分析算法。该算法通过理论分析将MFA的目标函数分解成两部分,对此目标函数的求解,首先要对高维样本进行PCA降维至一个低维子空间, 而这一过程并不损失任何有效的鉴别信息,对此通过定理1和定理2进行了证明;然后再分别求出类内边界近邻互补子空间的两投影矩阵。最后人脸库上的实验结果表明了所提方法的有效性。     

无参数局部保持投影及人脸识别

局部保持投影(LPP)通过构造近邻图来保持样本的局部结构,在构图过程中,LPP面临复杂的参数选择问题.为解决此问题,提出无参数局部保持投影(PLPP)算法.首先设计一种无参数的构图方法,能够动态地获取样本的近邻点并配置相应的边权.其次,利用该构图方法,PLPP通过寻求最佳投影矩阵,用于保持样本在低维空间的局部结构.由于PLPP在构图过程中并未设置任何参数且采用余弦距离设置边权,因此PLPP计算更加方便快捷且对离群样本更具鲁棒性.另外,为进一步提升PLPP的识别性能,在PLPP的基础上通过加入样本的类别信息,提出监督的无参数局部保持投影算法(SPLPP).最后,在ORL、FERET及AR人脸库上的实验验证了PLPP与SPLPP的有效性.     

基于QR分解的正则化邻域保持嵌入算法

针对训练样本不足时,对数据的低维子空间估计可能会产生严重偏差的问题,提出了一种基于QR分解的正则化邻域保持嵌入算法。首先,该算法定义一个局部拉普拉斯矩阵保留原始数据的局部结构;其次,将类内散度矩阵的特征谱空间划分成三个子空间,通过倒数谱模型定义的权值函数获得新的特征向量空间,进而对高维数据进行预处理;最后,定义一个邻域保持邻接矩阵,利用QR分解获得的投影矩阵和最近邻分类器进行人脸分类。与正则化广义局部保持投影(RGDLPP)算法相比,所提算法在ORL、Yale、FERET和PIE库上识别率分别提高了2个百分点、1.5个百分点、1.5个百分点和2个百分点。实验结果表明,所提算法易于实现,在小样本(SSS)下有较高的识别率。     

广义的鉴别局部中值保持投影及人脸识别

针对鉴别的局部中值保持投影(DLMPP)在小样本情况下面临的类内散布矩阵奇异的问题,提出了广义的鉴别局部中值保持投影(GDLMPP)算法。GDLMPP首先将样本等价映射到一个低维子空间,然后在此子空间求解最佳投影矩阵,从而有效解决了小样本问题,并从理论上验证了当类内散布矩阵非奇异时,GDLMPP等价于DLMPP。最后,通过在ORL及AR库上的实验验证了算法的有效性。     

人脸识别中适合于小样本情况下的监督化拉普拉斯判别分析

提取有效特征对高维数据的模式分类起着关键的作用.无监督判别投影,通过最大化非局部散度和局部散度之比,在数据降维和特征提取上表现出较好的性能,但是它是一种非监督学习算法,并且存在小样本问题.针对这些问题,提出了监督化拉普拉斯判别分析,算法在考虑非局部散度和局部散度时考虑了样本的类别信息;通过丢弃总体拉普拉斯散度矩阵的零空间,并将类内拉普拉斯散度矩阵投影到总体拉普拉斯散度矩阵的主空间中,然后在该空间中进行特征问题的求解,从而避免了小样本问题.通过理论分析,该算法没有任何判别信息损失,同时在计算上效率也较高.在人脸识别上的实验验证了算法的正确性和有效性.     

局部非参数子空间分析在人脸识别中的应用

提出了一种局部非参数子空间分析算法（Local Nonparametric Subspace Analysis,LNSA）,将其应用在人脸识别中。LNSA算法结合了非参数子空间算法（Nonparametric Subspace Analysis,NSA）与局部保留投影算法（Locality Preserving Projection,LPP）。它利用LPP算法中的相似度矩阵重构NSA的类内散度矩阵,使得在最大化类间散度矩阵的同时保留了类的局部结构。在ORL人脸库和XM2VTS人脸库上作了实验并证明LNSA方法要优于其他方法。     

基于推广流形学习的高分辨遥感影像目标分类

针对传统的流形学习算法不能对位于黎曼流形上的协方差描述子进行有效降维这一问题，本文提出一种推广的流形学习算法，即基于Log-Euclidean黎曼核的自适应半监督正交局部保持投影（Log-Euclidean Riemannian kernel-based adaptive semi-supervised orthogonal locality preserving projection，LRK-ASOLPP），并将其成功用于高分辨率遥感影像目标分类问题.首先，提取图像每个像素点处的几何结构特征，计算图像特征的协方差描述子；其次，通过采用Log-Euclidean黎曼核将协方差描述子投影到再生核Hilbert空间；然后，基于流形学习理论，建立黎曼流形上半监督正交局部保持投影算法模型，利用交替迭代更新算法对目标函数进行优化求解，同时获得相似性权矩阵和低维投影矩阵；最后，利用求得的低维投影矩阵计算测试样本的低维投影，并用K—近邻、支持向量机（Support victor machine，SVM）等分类器对其进行分类.三个高分辨率遥感影像数据集上的实验结果说明了该算法的有效性与可行性.     

Two-dimensional discriminant locality preserving projections (2DDLPP) and its application to feature extraction via fuzzy set

This paper presents a new method for image feature extraction, namely, the fuzzy 2D discriminant locality preserving projections (F2DDLPP) based on the 2D discriminant locality preserving projections (2DDLPP) and fuzzy set theory. Firstly, we calculate the membership degree matrix by fuzzy k-nearest neighbor (FKNN), then we incorporate the membership degree matrix into the definition of the intra-class scatter matrix and inter-class scatter matrix, respectively. Secondly, we can get the fuzzy intra-class scatter matrix and fuzzy inter-class scatter matrix, respectively. The FKNN is implemented to achieve the distribution information of original samples, and this information is utilized to redefine corresponding scatter matrices. So, F2DDLPP can extract discriminative features from overlapping (outlier) samples which is different to the conventional 2DDLPP. Finally, Experiments on the Yale, ORL face databases, USPS database and PolyU palmprint database are demonstrated to verify the effectiveness of the proposed algorithm.     

正则化保局鉴别分析方法

提出一种正则化保局鉴别分析方法(RLPDA)并将其应用于人脸识别。受样本有限制约和大量噪声干扰,保局类内散布矩阵的零特征值及小特征值估计不准确,进而影响鉴别保局投影算法的性能。结合倒数谱模型对保局类内散布矩阵的特征值进行正则化,并利用正则化后的特征值对相应的特征空间加权,使人脸空间被保留,噪声空间被削弱,而零空间则被加强。通过分析鉴别信息在数据空间的分布可发现,RLPDA方法有效利用整个特征空间的鉴别信息,有利于提高算法的识别精度,同时从原理上回避小样本问题。在FERET和UMIST人脸数据库上的识别结果表明,RLPDA是一种有效的人脸特征提取方法。     

一种基于核的监督流形学习算法

针对流形学习算法——局部保持映射存在的参数选择及不能进行非线性特征提取的问题,提出一种基于核的监督流形学习算法.该算法作为局部保持映射算法的改进算法用样本类标识信息指导建立局部最近邻图,并在建立局部最近邻图使用无参数的相似度量.利用核方法来解决局部保持映射算法在处理线性不可分问题上的局限性问题.在两个常用数据库上验证本文算法的可行性和有效性.     

一种新的有监督保局投影人脸识别算法

为了充分利用样本的类别信息,提出了一种新的有监督保局投影人脸识别算法（NSLPP）。首先,把类间散布矩阵融入到传统保局投影算法的目标函数中,修改目标函数,并基于新的目标函数得到变换矩阵;然后用线性鉴别的思想筛选出变换矩阵中的最优基向量,构成最终的变换矩阵,把训练样本和测试样本投影到有最优基向量构成的子空间得到训练样本和测试样本的特征;最后采用最近邻分类器分类,在ORL和FERET人脸库上的测试结果表明,NSLPP算法具有较好的识别性能。