核的正交完备鉴别局部保持投影

针对完备鉴别局部保持投影算法所求得的最优判别矢量间存在信息冗余问题,提出了核的正交完备鉴别局部保持投影算法。通过将核函数技术与正交性原理融合,采用高斯核函数将原始样本映射到高维特征空间,在高维特征空间的局部总体散度矩阵中计算最优判别矢量,只需在整个范围内对值域空间进行特征值分解,去除局部零空间达到样本降维目的。该算法分别在 UMIST 人脸库和 JAFFE 人脸表情库上进行实验,实验结果表明算法的识别率高达95．59％。     

完备的无参数近邻保持及最大化非近邻算法

无参数保持投影算法无需参数设置且识别性能稳定,但算法不能有效地保持样本的局部结构,且忽略了非局部样本所起的作用,而且存在着小样本(SSS)问题,为此提出了一种完备的无参数近邻保持及最大化非近邻算法。算法以样本间余弦距离0.5为分界点将样本分成近邻及非近邻样本,为了充分利用近邻样本及非近邻样本,分别构造了近邻散度矩阵及非近邻散度矩阵,因此算法的目标函数就是求取能够最小化近邻散度矩阵的同时,最大化非近邻散度矩阵的投影矩阵。对于目标函数的求解,可先将高维样本通过主成分分析(PCA)算法降至一个低维的子空间,并通过两个定理证明了这种处理方法没有损失任何有效的判别信息;然后将目标函数转换为差形式,从而有效地解决了小样本问题。在人脸库及掌纹库上的实验结果表明,与无参数局部保持投影算法相比,所提算法平均识别率更高,验证了算法的有效性。     

无监督的差分鉴别特征提取以及在人脸识别上的应用

局部保持投影(LPP)只考虑了投影后的局部性,而忽视了非局部性.针对这个问题,引入非局部散布矩阵,提出无监督的差分鉴别特征提取算法,通过最大化非局部和局部之间的散度差来寻找最优变换矩阵,并将其成功地应用于人脸识别.该算法同时引入非局部和局部的信息,揭示隐含在高维图像空间中的非线性结构;采用差分的形式求解最优变换矩阵,以避免"小样本"问题;对LPP中的邻接矩阵进行了修正,以更准确地描述样本之间的邻近关系.在Yale和AR标准人脸库上的实验结果验证了文中算法的有效性.     

核判别随机近邻嵌入分析方法

为了有效地解决非线性特征提取中存在的鉴别效率和样本外问题,最大限度地保持观测信息,并进一步提高相关方法的降维性能,将核学习的方法应用到判别随机近邻嵌入分析方法中,提出一种核判别随机近邻嵌入分析方法.通过引入核函数,将原空间中的样本映射到高维核空间中,构建了用于反映同类和异类数据间相似度的联合概率表达式;在此基础上,引入线性投影矩阵生成对应子空间数据;最后在类内Kullback-Leiber(KL)散度最小和类间KL散度最大的准则下建立目标泛函.该方法突出了异类样本间的特征差异,使样本变得线性可分,从而提高了分类性能.在COIL-20图像库和ORL,Yale经典人脸库上进行实验,验证了文中方法的分类鉴别能力.     

最大散度差无监督鉴别特征抽取与人脸识别

最大散度差准则是对Fisher准则的改进,消除了小样本问题,但是该方法是基于整体特征的人脸识另q方?法,没有考虑到样本的局部特性.无监督的鉴别投影(UDP)技术,用于对高维数据进行维数缩减,它同时考虑到样本的局部特征和非局部特征,但是在人脸等高维图像识别的应用中,不可避免地会出现小样本问题.提出一种基于散度差的无监督鉴别特征抽取,避免了局部协方差奇异所产生的问题.在ORL人脸库和AR人脸库上的实验结果验证了该算法的有效性.     

基于判别等度规映射的人脸识别

等度规映射算法旨在最大限度地保持样本间距离,没有考虑样本的类判别信息。针对该问题,提出一种基于判别等度规映射的人脸识别算法。在等度规映射算法的基础上,引入最大散度差准则,得到优化的目标函数。在嵌入低维子空间后,同类样本保持其固有的近邻几何结构关系,不同类近邻样本则彼此远离。在ORL数据库上的实验结果验证了该算法的有效性。     

分类概率保持鉴别分析及其在人脸识别中的应用

针对特征提取算法中存在的问题,在线性鉴别分析的基础上提出分类概率保持鉴别分析(CPPDA)并成功应用于人脸识别.CPPDA首先计算每个样本的分类概率,并利用分类概率重新定义样本的类间散布矩阵和类内散布矩阵;然后通过最大化类间散度同时最小化类内散度寻求最佳投影矩阵,使得样本的原始分布信息在低维特征空间能得到保持.在ORL、Yale及FERET人脸库上进行测试比较,结果表明文中所提方法的优越性.     

一种局部加权的二维主成分分析算法及其在人脸识别中的应用

提出了一种将局部特征加权与二维主成分分析相结合的局部加权的二维主成分分析方法．引入了二维局部加权特征子空间的概念，将各类样本映射到这个局部加权特征子空间，再通过计算测试样本到加权子空间的距离进行样本的分类．使用这种方法在ORL人脸库上进行测试，结果表明，经过局部特征加权的二维主成分分析方法比普通的二维主成分分析方法具有更优的性能，并且在提高识别率的同时算法的复杂程度并没有明显增加．     

近邻类鉴别分析方法

提出一种近邻类鉴别分析方法,线性鉴别分析是该方法的一个特例。线性鉴别分析通过最大化类间散度同时最小化类内散度寻找最佳投影,其中类间散度是所有类之间散度的总体平均;而近邻类鉴别分析中类间散度定义为各个类与其k个近邻类之间的平均散度。该方法通过选取适当的近邻类数,能够缓解线性鉴别降维后造成的部分类的重叠。实验结果表明近邻类鉴别分析方法性能稳定且优于传统的线性鉴别分析。     

自适应的软子空间聚类算法

软子空间聚类是高维数据分析的一种重要手段.现有算法通常需要用户事先设置一些全局的关键参数,且没有考虑子空间的优化.提出了一个新的软子空间聚类优化目标函数,在最小化子空间簇类的簇内紧凑度的同时,最大化每个簇类所在的投影子空间.通过推导得到一种新的局部特征加权方式,以此为基础提出一种自适应的k-means型软子空间聚类算法.该算法在聚类过程中根据数据集及其划分的信息,动态地计算最优的算法参数.在实际应用和合成数据集上的实验结果表明,该算法大幅度提高了聚类精度和聚类结果的稳定性.     

适用于小样本的双邻接图判别分析算法

作为一种常用的降维方法,适用于小样本的监督化拉普拉斯判别分析方法通过使用图嵌入的判别近邻分析得到了很好的降维效果。但该方法在构建近邻图时,在K近邻中寻找同类和异类样本点存在数据不平衡问题;此外,在优化该方法的目标函数时,没有全面考虑到类间信息,从而会在一定程度上降低该方法的性能。针对以上两个问题,本文提出了适用于小样本的双邻接图判别分析方法。首先该方法分别在同类和异类样本中找出K个近邻点,然后使用这K个类内近邻点和K个类间近邻点来构造双邻接图,这样可以确保邻接图中既有同类样本点也有异类样本点,且数目相同。然后该方法在目标函数的推导结果中加入了类间拉普拉斯散度矩阵,从而使优化得到的投影矩阵融入更多的类间信息。在Yale和ORL人脸数据集上进行实验,并与同类方法相比,结果表明本文提出的适用于小样本的双邻接图判别分析方法能够得到更好的降维效果。     

最小距离鉴别投影及其在人脸识别中的应用

针对人脸识别问题,提出了最小距离鉴别投影算法,其与经典的线性鉴别分析不同,它是一种流形学习降维算法。该算法首先定义样本的类内相似度与类间相似度:前者能够度量样本与类内中心的距离关系,后者不仅能够反映样本与类间中心的距离关系而且能够反映样本类间距与类内距的大小关系;然后将高维数据映射到低维特征空间,使得样本到类内中心距离最小同时到类间中心距离最大。最后,在ORL、FERET及AR人脸库上的实验结果表明所提算法识别性能要优于其他算法。     

局部平衡的判别近邻嵌入算法

判别近邻嵌入算法（discriminant neighborhood embedding,DNE）通过构造邻接图,使得在投影子空间中能够保持原始数据的局部结构,能有效地发现最佳判别方向。但是它有两方面的不足：一方面不能标识样本点的近邻样本点位置信息,从而不能更好地保持邻域结构;另一方面当数据不均衡时,不能实现子空间中类内聚合或者类间分离的目的,这不利于分类。为此提出了一种新的有监督子空间学习算法--局部平衡的判别近邻嵌入算法（locality-balanced DNE,LBDNE）。在构建邻接图时,局部平衡的判别近邻嵌入算法分别建立同类邻接图和异类邻接图,并通过引入一个控制参数,有效地平衡了类内与类间的关系。该算法与其他经典算法相比,在人脸识别问题上具有较高的识别率,充分说明了局部平衡的判别近邻嵌入算法能够有效地处理识别问题。     

Two-dimensional discriminant locality preserving projections (2DDLPP) and its application to feature extraction via fuzzy set

This paper presents a new method for image feature extraction, namely, the fuzzy 2D discriminant locality preserving projections (F2DDLPP) based on the 2D discriminant locality preserving projections (2DDLPP) and fuzzy set theory. Firstly, we calculate the membership degree matrix by fuzzy k-nearest neighbor (FKNN), then we incorporate the membership degree matrix into the definition of the intra-class scatter matrix and inter-class scatter matrix, respectively. Secondly, we can get the fuzzy intra-class scatter matrix and fuzzy inter-class scatter matrix, respectively. The FKNN is implemented to achieve the distribution information of original samples, and this information is utilized to redefine corresponding scatter matrices. So, F2DDLPP can extract discriminative features from overlapping (outlier) samples which is different to the conventional 2DDLPP. Finally, Experiments on the Yale, ORL face databases, USPS database and PolyU palmprint database are demonstrated to verify the effectiveness of the proposed algorithm.     

Discriminant neighborhood embedding for classification

In this paper a novel subspace learning method called discriminant neighborhood embedding (DNE) is proposed for pattern classification. We suppose that multi-class data points in high-dimensional space tend to move due to local intra-class attraction or inter-class repulsion and the optimal embedding from the point of view of classification is discovered consequently. After being embedded into a low-dimensional subspace, data points in the same class form compact submanifod whereas the gaps between submanifolds corresponding to different classes become wider than before. Experiments on the UMIST and MNIST databases demonstrate the effectiveness of our method.     

Orthogonal margin discriminant projection for dimensionality reduction

Dimensionality reduction aims to represent high-dimensional data with much smaller number of features, which plays as a preprocessing step to remove the insignificant and irrelevant features in many machine learning applications, resulting in lower computational cost and better performance of classifiers. In most cases, the data points can be well classified with margin samples which are defined as furthest intra-class samples and nearest inter-class samples. Motivated by this observation, this paper proposes a linear supervised dimensionality reduction method called orthogonal margin discriminant projection (OMDP). After OMDP projection, intra-class data points become more compact and inter-class data points become more separated. Extensive experiments have been conducted to evaluate the proposed OMDP algorithm using several benchmark face data sets. The experimental results confirm the effectiveness of the proposed method.     

Classification of gene-expression data: The manifold-based metric learning way

Classification of microarray gene-expression data can potentially help medical diagnosis, and becomes an important topic in bioinformatics. However, microarray data sets are usually of small sample size relative to an overwhelming number of genes. This makes the classification problem fairly challenging. Instance-based learning (IBL) algorithms, such as nearest neighbor (k-NN), are usually the baseline algorithm due to their simplicity. However, practices show that k-NN performs not very well in this field. This paper introduces manifold-based metric learning to improve the performance of IBL methods. A novel metric learning algorithm is proposed by utilizing both local manifold structural information and local discriminant information. In addition, a random subspace extension is also presented. We apply the proposed algorithm to the gene-classification problem in three ways: one in the original feature space, another in the reduced feature space, and the third via the random subspace extension. Statistical evaluation shows that the proposed algorithm can achieve promising results, and gain significant performance improvement over traditional IBL algorithms.     

Fisher极小准则不相关空间算法及其在人脸识别中的应用

不相关空间算法是一种基于广义Fisher准则求解不相关鉴别矢量集的快速算法,但该算法要求总体散度矩阵可逆。针对高维小样本的情况,文中提出求解不相关鉴别矢量集的改进方法。该方法的基本思路是在类间散度矩阵的值空间中运用广义Fisher极小准则求解鉴别矢量集,并讨论在该子空间中进行求解的合理性。针对高维情况下类间散度矩阵值空间的计算效率问题,提出首先利用PCA算法将数据降维,然后在低维空间中求解值空间的策略并讨论其合理性。在ORL人脸数据库上的实验验证该方法的有效性,其识别率高于传统的Fisher脸方法和不相关空间算法。     

基于最近邻子空间搜索的两类文本分类方法

在文本分类中,最近邻搜索算法具有思想简单、准确率高等优点,但通常在分类过程中的计算量较大。为克服这一不足,提出了一种基于最近邻子空间搜索的两类文本分类方法。首先提取每一类样本向量组的特征子空间,并通过映射将子空间变换为高维空间中的点,然后把最近邻子空间搜索转化为最近邻搜索完成分类过程。在Reuters-21578数据集上的实验表明,该方法能够有效提高文本分类的性能,具有较高的准确率、召回率和F1值。