局部平衡的判别近邻嵌入算法

判别近邻嵌入算法（discriminant neighborhood embedding,DNE）通过构造邻接图,使得在投影子空间中能够保持原始数据的局部结构,能有效地发现最佳判别方向。但是它有两方面的不足：一方面不能标识样本点的近邻样本点位置信息,从而不能更好地保持邻域结构;另一方面当数据不均衡时,不能实现子空间中类内聚合或者类间分离的目的,这不利于分类。为此提出了一种新的有监督子空间学习算法--局部平衡的判别近邻嵌入算法（locality-balanced DNE,LBDNE）。在构建邻接图时,局部平衡的判别近邻嵌入算法分别建立同类邻接图和异类邻接图,并通过引入一个控制参数,有效地平衡了类内与类间的关系。该算法与其他经典算法相比,在人脸识别问题上具有较高的识别率,充分说明了局部平衡的判别近邻嵌入算法能够有效地处理识别问题。     

一种半监督判别邻域嵌入算法

邻域保持嵌入（Neighborhood Preserving Embedding,NPE）,作为局部线性嵌入（Locally Linear Embedding,LLE）的线性化版本,由于在映射前后保持了数据的局部几何结构并得到了原始数据的子空间描述,在模式识别领域具有较强的应用价值。但作为非监督处理算法,在具体的模式分类中有一定局限性,提出一种NPE的改进算法——半监督判别邻域嵌入（SSDNE）算法,引入标记后样本点的类别信息,并在正则项中引入样本的流形结构,最大化标记样本点的类间信息和类内信息。既增加了算法的辨别能力又减少了监督算法中对样本点进行全标记的工作量。在ORL和YaleB人脸库上的实验结果表明,改进的算法较PCA、LDA、LPP以及原保持近邻判别嵌入算法的识别性能有了较明显的改善。     

一种基于离散度平衡的降维算法

已有的监督维数约简算法大都通过最大化类间离散度总和等相关手段选取判别能力较强的子空间,使得原始空间中距离较小的一些类易被忽略而在子空间中出现不同类的融合现象.为此,提出一种基于离散度平衡的降维算法——离散度平衡投影.该算法利用对称相对熵来衡量样本间的离散度,将对称相对熵与离散度平衡的概念结合,使得算法在降维过程中保持较大类间离散度的同时更加注重较小的类间离散度,以实现类间散度平衡的目的;为了充分使用现实生活中大量无标签样本,通过保持所有样本间拉普拉斯图结构进一步提出了半监督离散度平衡投影.对Soybean,Isolet,COIL20等标准数据集进行维数约简的实验结果表明,文中算法具有较好的降维效果.     

基于成对约束的非线性维数约减框架

半监督维数约简是指借助于辅助信息与大量无标记样本信息从高维数据空间找到一个最优低维判别空间,便于后续的分类或聚类操作,它被看作是理解基因序列、文本与人脸图像等高维数据的有效方法。提出一个基于成对约束的半监督维数约简一般框架（SSPC）。该方法首先通过使用成对约束和无标号样本的内在几何结构学习一个判别邻接矩阵;其次,新方法应用学到的投影将原来高维空间中的数据映射到低维空间中,以至于聚类内的样本之间距离变得更加紧凑,而不同聚类间的样本之间距离变得尽可能得远。所提出的算法不仅能找到一个最佳的线性判别子空间,还可以揭示流形数据的非线性结构。在一些真实数据集上的实验结果表明,新方法的性能优于当前主流基于成对约束的维数约简算法的性能。     

基于SSLPP算法对高光谱遥感影像分类

局部保持投影算法为非监督维数约简算法,没有有效利用样本数据的类别信息,不能有效提取鉴别特征。针对此问题,提出一种半监督局部保持投影(SSLPP)算法。该算法以少量有标记数据和无标记数据作为训练样本集构造出本征图G_i,并有区别地对待标记样本与无标记样本,增大同类样本点之间的权重,更有利于鉴别特征提取。在AVIRIS KSC和Botswana高光谱遥感影像数据集上的实验结果表明,SSLPP算法能够较为有效地发现高维空间中数据的内蕴结构,使得总体分类精度得到较为明显的改善。     

基于监督判别局部保持投影的表情识别算法

LPP算法是无监督算法,并没有考虑到不同类别的样本对分类效果的影响,结果会造成不同类数据点的重叠,故所获得的子空间对于分类问题来说未必是最优的。提出一种新的基于监督判别局部保持投影（SDLPP）的表情识别算法。利用样本的类别信息重新构造LPP算法中的相似矩阵,然后在目标函数中增加类间散度约束,这样就会在保持样本点局部结构的同时,使不同类的样本点相互远离,从而得到更具有判别性的表情特征。该算法在识别率上比其他方法都有较大提高,通过在JAFFE表情库上的实验验证了其有效性。     

全局判别与局部稀疏保持HSI半监督特征提取

针对高光谱图像存在“维数灾难”的问题，提出一种全局判别与局部稀疏保持的高光谱图像半监督特征提取算法（GLSSFE）。该算法通过LDA算法的散度矩阵保存有类标样本的全局类内判别信息和全局类间判别信息，结合利用半监督PCA算法对有类标和无类标样本进行主成分分析，保存样本的全局结构；利用稀疏表示优化模型自适应揭示样本数据间的非线性结构，将局部类间判别权值和局部类内判别权值嵌入半监督LPP算法保留样本数据的局部结构，从而最大化同类样本的相似性和异类样本的差异性。通过1-NN和SVM两个分类器分别对Indian Pines和Pavia University两个公共高光谱图像数据集进行分类，验证所提特征提取方法的有效性。实验结果表明，该GLSSFE算法最高总体分类精度分别达到89.10%和92.09%，优于现有的特征提取算法，能有效地挖掘高光谱图像的全局特征和局部特征，极大地提升高光谱图像的地物分类效果。     

基于图的半监督学习的距离度量改进

基于图的半监督学习的一个关键问题是:图上顶点之间的距离度量的有效性问题。为了解决这个问题,提出了基于图的半监督学习的距离度量改进方法。通过在现有密度敏感的距离度量方案中添加补偿参数的方法,使得改进的距离度量方案不但能够有效地扩大不同类别的高密度区域样本间的距离,同时还能缩小相同类别中样本之间的距离。将改进的距离度量方案应用到聚类算法中,来验证改进的距离度量方案的有效性。实验结果表明:改进的距离度量方法能够有效地扩大不同类别间距离,增强类内聚合度。     

一种半监督局部线性嵌入算法的文本分类方法*

针对局部线性嵌入算法（LLE）应用于非监督机器学习中的缺陷,将该算法与半监督思想相结合,提出了一种基于半监督局部线性嵌入算法的文本分类方法。通过使用文本数据的流形结构和少量的标签样本,将LLE中的距离矩阵采用分段形式进行调整;使用调整后的矩阵进行线性重建从而实现数据降维;针对半监督LLE中使用欧氏距离的缺点,采用高斯核函数将欧氏距离进行变换,并用新的核距离取代欧氏距离,提出了基于核的半监督局部线性嵌入算法;最后通过仿真实验验证了改进算法的有效性。     

一种新的有监督的局部保持典型相关分析算法

从模式识别的角度出发,在局部保持典型相关分析的基础上,提出一种有监督的局部保持典型相关分析算法(SALPCCA)。该方法在构造样本近邻图时将样本的类别信息考虑在内,由样本间的距离度量确定权重,建立样本间的多重权重相关,通过使同类内的成对样本及其近邻间的权重相关性最大,从而能够在利用样本的类别信息的同时,也能保持数据的局部结构信息。此外,为了能够更好地提取样本的非线性信息,将特征集映射到核特征空间,又提出一种核化的SALPCCA(KSALPCCA)算法。在ORL、Yale、AR等人脸数据库上的实验结果表明,该方法较其他的传统典型相关分析方法有着更好的识别效果。     

中心近邻嵌入学习算法的人脸识别研究

针对人脸识别问题,提出了一种中心近邻嵌入的学习算法,其与经典的局部线性嵌入和保局映射不同,它是一种有监督的线性降维方法。该方法首先通过计算各类样本中心,并引入中心近邻距离代替两样本点之间的直接距离作为权系数函数的输入;然后再保持中心近邻的几何结构不变的情况下把高维数据嵌入到低维坐标系中。通过中心近邻嵌入学习算法与其他3种人脸识别方法(即主成分分析、线形判别分析及保局映射)在ORL、Yale及UMIST人脸库上进行的比较实验结果表明,它在高维数据低维可视化和人脸识别效果等方面均较其他3种方法取得了更好的效果。     

Locality preserving and global discriminant projection with prior information

Existing supervised and semi-supervised dimensionality reduction methods utilize training data only with class labels being associated to the data samples for classification. In this paper, we present a new algorithm called locality preserving and global discriminant projection with prior information (LPGDP) for dimensionality reduction and classification, by considering both the manifold structure and the prior information, where the prior information includes not only the class label but also the misclassification of marginal samples. In the LPGDP algorithm, the overlap among the class-specific manifolds is discriminated by a global class graph, and a locality preserving criterion is employed to obtain the projections that best preserve the within-class local structures. The feasibility of the LPGDP algorithm has been evaluated in face recognition, object categorization and handwritten Chinese character recognition experiments. Experiment results show the superior performance of data modeling and classification to other techniques, such as linear discriminant analysis, locality preserving projection, discriminant locality preserving projection and marginal Fisher analysis.     

Learning a locality discriminating projection for classification

This paper introduces a new algorithm called locality discriminating projection (LDP) for subspace learning, which provides a new scheme for discriminant analysis by considering both the manifold structure and the prior class information. In the LDP algorithm, the overlap among the class-specific manifolds is approximated by an invader graph, and a locality discriminant criterion is proposed to find the projections that best preserve the within-class local structures while decrease the between-class overlap. The feasibility of the LDP algorithm has been successfully tested in text data and visual recognition experiments. Experiment results show it is an effective technique for data modeling and classification comparing to linear discriminant analysis, locality preserving projection, and marginal Fisher analysis.     

基于多视图边界判别投影的高光谱图像分类

高光谱图像分类是遥感领域研究的热点问题,其关键在于利用高光谱图谱合一的 优势,同时融合高光谱图像中各个像元位置的光谱信息和空间信息,提高光谱图像分类精度。 针对高光谱图像特征维数高和冗余信息多等问题,采用多视图子空间学习方法进行特征降维, 提出了图正则化的多视图边界判别投影算法。将每个像元处的光谱特征看作一个视图,该像元 处的空间特征看作另一个视图,通过同时优化每个视图上的投影方向来寻找最优判别公共子空 间。公开测试数据集上的分类实验表明,多视图学习在高光谱图像空谱融合分类方面具有显著 的优越性,在多视图降维算法中,该算法具有最高的分类准确性。     

基于随机子空间的局部鉴别投影*

针对高维数据容易对噪声敏感及容易造成维数灾难问题,文中提出基于随机子空间的局部鉴别投影算法(RSLDP).利用随机子空间方法对高维的原始数据进行特征选择,在生成的低维特征子空间构造近邻图,降低噪声影响.RSLDP通过最大化局部类间加权散度和最小化局部类内加权散度,同时最小化样本的总体局部散度,改进局部最大间距鉴别嵌入算法,较好刻画样本与其类间类内近邻中心点的关系,有利于鉴别特征的提取.在CMU PIE和AR这2个人脸数据库上的实验表明文中算法的有效性.     

Linear discriminant projection embedding based on patches alignment

Dimensionality reduction is often required as a preliminary stage in many data analysis applications. In this paper, we propose a novel supervised dimensionality reduction method, called linear discriminant projection embedding (LDPE), for pattern recognition. LDPE first chooses a set of overlapping patches which cover all data points using a minimum set cover algorithm with geodesic distance constraint. Then, principal component analysis (PCA) is applied on each patch to obtain the data's local representations. Finally, patches alignment technique combined with modified maximum margin criterion (MMC) is used to yield the discriminant global embedding. LDPE takes both label information and structure of manifold into account, thus it can maximize the dissimilarities between different classes and preserve data's intrinsic structures simultaneously. The efficiency of the proposed algorithm is demonstrated by extensive experiments using three standard face databases (ORL, YALE and CMU PIE). Experimental results show that LDPE outperforms other classical and state of art algorithms.     

基于鉴别稀疏保持嵌入的人脸识别算法

鉴于近年来稀疏表示（Sparse representation,SR）在高维数据例如人脸图像的特征提取与降维领域的快速发展,对原始的稀疏保持投影（Sparsity preserving projection,SPP）算法进行了改进,提出了一种叫做鉴别稀疏保持嵌入（Discriminant sparsity preserving embedding,DSPE）的算法. 通过求解一个最小二乘问题来更新SPP中的稀疏权重并得到一个更能真实反映鉴别信息的鉴别稀疏权重,最后以最优保持这个稀疏权重关系为目标来计算高维数据的低维特征子空间.该算法是一个线性的监督学习算法,通过引入鉴别信息,能够有效地对高维数据进行降维. 在ORL库、Yale库、扩展Yale B库和CMU PIE库上的大量实验结果验证了算法的有效性.     

结合成对约束的近邻稀疏保留投影算法

稀疏保持投影算法是一种无监督的全局线性降维方法,无法应对训练样本不足及类内样本间差异过大的情况。针对该问题,提出一种结合成对约束机制的近邻稀疏保留投影算法。利用近邻样本求取稀疏系数以保留局部结构信息,引入成对约束监督的思想,利用样本类别指导稀疏重构过程,最后定义能最大限度保留稀疏系数中蕴含的类别信息的低维子空间。将该算法用于人脸识别,实验结果证明了算法在识别率以及运行时间上的有效性和可行性。     

Unsupervised double weight graphs based discriminant analysis for dimensionality reduction

ABSTRACT

Dimensionality reduction plays an important role in pattern recognition tasks. Locality preserving projection and neighbourhood preserving embedding are popular unsupervised feature extraction methods, which try to preserve a certain local structure in the low-dimensional subspace. However, only considering the local neighbour information will limit the methods to achieve higher recognition accuracy. In this paper, an unsupervised double weight graphs based discriminant analysis method (uDWG-DA) is proposed. First, uDWG-DA considers both similar and dissimilar relationships among samples by using double weight graphs. In order to explore the dissimilar information, a new partitioning strategy is proposed to divide the data set into different clusters, where samples of different clusters are dissimilar. Then, based on L_2,1 norm, uDWG-DA finds the optimal projection to not only preserve the similar local structure but also increase the separability among different clusters of the data set. Experiments on four hyperspectral images validate the advantage and feasibility of the proposed method compared with other dimensionality reduction methods.     

子空间半监督Fisher判别分析

Fisher判别分析寻找一个使样本数据类间散度与样本数据类内散度比值最大的子空间, 是一种很流行的监督式特征降维方法. 标注样本数据所属的类别通常需要大量的人工, 消耗大量的时间, 付出昂贵的成本. 为了解决同时利用有类别信息的样本数据和没有类别信息的样本数据用于寻找降维子空间的问题, 我们提出了一种子空间半监督Fisher判别分析方法. 子空间半监督Fisher判别分析寻找这样一个子空间, 这个子空间即保留了从有类别信息的样本数据中学习的类别判别结构, 也保留了从有类别信息的样本数据和没有类别信息的样本数据中学习的样本结构信息. 我们还推导了基于核的子空间半监督Fisher判别分析方法. 通过人脸识别实验验证了本文算法的有效性.