基于邻域图的低秩投影学习

特征提取算法通常只单独用到了数据的局部结构或者整体结构,这样将得不到全局最优投影矩阵,且投影矩阵不具备很好的可解释性。为此,提出了一种基于邻域图的低秩投影学习算法。该算法通过在数据的重构残差上施加图约束来保持数据的局部结构,同时引入低秩项来保持整体结构;算法利用L2,1范数行稀疏的性质对投影矩阵进行约束,这样可以剔除冗余特征,提高投影矩阵的可解释性;并且算法引入噪声稀疏项来减弱样本本身存在噪声的干扰。模型采用交替迭代方法求解,在多个数据集上的实验结果表明该算法能有效地提高分类精度。     

基于空间约束低秩图的人脸识别

低秩表示能够很好地揭示隐藏在数据中的全局结构信息并且对噪声具有很强的鲁棒性。基于图嵌入维数约简理论框架,提出了一种人脸识别算法,其利用低秩表示模型构建数据低秩图。此外,在低秩模型中引入数据空间约束项,构建一种具有空间约束的低秩图以提高识别效果。在ORL和PIE标准人脸数据库上进行实验,同传统的识别算法相比,结果显示所提出的算法在识别率和对噪声的鲁棒性上具有更好的表现。     

基于低秩稀疏图的结构保持投影算法

在图嵌入理论框架下,能够较好地揭示数据本质特性的图在一些维数约简方法中起到关键性的作用。基于稀疏表示和低秩表示方法,构建了一种低秩稀疏图,能够同时揭示数据的局部结构信息和全局结构信息。然后,利用图嵌入理论方法使这些特性在线性投影的过程中得以保持不变,从而学习出高维数据有效的低维嵌入。在标准的人脸和手写数字数据集(ORL,Yale,PIE,MNIST)上进行实验,同传统的图嵌入方法比较,结果表明了算法的有效性。     

基于低秩稀疏评分的非监督特征选择

在处理高维数据过程中,特征选择是一个非常重要的数据降维步骤。低秩表示模型具有揭示数据全局结构信息的能力和一定的鉴别能力。稀疏表示模型能够利用较少的连接关系揭示数据的本质结构信息。在低秩表示模型的基础上引入稀疏约束项,构建一种低秩稀疏表示模型学习数据间的低秩稀疏相似度矩阵;基于该矩阵提出一种低秩稀疏评分机制用于非监督特征选择。在不同数据库上将选择后的特征进行聚类和分类实验,同传统特征选择算法进行比较。实验结果表明了低秩特征选择算法的有效性。     

基于局部特征与核低秩表示的人脸识别算法

针对人脸识别中的遮挡、伪装、光照及表情变化等问题,提出一种基于局部特征与核低秩表示的人脸识别算法。首先,对训练和测试的样本图片进行LBP特征的提取;然后将其通过映射函数投影到高维特征空间中进行后续操作,投影到高维空间中的特征矩阵通过降维处理后采用低秩表示的方法来提取样本之间的共同特征;最后根据低秩表示的结果进行分类识别。实验证明算法在对遮挡、伪装以及光照变化等噪声的影响鲁棒性更强,同时较当前的一些人脸识别算法的识别率也有了显著的提高。     

低秩稀疏图嵌入的半监督特征选择

目的 特征降维是机器学习领域的热点研究问题。现有的低秩稀疏保持投影方法忽略了原始数据空间和降维后的低维空间之间的信息损失,且现有的方法不能有效处理少量有标签数据和大量无标签数据的情况,针对这两个问题,提出基于低秩稀疏图嵌入的半监督特征选择方法（LRSE）。方法 LRSE方法包含两步：第1步是充分利用有标签数据和无标签数据分别学习其低秩稀疏表示,第2步是在目标函数中同时考虑数据降维前后的信息差异和降维过程中的结构信息保持,其中通过最小化信息损失函数使数据中有用的信息尽可能地保留下来,将包含数据全局结构和内部几何结构的低秩稀疏图嵌入在低维空间中使得原始数据空间中的结构信息保留下来,从而能选择出更有判别性的特征。结果 将本文方法在6个公共数据集上进行测试,对降维后的数据采用KNN分类验证本文方法的分类准确率,并与其他现有的降维算法进行实验对比,本文方法分类准确率均有所提高,在其中的5个数据集上本文方法都有最高的分类准确率,其分类准确率分别在Wine数据集上比次高算法鲁棒非监督特征选择算法（RUFS）高11.19%,在Breast数据集上比次高算法RUFS高0.57%,在Orlraws10P数据集上比次高算法多聚类特征选择算法（MCFS）高1%,在Coil20数据集上比次高算法MCFS高1.07%,在数据集Orl64上比次高算法MCFS高2.5%。结论 本文提出的基于低秩稀疏图嵌入的半监督特征选择算法使得降维后的数据能最大限度地保留原始数据包含的信息,且能有效处理少量有标签样本和大量无标签样本的情况。实验结果表明,本文方法比现有算法的分类效果更好,此外,由于本文方法基于所有的特征都在线性流形上的假设,所以本文方法只适用于线性流形上的数据。     

基于低秩分解的鲁棒典型相关分析

典型相关分析（CCA）是一种经典的多特征提取算法,它能够有效地抽取两组特征之间的相关性,现已被广泛应用于模式识别。在含噪声数据情况下,CCA的特征表示性能受到限制。为了使CCA更好地处理含噪声数据,提出一种基于低秩分解的典型相关分析算法——鲁棒典型相关分析（robust canonical correlation analysis,RbCCA）。RbCCA首先对特征集进行低秩分解,得到低秩分量和噪声分量,以此分别构建对应的协方差矩阵。通过最大化低秩分量的相关性,同时最小化噪声分量的相关性来建立判别准则函数,进而求取鉴别投影矢量。在MFEAT手写体数据库、ORL和Yale人脸数据中的实验结果表明,在包含噪声的情况下,RbCCA的识别效果优于现有的典型相关分析方法。     

基于局部结构学习的非线性属性选择算法

针对大多数高维数据之间不仅有相似性,而且还有非线性关系等特点,提出一种基于局部结构学习的非线性属性选择算法。该算法首先通过核函数把数据映射到高维空间,在高维空间中表示出数据属性之间的非线性关系;然后在低维空间中通过局部结构学习来充分挖掘属性之间的相似性,同时通过低秩约束来排除噪声的干扰;最后通过稀疏正则化因子来进行属性选择。其通过核函数映射来找出数据属性之间的非线性关系,运用局部结构学习来找出数据属性之间的相似性,是一种嵌入了局部结构学习的非线性属性选择算法。实验结果表明,该算法相比其他的对比算法,有更好的效果。     

基于鉴别稀疏保持嵌入的人脸识别算法

鉴于近年来稀疏表示（Sparse representation,SR）在高维数据例如人脸图像的特征提取与降维领域的快速发展,对原始的稀疏保持投影（Sparsity preserving projection,SPP）算法进行了改进,提出了一种叫做鉴别稀疏保持嵌入（Discriminant sparsity preserving embedding,DSPE）的算法. 通过求解一个最小二乘问题来更新SPP中的稀疏权重并得到一个更能真实反映鉴别信息的鉴别稀疏权重,最后以最优保持这个稀疏权重关系为目标来计算高维数据的低维特征子空间.该算法是一个线性的监督学习算法,通过引入鉴别信息,能够有效地对高维数据进行降维. 在ORL库、Yale库、扩展Yale B库和CMU PIE库上的大量实验结果验证了算法的有效性.     

引入低秩约束先验的深度子空间聚类

大多数子空间聚类算法将高维数据映射到低维子空间时不能较好捕获数据间几何结构.针对上述问题,文中提出引入低秩约束先验的深度子空间聚类算法,兼顾数据全局和局部结构信息.算法结合低秩表示与深度自编码器,利用低秩约束捕获数据全局结构,并将约束神经网络的潜在特征表示为低秩.自编码通过最小化重构误差进行非线性低维子空间映射,保留数据的局部特性.以多元逻辑回归函数作为判别模型,预测子空间分割.整个算法在无监督联合学习框架下进行优化.在5个数据集上的实验验证文中方法的有效性.     

基于双邻接图正交近邻保持投影的人脸识别算法

正交保持投影(ONPP)是经典的图嵌入降维技术,已经成功地应用到人脸识别中,其保持了高维数据的局部性和整体几何结构。监督的ONPP通过建立同类邻接图来最小化同类局部重构误差,寻找最优的低维嵌入,但是其只使用了类内信息,这会导致异类数据点间的结构不够明显。因此,提出了基于双邻接图的正交近邻保持投影(DAG-ONPP)算法。通过建立同类邻接图与异类邻接图,在数据嵌入低维空间后同类近邻重构误差尽量小,异类近邻重构误差更加明显。在ORL,Yale,YaleB和PIE人脸库上的实验结果表明,与其他经典算法相比,所提方法有效提高了分类能力。     

Locality preserving embedding for face and handwriting digital recognition

Most supervised manifold learning-based methods preserve the original neighbor relationships to pursue the discriminating power. Thus, structure information of the data distributions might be neglected and destroyed in low-dimensional space in a certain sense. In this paper, a novel supervised method, called locality preserving embedding (LPE), is proposed to feature extraction and dimensionality reduction. LPE can give a low-dimensional embedding for discriminative multi-class sub-manifolds and preserves principal structure information of the local sub-manifolds. In LPE framework, supervised and unsupervised ideas are combined together to learn the optimal discriminant projections. On the one hand, the class information is taken into account to characterize the compactness of local sub-manifolds and the separability of different sub-manifolds. On the other hand, at the same time, all the samples in the local neighborhood are used to characterize the original data distributions and preserve the structure in low-dimensional subspace. The most significant difference from existing methods is that LPE takes the distribution directions of local neighbor data into account and preserves them in low-dimensional subspace instead of only preserving the each local sub-manifold’s original neighbor relationships. Therefore, LPE optimally preserves both the local sub-manifold’s original neighborhood relationships and the distribution direction of local neighbor data to separate different sub-manifolds as far as possible. The criterion, similar to the classical Fisher criterion, is a Rayleigh quotient in form, and the optimal linear projections are obtained by solving a generalized Eigen equation. Furthermore, the framework can be directly used in semi-supervised learning, and the semi-supervised LPE and semi-supervised kernel LPE are given. The proposed LPE is applied to face recognition (on the ORL and Yale face databases) and handwriting digital recognition (on the USPS database). The experimental results show that LPE consistently outperforms classical linear methods, e.g., principal component analysis and linear discriminant analysis, and the recent manifold learning-based methods, e.g., marginal Fisher analysis and constrained maximum variance mapping.     

Hyperspectral image classification based on robust discriminative extraction of multiple spectral-spatial features

In hyperspectral image (HSI) processing, the inclusion of both spectral and spatial features, e.g. morphological features, shape features, has shown great success in classification of hyperspectral data. Nevertheless, there exist two main issues to address: (1) The multiple features are often treated equally and thus the complementary information among them is neglected. (2) The features are often degraded by a mixture of various kinds of noise, leading to the classification accuracy decreased. In order to address these issues, a novel robust discriminative multiple features extraction (RDMFE) method for HSI classification is proposed. The proposed RDMFE aims to project the multiple features into a common low-rank subspace, where the specific contributions of different types of features are sufficiently exploited. With low-rank constraint, RDMFE is able to uncover the intrinsic low-dimensional subspace structure of the original data. In order to make the projected features more discriminative, we make the learned representations optimal for classification. With intrinsic information preserving and discrimination capabilities, the learned projection matrix works well in HSI classification tasks. Experimental results on three real hyperspectral datasets confirm the effectiveness of the proposed method.     

Local structure preservation in Kernel space for feature selection

For many machine learning and data mining tasks in the information explosion environment, one is often confronted with very high dimensional heterogeneous data. Demands for new methods to select discrimination and valuable features that are beneficial to classification and cluster have increased. In this paper, we propose a novel feature selection method to jointly map original data from input space to kernel space and conduct both subspace learning (via locality preserving projection) and feature selection (via a sparsity constraint). Specifically, the nonlinear relationship between data is explored adequately through mapping data from original low-dimensional space to kernel space. Meanwhile, the subspace learning technique is leveraged to preserve available information of local structure in ambient space. Last, by restricting the sparsity of the coefficient matrix, the weight of some features is 0. As a result, we eliminate redundant and irrelevant features and thus make our method select informative and distinguishing features. By comparing our proposed method with some state-of-the-art methods, the experimental results demonstrate that the proposed method outperformed the comparisons in terms of clustering task.

     

基于改进结构保持数据降维方法的故障诊断研究

传统基于核主成分分析(Kernel principal component analysis,KPCA)的数据降维方法在提取有效特征信息时只考虑全局结构保持而未考虑样本间的局部近邻结构保持问题,本文提出一种改进全局结构保持算法的特征提取与降维方法.改进的特征提取与降维方法将流形学习中核局部保持投影(Kernel loc...     

低秩约束的非线性属性选择算法

针对高维的数据中往往存在非线性、低秩形式和属性冗余等问题,提出一种基于核函数的属性自表达无监督属性选择算法——低秩约束的非线性属性选择算法（LRNFS）。首先,将每一维的属性映射到高维的核空间上,通过核空间上的线性属性选择去实现低维空间上的非线性属性选择;然后,对自表达形式引入偏差项并对系数矩阵进行低秩与稀疏处理;最后,引入核矩阵的系数向量的稀疏正则化因子来实现属性选择。所提算法中用核矩阵来体现其非线性关系,低秩考虑数据的全局信息进行子空间学习,自表达形式确定属性的重要程度。实验结果表明,相比于基于重新调整的线性平方回归（RLSR）半监督特征选择算法,所提算法进行属性选择之后作分类的准确率提升了2.34%。所提算法解决了数据在低维特征空间上线性不可分的问题,提升了属性选择的准确率。     

非负局部约束低秩子空间聚类算法

在低秩表示算法的基础上,提出了一个新模型。新模型构建了揭示数据内在特征联系的亲和度图以实现聚类任务。首先,根据矩阵分解原理对原始数据重新生成数据字典,在算法初始输入时筛除部分噪声。其次,利用数据间的稀疏性加强局部约束,为给定的数据向量构建非负低秩亲和度图。亲和度图中边的权重由非负低秩稀疏系数矩阵获得,系数矩阵通过每个数据样本作为其他数据样本的线性组合完成构建,如此获得的亲和度图显示了数据的子空间结构,同时表现局部线性结构。与现存的子空间算法相比,非负局部约束低秩子空间算法在聚类效果上有明显的提升。     

基于QR分解的正则化邻域保持嵌入算法

针对训练样本不足时,对数据的低维子空间估计可能会产生严重偏差的问题,提出了一种基于QR分解的正则化邻域保持嵌入算法。首先,该算法定义一个局部拉普拉斯矩阵保留原始数据的局部结构;其次,将类内散度矩阵的特征谱空间划分成三个子空间,通过倒数谱模型定义的权值函数获得新的特征向量空间,进而对高维数据进行预处理;最后,定义一个邻域保持邻接矩阵,利用QR分解获得的投影矩阵和最近邻分类器进行人脸分类。与正则化广义局部保持投影(RGDLPP)算法相比,所提算法在ORL、Yale、FERET和PIE库上识别率分别提高了2个百分点、1.5个百分点、1.5个百分点和2个百分点。实验结果表明,所提算法易于实现,在小样本(SSS)下有较高的识别率。     

面向矩阵秩函数准确估计的自表示子空间聚类方法

传统子空间聚类方法通常使用矩阵核范数代替矩阵秩函数进行低秩矩阵恢复,然而在目标优化过程中主要关注低秩矩阵大奇异值的影响,容易导致矩阵秩估计不准确的问题。为此,在分析矩阵奇异值长尾分布特点基础上,提出使用基于截断Schatten-p范数的低秩子空间聚类模型。该模型充分考虑小奇异值对低秩矩阵恢复过程的贡献,利用小奇异值信息拟合矩阵奇异值的长尾分布,通过对矩阵秩函数进行准确估计以提升子空间聚类性能。实验结果表明,与现有加权核范数子空间聚类WNNM-LRR和近邻约束子空间聚类BDR算法相比,在Extended Yale B数据集上的聚类准确性分别提升了11%和8%,所提方法能够更好地拟合数据奇异值分布以及生成准确的相似度矩阵。