基于流形学习的局部保持PCA算法在故障检测中的应用

提出一种新的基于流形学习的数据降维及特征提取方法:局部保持 PCA 算法(LPPCA).通过在 PCA 的优化目标中融入流形学习的思想,不仅使投影得到的低维空间和原始样本空间具有相似的全局结构,并且保持了相似的局部近邻结构,克服了传统 PCA 方法只关注全局结构特征而忽略局部流形特征的缺陷,同时给出了 LPPCA 在故障检测中的应用方法. S-Curve 和 Swiss-roll 曲面数值仿真和 TE 过程仿真验证了算法的有效性和优越性.     

基于L_2,_P稀疏子空间和局部结构保持降维

在无样本类别先验信息下,样本间的局部结构和全局结构信息在降维过程中成为重要的考虑因素。多数降维方法只考虑样本间的单一结构。在降维过程中考虑混合结构,提出基于L_2,_p稀疏子空间和局部结构保持降维方法,同时考虑样本间的全局子空间结构和局部几何结构,通过刻画局部相似性关系图,保持降维前后样本间局部流行结构一致;通过更一般化的L_2,_p(0 相似文献   

稀疏近邻保持投影

从全局特征保持和局部特征保持的角度出发,提出一种稀疏近邻保持投影(SNPE)算法。该算法融合了稀疏重构信息和局部近邻重构信息。投影后的低维数据保持了高维数据的全局几何结构信息和局部近邻近似非线性的结构信息。在Yale、AR和UMIST上的实验表明所提算法是有效的。     

一种基于图的人脸特征提取方法

当前主流特征提取方法主要从全局特征或局部特征出发实现降维。为了能充分反映样本的全局特征和局部特征,提出基于图的人脸特征提取方法。该方法首先通过对训练样本进行学习得到最佳投影方向,该方向保证投影后的样本类内紧密而类间松散;然后将测试样本映射到最佳投影方向上并利用最近邻分类器进行样本类属判定。标准人脸库上的比较实验结果证明了所提方法的有效性。     

基于2D-KPCA的拉普拉斯特征映射人脸识别*

针对拉普拉斯特征映射(LE)只能保持局部近邻信息,对新测试点无法描述的不足,提出一种基于二维核主成分分析的拉普拉斯特征映射算法(2D-KPCA LE)。与核二维主成分分析算法(K2DPCA)不同,该算法首先对训练样本空间进行二维主成分分析（2DPCA）,在保留样本空间结构信息的同时通过去相关性得到低秩的投影特征矩阵;然后用核主成分分析法(KPCA)提取全局非线性特征;由于其核函数需要大量存储空间,再用拉普拉斯特征映射(LE)进行降维。在ORL和FERET人脸数据库中的仿真实验结果表明,基于2D-KPCA的拉普拉斯特征映射算法不但可以有效处理复杂的非线性特征,又可以降低算法复杂度,提高流形学习的识别率。     

大间距无监督正交特征提取算法

以主成分分析和局部保持投影为理论基础,提出了一种同时考虑数据样本的全局和局部特性的大间距无监督正交特征提取算法,算法的目标函数采用大间距准则,避免了由于矩阵求逆带来的小样本问题,同时为了进一步增强算法的识别性能,对所求取的投影矩阵进行了正交化约束,最后人脸库上的实验结果表明所提方法的有效性.     

融合全局与局部特征的贝叶斯人脸识别方法

针对人脸识别特征提取阶段中的数据降维方法往往难以兼顾保持全局与局部特征信息的问题，以及匹配识别阶段贝叶斯分类器中小样本问题，提出了一种融合全局与局部特征的贝叶斯人脸识别方法。该方法通过核主元分析提取出人脸数据的全局非线性特征，并在此基础上通过正交化局部敏感判别分析挖掘出人脸数据的局部流形结构信息，以达到提取出具有高判别力低维本质人脸特征的目的；采用一种最大信息量协方差选择的方法，来对协方差矩阵进行估算，以解决贝叶斯分类器设计中的小样本问题。在ORL、AR、 YALE、FLW人脸库上设计实验来进行验证。结果表明，提出的特征提取算法以及对贝叶斯分类器的改进取得了比较好的效果，通过对这两个阶段的优化，可以显著提升人脸识别的效果。     

有监督的无参数核局部保持投影及人脸识别

针对发掘人脸图像中的高维非线性结构,将加核及构造无参数近邻图两种思想同时引入到局部保持投影算法中,在有监督的模式下,提出了一种新的有监督的无参数核局部保持投影(Parameter-less Supervised Kernel Locality Preserving Projection,PSKLPP)算法并给出了其推导过程。该算法通过将欧氏距离改为对离群数据更为鲁棒的余弦距离,构造无参数近邻图,利用核方法提取人脸图像中的非线性信息,并将其投影在一个高维非线性空间,运用局部保持投影算法得到一线性映射,有效避免了在计算相似矩阵过程中面临的复杂参数选择问题。在ORL和Yale人脸库上的仿真实验验证了所提算法的有效性。     

基于稀疏和近邻保持的极限学习机降维

近邻与稀疏保持投影已被广泛应用于降维方法,通过优化得到满足近邻结构或稀疏结构的降维投影矩阵,然而这类方法多数只考虑单一结构特征.此外,多数非线性降维方法无法求出显式的映射函数,极大地限制了降维方法的应用.为克服这些问题,本文借鉴极限学习机的思想,提出面向聚类的基于稀疏和近邻保持的极限学习机降维算法（SNP-ELM）.SNP-ELM算法是一种非线性无监督降维方法,在降维过程中同时考虑数据的稀疏结构与近邻结构.在人造数据、Wine数据和6个基因表达数据上进行实验,实验结果表明该算法优于其他降维方法.     

基于投影寻踪的高光谱图像特征融合算法

高光谱遥感技术的迅速发展对高光谱图像的数据降维和特征提取等处理方法提出了新的要求；通常的降维处理方法包括主成分分析和投影寻踪两种方法，根据主成分分析方法能反映数据全局特征和投影寻踪法，可以反映出数据局部特征的特点，提出了基于主成分分析与投影寻踪的高光谱图像特征融合算法，将两种方法得到的特征图像进行小波分解并按照高低频互补的融合规则完成了高光谱图像的特征融合，实验证明此方法能够保留场景中感兴趣目标物和背景信息，实现数据的有效压缩。     

全局与局部判别信息融合的转子故障数据集降维方法研究

针对传统的数据降维方法无法兼顾保持全局特征信息与局部判别信息的问题,提出一种核主元分析（Kernel principal component analysis,KPCA）和正交化局部敏感判别分析（Orthogonal locality sensitive discriminant analysis,OLSDA）相结合的转子故障数据集降维方法.该方法首先利用KPCA算法有效降低数据集的相关性、消除冗余属性,由此实现了最大程度地保留原始数据全局非线性信息的作用;然后利用OLSDA算法充分挖掘出数据的局部流形结构信息,达到了提取出具有高判别力低维本质特征的目的.上述方法的特点是通过同时进行的正交化处理可避免局部子空间结构发生失真,采用三维图直观显示出低维结果,以低维特征子集输入最近邻分类器（K-nearest neighbor,KNN）的识别率和聚类分析之类间距Sb、类内距Sw作为衡量降维效果的指标.实验表明该方法能够全面地提取出全局与局部判别信息,使故障分类更清晰,相应地识别准确率得到了明显提升.该研究可为解决高维和非线性机械故障数据集的可视化与分类问题,提供理论参考依据.     

基于改进核主元和支持向量数据描述故障检测

提出基于改进核主元和支持向量数据描述(SVDD)故障检测方法,适合于复杂工业过程具有非线性和非高斯性的情况.首先,通过对核主元(KPCA)特征空间样本进行重构误差,在样本集上自动识别异常值,减少对KPCA算法的影响并增强非线性核映射.然后,利用支持向量数据描述算法处理数据非高斯信号,据此构建统计量对工业过程进行检测.最后,将所提出的改进核主元和支持向量数据描述方法应用于田纳西-伊斯曼(TE,Tennessee Eastman)过程的仿真实验,结果说明提出方法的有效性.     

Locality preserving embedding for face and handwriting digital recognition

Most supervised manifold learning-based methods preserve the original neighbor relationships to pursue the discriminating power. Thus, structure information of the data distributions might be neglected and destroyed in low-dimensional space in a certain sense. In this paper, a novel supervised method, called locality preserving embedding (LPE), is proposed to feature extraction and dimensionality reduction. LPE can give a low-dimensional embedding for discriminative multi-class sub-manifolds and preserves principal structure information of the local sub-manifolds. In LPE framework, supervised and unsupervised ideas are combined together to learn the optimal discriminant projections. On the one hand, the class information is taken into account to characterize the compactness of local sub-manifolds and the separability of different sub-manifolds. On the other hand, at the same time, all the samples in the local neighborhood are used to characterize the original data distributions and preserve the structure in low-dimensional subspace. The most significant difference from existing methods is that LPE takes the distribution directions of local neighbor data into account and preserves them in low-dimensional subspace instead of only preserving the each local sub-manifold’s original neighbor relationships. Therefore, LPE optimally preserves both the local sub-manifold’s original neighborhood relationships and the distribution direction of local neighbor data to separate different sub-manifolds as far as possible. The criterion, similar to the classical Fisher criterion, is a Rayleigh quotient in form, and the optimal linear projections are obtained by solving a generalized Eigen equation. Furthermore, the framework can be directly used in semi-supervised learning, and the semi-supervised LPE and semi-supervised kernel LPE are given. The proposed LPE is applied to face recognition (on the ORL and Yale face databases) and handwriting digital recognition (on the USPS database). The experimental results show that LPE consistently outperforms classical linear methods, e.g., principal component analysis and linear discriminant analysis, and the recent manifold learning-based methods, e.g., marginal Fisher analysis and constrained maximum variance mapping.     

一种新的保类内核Fisher判别法及说话人辨别应用

在保留数据本质特征的前提下,降低数据维度是一种重要的分类预处理手段.深入分析了核Fisher判别 (KFD)方法与核化全局局部保持Fisher投影(KLFDA)方法的相互关系与优缺点,提出了一种新的基于类内特性保持的核化Fisher判别分析方法(LW-KFD).在保留KFD全局最优投影能力的同时,解决了KLFDA的过度局部保持问题,从而对重叠(离群)样本与多态分簇样本都能实现有效的分类投影.提出了快速训练算法,解决了大量训练样本时的内存溢出问题.仿真实验与说话人辨别应用表明,该方法具有很强的适应性,并提高了说话人识别率与识别速度.     

一种改进的局部切空间排列算法

局部切空间排列算法(local tangent space alignment,简称LTSA)是一种新的流形学习算法,能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理样本数较大的样本集和新来的样本点.针对这些缺点,提出了一种基于划分的局部切空间排列算法(partitional local tangent space alignment,简称PLTSA).它建立在VQPCA(vector quantization principal component analysis)算法和LTSA     

Nonlinear process monitoring based on kernel global–local preserving projections

A new nonlinear dimensionality reduction method called kernel global–local preserving projections (KGLPP) is developed and applied for fault detection. KGLPP has the advantage of preserving global and local data structures simultaneously. The kernel principal component analysis (KPCA), which only preserves the global Euclidean structure of data, and the kernel locality preserving projections (KLPP), which only preserves the local neighborhood structure of data, are unified in the KGLPP framework. KPCA and KLPP can be easily derived from KGLPP by choosing some particular values of parameters. As a result, KGLPP is more powerful than KPCA and KLPP in capturing useful data characteristics. A KGLPP-based monitoring method is proposed for nonlinear processes. T² and SPE statistics are constructed in the feature space for fault detection. Case studies in a nonlinear system and in the Tennessee Eastman process demonstrate that the KGLPP-based method significantly outperforms KPCA, KLPP and GLPP-based methods, in terms of higher fault detection rates and better fault sensitivity.     

基于重叠片排列的流形学习算法

针对线性数据降维算法对处理非线性结构数据的降维效果不是很好,提出一种基于重叠片排列的流形学习算法,该算法根据局部的线性贴片处在非线性流形中的特性,将流形划分为线性互相重叠的局部区域贴片,且利用主成分分析方法得到局部区域贴片的低维表示,然后排列且对齐其低维坐标,以获得整体数据的低维坐标.通过仿真结果证明,基于重叠片排列的流形学习算法在应用于人脸识别和分类问题时以及在识别准确率方面要优于其他经典的流形学习算法.     

Local and global principal component analysis for process monitoring

In this paper, a novel data projection method, local and global principal component analysis (LGPCA) is proposed for process monitoring. LGPCA is a linear dimensionality reduction technique through preserving both of local and global information in the observation data. Beside preservation of the global variance information of Euclidean space that principal component analysis (PCA) does, LGPCA is characterized by capturing a good linear embedding that preserves local structure to find meaningful low-dimensional information hidden in the high-dimensional process data. LGPCA-based T² (D) and squared prediction error (Q) statistic control charts are developed for on-line process monitoring. The validity and effectiveness of LGPCA-based monitoring method are illustrated through simulation processes and Tennessee Eastman process (TEP). The experimental results demonstrate that the proposed method effectively captures meaningful information hidden in the observations and shows superior process monitoring performance compared to those regular monitoring methods.     

基于流形学习的泛化改进的LTSA算法

在数据稀疏、数据非均匀分布和数据流形具有较大曲率的情况下,传统的局部切空间方法不能够有效地揭示流形结构。提出了一种泛化的ILTSA（GILTSA）流形学习方法,该方法以改进的局部切空间排列算法（ILTSA）为基础,在解决流形结构问题的同时,不仅能够获得用于人脸识别更好的低维特征,而且能有效地处理日益增加的数据集的问题。该方法首先基于样品间距离选择近邻集,实现训练集的低维流形,为每个新样本寻找最近的样本训练集。然后结合ILTSA算法,根据其最近样本投影距离计算低维流形。在ORL的人脸图像数据库的实验、Swiss roll和手书的“2”等实验结果表明,与局部线性嵌入和局部切空间排列算法等相比,GILTSA方法增加了整体精度。