基于近邻元分析的半监督流形学习算法*

现有的大多数流形学习算法偏重保持流形的几何结构,并未考虑到样本点的标签信息,这在一定程度上限制了流形学习算法在数据分类中的应用.因此文中提出一种基于近邻元分析的半监督流形学习算法,采用近邻元分析学习距离度量矩阵,在距离度量方式下选择样本点的局部邻域点.基于距离度量方式构造样本点和邻域点的局部几何结构,并在样本点的低维嵌入坐标中保持这种局部几何结构不变.3个不同数据集上的分类实验验证了文中算法的有效性.     

基于LPP的工业过程故障检测

针对传统的降维算法在降维过程中存在着丢失数据的局部邻域信息的问题,一种基于局部保持投影(LPP)用于工业工程数据检测的方法被应用。LPP算法的思想是通过构造数据样本点之间的亲疏关系,并且在投影降维的同时保留数据样本点的这种局部邻域结构,从而保留数据的局部信息。论文将LPP算法与传统的降维算法-主元分析法(P CA)在田纳西-伊斯曼过程(T EP)仿真系统上进行检测对比,结果表明,LPP算法具有更加优越的检测性能。     

保持局部邻域关系的增量Hessian LLE算法

Hessian LLE算法是一种经典的流形学习算法,但该方法是以批处理的方式进行的,当新的数据点加入时,必须重新运行整个算法,计算所有数据点低维嵌入,原来的运算结果被全部丢弃。鉴于此,提出了一种保持局部邻域关系的增量Hessian LLE(LIHLLE)算法,该方法通过保证流形新增样本点在原空间和嵌入空间局部邻域的线性关系不变,用其已有邻域点的低维坐标线性表示新增样本点,来得到新增点的低维嵌入,实现增量学习。在Swiss roll withhole和frey_rawface数据集上的实验表明,该方法简便、有效可行。     

一种半监督判别邻域嵌入算法

邻域保持嵌入（Neighborhood Preserving Embedding,NPE）,作为局部线性嵌入（Locally Linear Embedding,LLE）的线性化版本,由于在映射前后保持了数据的局部几何结构并得到了原始数据的子空间描述,在模式识别领域具有较强的应用价值。但作为非监督处理算法,在具体的模式分类中有一定局限性,提出一种NPE的改进算法——半监督判别邻域嵌入（SSDNE）算法,引入标记后样本点的类别信息,并在正则项中引入样本的流形结构,最大化标记样本点的类间信息和类内信息。既增加了算法的辨别能力又减少了监督算法中对样本点进行全标记的工作量。在ORL和YaleB人脸库上的实验结果表明,改进的算法较PCA、LDA、LPP以及原保持近邻判别嵌入算法的识别性能有了较明显的改善。     

基于最近邻的随机非线性降维

针对线性降维技术应用于具有非线性结构的数据时无法得到令人满意的结果的问题,提出一种新的着重于保持高维空间局部最近邻信息的非线性随机降维算法(NNSE)。该算法首先在高维空间中通过计算样本点之间的欧氏距离找出每个样本点的最近邻点,接着在低维空间中产生一个随机的初始分布;然后通过将低维空间中的样本点不断向其最近邻点的平均位置移动,直到产生稳定的低维嵌入结果。与一种先进的非线性随机降维算法——t分布随机邻域嵌入(t-SNE)相比,NNSE算法得到的低维结果在可视化方面与t-SNE算法相差不大,但通过比较两者的量化指标可以发现,NNSE算法在保持最近邻信息方面上明显优于t-SNE算法。     

应用于人脸识别的改进局部保持投影算法

局部保持投影算法（locality preserving projections,LPP）作为降维算法,在机器学习和模式识别中有着广泛应用。在识别分类中,为了更好的利用类别信息,在保持样本点的局部特征外,有效地从高维数据中提取出低维的人脸图像信息并提高人脸图像的识别率和识别速度,使分类达到一定优化,基于LPP算法结合流形学习思想,通过构造一种吸引向量的方法提出一种改进的局部保持投影算法（reformation locality preserve projections ,RLPP）。将数据集利用极端学习机分类器进行分类后,在标准人脸数据库上的进行试验,实验结果证明,改进后算法的识别率优于LPP算法、局部保持平均邻域边际最大化算法和鲁棒线性降维算法,具有较强的泛化能力和较高的识别率。     

基于切空间判别的稀疏数据降维方法

为了有效地约简稀疏数据的维度,提出一种基于切空间判别的稀疏数据局部降维方法,其思想是扩展局部邻域,增大样本点间的重叠信息,使之在稀疏降维过程中通过充分的信息达到精确的低维嵌入;利用切空间判别的方法对扩展后局部区域的样本点进行选择保留,弃除切方向变化较大的点,使之实现更好的降维效果。实验结果表明,在人工生成的数据集上,新方法获得了较好的嵌入结果;并且在人脸识别与图像检索中得到了期望的可视化分类结果。     

基于密度和相关分量分析的局部线性嵌入算法

为解决局部线性嵌入算法(LLE)性能受初始邻域值大小和相似性度量选取的制约,提出一种基于密度和相关分量分析(relevant component analysis,RCA)的局部线性嵌入算法(DRLLE).对每一个样本点计算一个密度缩放因子,根据密度缩放因子对样本点的初始邻域值进行自适应调整,计算RCA距离作为LLE算法的相似性度量,得到样本点的近邻集,进行降维处理.将DRLLE和其它LLE改进算法在Swiss roll、Swiss roll hole和ORL数据库上进行对比实验,其结果表明,DRLLE算法具有良好的降维效果和识别性能.     

基于局部超平面的流形奇异值点去除算法

局部线性嵌入算法通常用于高维流形数据降维,具有结构简单、不易陷入局部极小值、能保持局部几何结构不变的特点,但它对噪声和干扰奇异值点非常敏感。为此,提出基于局部超平面的流形奇异值点去除算法,将样本点的邻域投影到超平面空间,使干扰奇异值点投影远离流形样本点投影,而流形样本点投影则表现为聚集特征,同时找出邻域中所有远离聚集中心的样本点作为干扰奇异值点。仿真实验结果验证了该算法的正确性和有效性。     

自适应邻域图的流形学习方法

针对目前流形学习方法的嵌入效果非常敏感于局部邻域的选取方式,提出一种自适应邻域图的非线性数据降维方法。该方法考虑数据点周围的点分布信息,自适应地寻找最近邻域大小。不同于传统的邻域选取方法,此方法根据样本点周围的疏密程度来动态地获得最近邻域数,且所得到的各个样本点的邻域数是不等的;将每个样本点与其最近邻点连接,构建自适应邻域图进行有效降维。在人工生成数据集和人脸数据上的仿真结果表明,提出的方法得到了良好的降维效果。     

Two-dimensional complete neighborhood preserving embedding

Complete neighborhood preserving embedding (CNPE) is an improvement to the neighborhood preserving embedding (NPE) algorithm, which can address the singularity and stability problems of NPE and at the same time preserve useful discriminative information. However, CNPE works with vectorized representations of data, and thus, the original 2D face image matrices should be previously transformed into the same dimensional vectors. Such a matrix-to-vector transform usually leads to a high-dimensional image vector space, which makes the eigenanalysis quite difficult and time-consuming. Beyond computational issues, some spatial structural information between nearby pixels may be lost after vectorization. In this paper, we develop a new scheme for image feature extraction, namely, two-dimensional complete neighborhood preserving embedding (2D-CNPE). 2D-CNPE builds the eigenmatrix and the weight matrix which characterize local neighborhood properties of data directly based on the original face images, and then, the optimal embedding axes are obtained by performing an eigen-decomposition. Experimental results on three face databases show that the proposed 2D-CNPE achieves better performance than other feature extraction methods, such as Eigenfaces, Fisherfaces, and 2D-PCA.     

基于二维近邻保持嵌入的图像识别

近邻保持嵌入算法(NPE)是一种保持数据流形上局部结构的子空间学习算法,它是对局部线性嵌入的线性逼近。然而当数据为图像时,图像被拉直为向量后的维数通常非常高,而样本点有限,由于矩阵的奇异性,NPE不能直接运用。我们将NPE推广到二维情形,提出二维近邻保持嵌入算法(2D-NPE)。2D-NPE直接在二维图像矩阵上提取图像特征,而不是把图像拉直成一维向量后再提取特征。通过在手写数字字符图像库和Yale人脸图像库上的实验,验证算法的有效性。     

核岭回归的邻域保持最大间隔分析的人脸识别

邻域保持嵌入是局部线性嵌入的线性近似,强调保持数据流形的局部结构.改进的最大间隔准则重视数据流形的判别和几何结构,提高了对数据的分类性能.文中提出的核岭回归的邻域保持最大间隔分析既保持流形的局部结构,又使不同类别的数据保持最大间隔,以此构建算法的目标函数.为了解决数据流形高度非线性化的问题,算法采用核岭回归计算特征空间的变换矩阵.先求解数据样本在核子空间中降维映射的结果,再解得核子空间.在标准人脸数据库上的实验表明该算法正确有效,并且识别性能优于普通的流形学习算法.     

正交化近邻关系保持的降维及分类算法

针对近邻关系保持嵌入（NPE）算法易于受到降低后的维数影响,而且性能依赖于正确的维数估计的问题,提出了一种正交化的近邻关系保持的嵌入降维方法——ONPE。ONPE方法是使用数据点间的近邻关系来构造邻接图,假设每个数据点都能由其近邻点的线性组合表示,则可以通过提取数据点的局部几何信息,并在降维中保持提取的局部几何信息,迭代地计算正交基来得到数据的低维嵌入坐标。同时,在ONPE算法的基础上,利用局部几何信息,提出了一种在低维空间中使用标签传递（LNP）的分类算法——ONPC。其是假设高维空间中的局部近邻关系在降维后的空间中依然得到保持,并且数据点的类别可由近邻点的类别得到。在人工数据和人脸数据上的实验表明,该算法在减少维数依赖的同时,能有效提高NPE算法的分类性能。     

Complete neighborhood preserving embedding for face recognition

Neighborhood preserving embedding (NPE) is a linear approximation to the locally linear embedding algorithm which can preserve the local neighborhood structure on the data manifold. However, in typical face recognition where the number of data samples is smaller than the dimension of data space, it is difficult to directly apply NPE to high dimensional matrices because of computational complexity. Moreover, in such case, NPE often suffers from the singularity problem of eigenmatrix, which makes the direct implementation of the NPE algorithm almost impossible. In practice, principal component analysis or singular value decomposition is applied as a preprocessing step to attack these problems. Nevertheless, this strategy may discard dimensions that contain important discriminative information and the eigensystem computation of NPE could be unstable. Towards a practical dimensionality reduction method for face data, we develop a new scheme in this paper, namely, the complete neighborhood preserving embedding (CNPE). CNPE transforms the singular generalized eigensystem computation of NPE into two eigenvalue decomposition problems. Moreover, a feasible and effective procedure is proposed to alleviate the computational burden of high dimensional matrix for typical face image data. Experimental results on the ORL face database and the Yale face database show that the proposed CNPE algorithm achieves better performance than other feature extraction methods, such as Eigenfaces, Fisherfaces and NPE, etc.     

改进的保持邻域嵌入人脸识别方法

为进一步提高保持邻域嵌入算法在人脸识别中的识别性能,提出一种改进的保持邻域嵌入人脸识别方法LDNPE。利用先验的类标签信息构造权重矩阵,按照线性鉴别的思想把类间散布矩阵嵌入到目标函数中,增加样本类间散布约束,基于修改后的目标函数得到最优变换矩阵,并用最近距离分类器分类。在CAS-PEAL和FERET人脸数据库上的实验结果表明该算法的有效性。     

Regularized locality preserving discriminant embedding for face recognition

For face recognition, graph embedding techniques attempt to produce a high data locality projection for better recognition performance. However, estimation of population data locality could be severely biased due to small number of training samples. The biased estimation triggers overfitting problem and hence poor generalization. In this paper, we propose a new linear graph embedding technique based upon an adaptive locality preserving regulation model (ALPRM), known as Regularized Locality Preserving Discriminant Embedding (RLPDE). In RLPDE, the projection features are regulated based on ALPRM to approach population data locality, which can directly enhance the locality preserving capability of the projection features. This paper also presents the relation between locality preserving capability and class discrimination. Specifically, we show that the optimization of the locality preserving function minimizes the within-class variability. Experiments on three face datasets such as PIE, FRGC and FERET show the promising performance of the proposed technique.     

基于二维邻域保持判别嵌入的人脸识别

提出二维邻域保持判别嵌入(2DNPDE)算法,该算法是一种有监督的基于二维图像矩阵的特征提取算法.为表示样本的类内邻域结构和类间距离关系,分别构建类内邻接矩阵和类间相似度矩阵.2DNPDE所获得的投影空间不但使不同类数据点的低维嵌入相互分离,而且保留同类样本的邻域结构和不同类样本的距离关系.在ORL和AR人脸数据库上的实验表明,该算法具有更好的识别效果.     

Process monitoring via enhanced neighborhood preserving embedding

A novel process monitoring scheme named enhanced neighborhood preserving embedding (ENPE) is proposed. Neighborhood preserving embedding (NPE) only considers the reconstruction error on the basis of each local neighborhood is linear. For the purpose of addressing both the reconstruction error and the distance, the dual weight matrix and the enhanced objective function are constructed in the ENPE method. Finally, under a numerical example and the Tennessee Eastman (TE) benchmark, the superiority of the proposed ENPE method is evaluated through comparing with principal component analysis (PCA) and NPE.     

改进LNS和邻域保持嵌入算法的研究

传统邻域保持嵌入算法(Neighbor Preserving Embedding,NPE)对具有多中心、方差差异明显特性的高维数据的降维处理效果并不好,因此提出一种改进LNS和邻域保持嵌入算法(Modified Local Neighbor Standardization-Neighbor Preserving Embedding,MLNS-NPE),并应用于故障诊断中。利用MLNS算法对数据进行处理,对处理后的数据进行NPE算法建模。在数值例子和青霉素发酵过程中应用该算法与传统NPE算法、核邻域保持嵌入算法(KNPE)、KNN算法比较,结果表明,采用该算法后,数据多中心和模态差异消除,为后续NPE算法的应用提供先决条件,同时相比其他算法故障检测率最高,提高了NPE算法对多模态数据的检测能力。