一种改进的邻域保持嵌入算法

邻域保持嵌入(NPE)是一种新颖的子空间学习算法,在降维的同时保持了样本集原有的局部邻域流形结构。为了进一步增强NPE在人脸识别和语音识别中的识别功能,提出了一种改进的邻域保持嵌入算法(RNPE)。在NPE的基础上通过引入类间权值矩阵,使得类间离散度最大,类内离散度最小,增加了样本类间散布约束。最后利用极端学习机(ELM)分类器进行分类,在Yale人脸库、Umist人脸库、Isolet语音库上的实验结果表明,RNPE算法的识别率明显高于NPE算法、LMMDE算法以及RAF-GE算法。     

局部平衡的判别近邻嵌入算法

判别近邻嵌入算法（discriminant neighborhood embedding,DNE）通过构造邻接图,使得在投影子空间中能够保持原始数据的局部结构,能有效地发现最佳判别方向。但是它有两方面的不足：一方面不能标识样本点的近邻样本点位置信息,从而不能更好地保持邻域结构;另一方面当数据不均衡时,不能实现子空间中类内聚合或者类间分离的目的,这不利于分类。为此提出了一种新的有监督子空间学习算法--局部平衡的判别近邻嵌入算法（locality-balanced DNE,LBDNE）。在构建邻接图时,局部平衡的判别近邻嵌入算法分别建立同类邻接图和异类邻接图,并通过引入一个控制参数,有效地平衡了类内与类间的关系。该算法与其他经典算法相比,在人脸识别问题上具有较高的识别率,充分说明了局部平衡的判别近邻嵌入算法能够有效地处理识别问题。     

改进LNS和邻域保持嵌入算法的研究

传统邻域保持嵌入算法(Neighbor Preserving Embedding,NPE)对具有多中心、方差差异明显特性的高维数据的降维处理效果并不好,因此提出一种改进LNS和邻域保持嵌入算法(Modified Local Neighbor Standardization-Neighbor Preserving Embedding,MLNS-NPE),并应用于故障诊断中。利用MLNS算法对数据进行处理,对处理后的数据进行NPE算法建模。在数值例子和青霉素发酵过程中应用该算法与传统NPE算法、核邻域保持嵌入算法(KNPE)、KNN算法比较,结果表明,采用该算法后,数据多中心和模态差异消除,为后续NPE算法的应用提供先决条件,同时相比其他算法故障检测率最高,提高了NPE算法对多模态数据的检测能力。     

半监督邻域保持嵌入在高光谱影像分类中的应用

为了解决高光谱遥感影像的维数约简问题以提高分类算法的分类精度,并针对高光谱影像通常只包含少量标记样本的问题,提出了基于一种半监督邻域保持嵌入(SSNPE)和改进的KNN分类器的高光谱影像分类算法。该算法在NPE的基础上同时利用同类标记样本和邻域未标记样本获得数据的邻域嵌入结构,并且通过增加标记近邻样本的权重加大降维数据的鉴别性,进而增加k近邻分类器的样本分类精度。在Urban、Indian高光谱影像数据集上的实验结果表明,改进的算法的分类精度提高了约8.7%、3.6%以上,分类性能有了较明显的改善。     

基于交叉熵的改进NPE间歇过程故障检测算法

针对具有复杂动态特性的间歇过程进行故障检测,邻域保持嵌入(neighborhood preserving embedding,NPE)算法在保持数据局部几何结构时因忽略全局信息而造成检测率较低的问题,提出一种基于交叉熵(cross entropy,CE)的邻域保持嵌入(CEGLNPE)算法.首先,将交叉熵保持全局结构的思想引入NPE的局部结构保持中,得到兼顾全局-局部的目标函数;然后,利用滑动窗进一步解决间歇过程动态性问题并建立全局-局部的故障检测模型,可以同时兼顾全局和局部数据的结构保持,以提高故障检测效率和精度;最后,通过监测SPE、T²统计量判断是否发生故障.利用人工数据集Swiss-Roll和青霉素发酵仿真过程与KPCA、NPE算法进行对比验证,所得结果表明了所提出算法在故障检测中的有效性.     

基于近邻元分析的半监督流形学习算法*

现有的大多数流形学习算法偏重保持流形的几何结构,并未考虑到样本点的标签信息,这在一定程度上限制了流形学习算法在数据分类中的应用.因此文中提出一种基于近邻元分析的半监督流形学习算法,采用近邻元分析学习距离度量矩阵,在距离度量方式下选择样本点的局部邻域点.基于距离度量方式构造样本点和邻域点的局部几何结构,并在样本点的低维嵌入坐标中保持这种局部几何结构不变.3个不同数据集上的分类实验验证了文中算法的有效性.     

完备正交邻域保持判别嵌入的人脸识别

为解决邻域保持判别嵌入算法所面临的小样本问题,并充分利用类内邻域散度矩阵零空间和非零空间中的判别信息进行人脸识别,提出一种完备正交邻域保持判别嵌入的人脸识别算法。首先间接地利用特征分解方法去除总体邻域散度矩阵的零空间;然后分别在类内邻域散度矩阵零空间和非零空间中提取最优判别矢量。此外,为进一步提高算法的识别性能,给出了基于瘦QR分解的正交投影矩阵的求解方法。在ORL和Yale人脸库上验证了以上算法的有效性。     

基于类别信息的邻域保持嵌入算法

邻域保持嵌入通常被广泛用于发现高维数据的固有内在维数.为了充分利用样本的类别信息,构建了一个具有判别信息的邻接矩阵,其可以使同类样本点更加紧凑而异类样本点更加疏远.在此基础上,提出了基于类别信息的邻域保持嵌入算法.基于类别信息的邻域保持嵌入算法在不破坏原始高维数据局部几何结构的同时,可以使处于不同子流形上的样本点尽量分开.在UCI数据集和ORL人脸数据集上的实验结果表明,基于类别信息的邻域保持嵌入算法具有较高的识别率.     

基于度量优化的保持邻域嵌入的人脸识别

监督的保持邻域嵌入算法采用欧氏度量选取k近邻。欧氏度量在数据维数较低时能获得较好的结果,但直接简单地将其从低维空间的应用推广到高维空间中不能取得较好的结果。针对该缺点,提出度量优化的保持邻域嵌入算法。该算法分为无类标号信息(MONPE)和有类标号信息(CLMONPE)2种情况,利用线性判别分析算法降维后的数据选取k近邻。在Yale人脸数据库上的实验结果表明,CLMONPE算法效果较优。     

KNPE算法在化工过程故障检测中的应用

化工生产过程具有维数高、非线性强等特点。针对传统的邻域保持嵌入(NPE)算法对非线性数据特征提取不足的缺陷,引入高斯核函数,将数据由非线性的输入空间转换到线性的特征空间。核邻域保持嵌入(KNPE)算法在构建局部空间特征结构的基础上,能够更好地提取数据的非线性结构。通过以田纳西-伊斯曼(TE)仿真过程为例,构造T2和SPE统计量进行故障检测,证明了KNPE方法比NPE和KPCA方法能够更快更准确的检测出非线性故障的发生。     

核邻域保持判别嵌入在人脸识别中的应用

为更有效地进行数据降维,将核映射思想引入到邻域保持判别嵌入中,提出一种核邻域保持判别嵌入的流形学习算法。以类内相似度矩阵与类间散度矩阵之差作为鉴别准则,使类间散度矩阵不受满秩的约束,从而解决人脸数据的非线性和小样本问题。在ORL和Yale人脸库上的实验结果表明,该算法具有较好的人脸识别性能。     

一种有监督的稀疏保持近邻嵌入算法

为充分利用样本的类别信息,提出一种有监督的稀疏保持近邻嵌入算法(SSNPE).该算法结合稀疏表示和保持近邻的思想,根据先验类标签信息保持局部邻域的固有几何关系.采用最小近邻分类器估算识别率,测试结果表明,在姿态、光照和表情变化的情况下,SSNPE都具有较高的识别率.     

基于SNPE和SVM的人脸识别

在人脸识别方面,传统的特征提取方法大都是线性方法,不能很好保持样本的拓扑结构。分类方面,支持向量机能够尽量提高学习的泛化能力,防止过学习,是一种很好的分类器。提出了一种基于SNPE和SVM的人脸识别方法。采用有监督模式确定NPE算法中的K值。SNPE算法旨在保持数据的局部流型结构,而且相对于近期提出的LLE算法,它能够适用于训练样本和测试样本,具有更大的实用型。结合两分类支持向量机级联模型进行人脸识别,在ORL人脸数据库上实验表明,算法具有稳健性、快速性等优点,实验效果令人满意。     

改进的多流形LLE学习算法

流形学习已成为机器学习和数据挖掘领域的研究热点。比如,算法LLE（Locally Linear Embedding）作为一种非线性降维算法有很好的泛化性能,被广泛地应用于图像分类和目标识别,但其仅仅假设了数据集处于单流形的情况。MM-LLE（Multiple Manifold Locally Linear Embedding）学习算法作为一种考虑多流形情况的改进算法,依然存在几点不足之处。因此,提出改进的MM-LLE算法,通过任意两类间的局部低维流形组合并构建分类器来提高分类精度;同时改进原算法计算最佳维度的方法。通过与算法ISOMAP、LLE以及MM-LLE比较分类精度,实验结果验证了改进算法的有效性。     

正交及不相关边界邻域保持嵌入的人脸识别

邻域保持嵌入(NPE)算法本质上仍是一种无监督方法,并没有有效利用已有的类别信息提高分类效率。为此提出两种有监督流形学习方法：正交边界邻域保持嵌入(OMNPE)和不相关边界邻域保持嵌入(UMNPE)。首先构造类内和类间邻接图,并定义类内和类间重构误差;然后分别在正交和不相关约束条件下寻找最小化类内重构误差同时最大化类间重构误差的投影向量;将训练样本和测试样本分别投影到低维子空间中,再利用最近邻分类器进行分类识别。在ORL和Yale人脸库上的实验结果表明,与线性判别分析(LDA)、边界Fisher分析(MFA)等子空间人脸识别算法相比,所提算法的平均识别率提高了0.5%~3%,验证了算法的有效性。     

改进的保持邻域嵌入人脸识别方法

为进一步提高保持邻域嵌入算法在人脸识别中的识别性能,提出一种改进的保持邻域嵌入人脸识别方法LDNPE。利用先验的类标签信息构造权重矩阵,按照线性鉴别的思想把类间散布矩阵嵌入到目标函数中,增加样本类间散布约束,基于修改后的目标函数得到最优变换矩阵,并用最近距离分类器分类。在CAS-PEAL和FERET人脸数据库上的实验结果表明该算法的有效性。     

基于局部线性嵌入算法的汉语数字语音识别

语音信号转换到频域后维数较高,流行学习方法可以自主发现高维数据中潜在低维结构的规律性,提出采用流形学习的方法对高维数据降维来进行汉语数字语音识别。采用流形学习中的局部线性嵌入算法提取语音频域上高维数据的低维流形结构特征,再将低维数据输入动态时间规整识别器进行识别。仿真实验结果表明,采用局部线性嵌入算法的汉语数字语音识别相较于常用声学特征MFCC维数要少,识别率提高了1.2%,有效提高了识别速度。     

基于二维近邻保持嵌入的图像识别

近邻保持嵌入算法(NPE)是一种保持数据流形上局部结构的子空间学习算法,它是对局部线性嵌入的线性逼近。然而当数据为图像时,图像被拉直为向量后的维数通常非常高,而样本点有限,由于矩阵的奇异性,NPE不能直接运用。我们将NPE推广到二维情形,提出二维近邻保持嵌入算法(2D-NPE)。2D-NPE直接在二维图像矩阵上提取图像特征,而不是把图像拉直成一维向量后再提取特征。通过在手写数字字符图像库和Yale人脸图像库上的实验,验证算法的有效性。