基于模糊聚类的改进LLE算法

局部线性嵌入法（Locally Linear Embedding,LLE）是一种基于流形学习的非线性降维方法。针对LLE近邻点个数选取、样本点分布以及计算速度的问题,提出基于模糊聚类的改进LLE算法。算法根据聚类中心含有大量的信息这一特点,基于模糊聚类原理,采用改进的样本点距离计算方法,定义了近似重构系数,提高了LLE计算速度,改进了模糊近邻点个数的选取。实验结果表明,改进的算法有效地降低了近邻点个数对算法的影响,具有更好的降维效果和更高的计算速度。      

基于聚类和改进距离的LLE方法在数据降维中的应用

局部线性嵌入算法（locally linear embedding,LLE）是解决降维的方法,针对LLE计算速度和近邻点个数K的选取,研究了该方法的扩展,提出了基于聚类和改进距离的LLE方法．基于聚类LLE方法大大缩减了计算LLE方法的时间;改进距离的LLE方法在近邻点个数取值比较小时的情况下,可得到良好的效果,而原始的LLE方法要达到相同的效果,近邻点个数K的取值通常要大很多．同时,改进距离的LLE方法可以模糊近邻点个数选取．实验结果表明,基于聚类和改进距离相结合的LLE方法相比原来的LLE方法大大提高了降维速度和扩大了参数K的选取．     

局部线性嵌入算法及其稳定性实现

局部线性嵌入(locally linear embedding,LLE)算法是一种非常有效的非线性数据降维算法,广泛应用于机器学习、数据挖掘、模式识别等领域。它通过两次局部最小化实现对高维数据的非线性降维。首先给出了LLE算法关键步骤的理论实现,然后对LLE算法降维效果进行验证,最后在非均匀采样数据集上,分别验证了LLE算法的邻域点稳定性和数据点采样稳定性,有效地验证了LLE算法作为非线性降维算法的良好性能。     

基于最大间距准则的局部图嵌入特征提取方法

针对局部线性嵌入(LLE)算法和最大间距准则(MMC)算法在特征提取问题中存在不足,提出一种有效的数据降维和分类方法--基于最大间距准则的局部图嵌入特征提取算法,并将其应用在人脸识别上.该算法在保持近邻的前提下,分别构造类内紧致图和类间惩罚图.首先在类内紧致图中利用线性重构的局部对称性找出高维数据空间中的非线性结构,使同类样本尽可能地聚集在一起;然后在类间惩罚图中使不同类别的样本尽可能分离;为了避免"小样本"问题,采用MMC的形式构造目标函数.在ORL,Yale和AR人脸图像库进行实验的结果表明,文中算法相对于DLA和LLE+LDA算法有较好的识别性能.     

基于LLE+LDA的人脸识别方法

LLE是最近几年出现的一种非线性降维方法,它是流形学习算法中的一种局部方法.LDA是一种广泛使用的用于人脸特征提取的方法,受小样本问题困扰,在加入PCA后,性能虽有提高,但由于移去了类内散布矩阵的零空间,使得有利于识别的信息可能丢失.且PCA与LDA均是一种线性方法,不利于人脸这种非线性数据的降维.因此将非线性降维方法LLE与监督学习方法LDA 进行接合,使用LLE方法先将数据降到合适的维度,然后再使用LDA方法进行人脸特征的提取.经实验证明,该方法能显著提高人脸识别系统性能.     

一种半监督判别邻域嵌入算法

邻域保持嵌入（Neighborhood Preserving Embedding,NPE）,作为局部线性嵌入（Locally Linear Embedding,LLE）的线性化版本,由于在映射前后保持了数据的局部几何结构并得到了原始数据的子空间描述,在模式识别领域具有较强的应用价值。但作为非监督处理算法,在具体的模式分类中有一定局限性,提出一种NPE的改进算法——半监督判别邻域嵌入（SSDNE）算法,引入标记后样本点的类别信息,并在正则项中引入样本的流形结构,最大化标记样本点的类间信息和类内信息。既增加了算法的辨别能力又减少了监督算法中对样本点进行全标记的工作量。在ORL和YaleB人脸库上的实验结果表明,改进的算法较PCA、LDA、LPP以及原保持近邻判别嵌入算法的识别性能有了较明显的改善。     

基于最大边界准则的稀疏局部嵌入特征提取方法

针对局部线性嵌入算法(LLE)无法利用样本的鉴别信息,最大边界准则算法(MMC)对非线性数据处理能力较弱的不足, 提出一种基于最大间距准则的稀疏局部嵌入(SLE/MMC)特征提取算法。在保持局部近邻的前提下,首先在类内紧致图中使同类样本尽可能地聚集在一起;然后在类间惩罚图中使不同类别的样本尽可能分离;最后使用弹性网回归(Elastic Net)算法得到一个最优的稀疏投影矩阵。为了避免“ 小样本” 问题, 采用MMC的形式构造目标函数。在ORL、Yale以及UMIST人脸库上的实验结果可以看到,同其他几种方法(PCA、LLE和MMC)相比,SLE/MMC具有更高的识别率,表明该方法具有更高效的特征提取能力。     

基于SSLPP算法对高光谱遥感影像分类

局部保持投影算法为非监督维数约简算法,没有有效利用样本数据的类别信息,不能有效提取鉴别特征。针对此问题,提出一种半监督局部保持投影(SSLPP)算法。该算法以少量有标记数据和无标记数据作为训练样本集构造出本征图G_i,并有区别地对待标记样本与无标记样本,增大同类样本点之间的权重,更有利于鉴别特征提取。在AVIRIS KSC和Botswana高光谱遥感影像数据集上的实验结果表明,SSLPP算法能够较为有效地发现高维空间中数据的内蕴结构,使得总体分类精度得到较为明显的改善。     

全局判别与局部稀疏保持HSI半监督特征提取

针对高光谱图像存在“维数灾难”的问题，提出一种全局判别与局部稀疏保持的高光谱图像半监督特征提取算法（GLSSFE）。该算法通过LDA算法的散度矩阵保存有类标样本的全局类内判别信息和全局类间判别信息，结合利用半监督PCA算法对有类标和无类标样本进行主成分分析，保存样本的全局结构；利用稀疏表示优化模型自适应揭示样本数据间的非线性结构，将局部类间判别权值和局部类内判别权值嵌入半监督LPP算法保留样本数据的局部结构，从而最大化同类样本的相似性和异类样本的差异性。通过1-NN和SVM两个分类器分别对Indian Pines和Pavia University两个公共高光谱图像数据集进行分类，验证所提特征提取方法的有效性。实验结果表明，该GLSSFE算法最高总体分类精度分别达到89.10%和92.09%，优于现有的特征提取算法，能有效地挖掘高光谱图像的全局特征和局部特征，极大地提升高光谱图像的地物分类效果。     

一种半监督局部线性嵌入算法的文本分类方法*

针对局部线性嵌入算法（LLE）应用于非监督机器学习中的缺陷,将该算法与半监督思想相结合,提出了一种基于半监督局部线性嵌入算法的文本分类方法。通过使用文本数据的流形结构和少量的标签样本,将LLE中的距离矩阵采用分段形式进行调整;使用调整后的矩阵进行线性重建从而实现数据降维;针对半监督LLE中使用欧氏距离的缺点,采用高斯核函数将欧氏距离进行变换,并用新的核距离取代欧氏距离,提出了基于核的半监督局部线性嵌入算法;最后通过仿真实验验证了改进算法的有效性。     

融合Garbor小波和流形学习的人脸表情识别

通过Garbor小波提取人脸表情特征,为降低Garbor变换后向量维数和提取有效的鉴别特征,将手动选取特征点和监督局部线性嵌入（SLLE）结合起来,利用人脸表情图像数据本身的非线性流形结构信息和样本标签信息来调整点到点之间的距离,并形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸表情识别。结果表明该方法能更为有效地提取反映表情状态的特征,识别率优于传统的PCA算法,取得了较好的识别效果。最后实验分析了SLLE算法近邻数K和嵌入维数对识别率的影响,得到了SLLE算法的最优近邻数K和低维嵌入维数。     

基于半监督流形学习的人脸识别方法

如何有效地将流形学习(Manifold learning,ML)和半监督学习(Semi-supervised learning,SSL)方法进行结合是近年来模式识别和机器学习领域研究的热点问题.提出一种基于半监督流形学习(Semi-supervised manifold learning,SSML)的人脸识别方法,它在部分有标签信息的人脸数据的情况下,通过利用人脸数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸识别.基于公开的人脸数据库上的实验结果表明,该方法能有效地提高人脸识别的性能.     

一种基于核的半监督局部线性嵌入方法

在局部线性嵌入算法中,标签价值没有得到充分体现。针对该问题,提出一种基于核的半监督局部线性嵌入方法。考虑到欧氏距离容易破坏流形结构,将原始数据映射到高维核空间,利用高维空间中的核距离代替欧氏距离,采用半监督标签信息调整距离矩阵,通过调整后的距离矩阵对数据结构进行线性重建,从而提高算法的降维性能。在标准数据集、人脸库、字符库等数据上进行实验,结果表明,与传统局部线性嵌入算法相比,该方法的辨识率提高了2%     

基于LLE-k均值方法的中文文本聚类

文本聚类中,文本特征向量的高维特性使得对样本统计特征的评估十分困难,所以有必要进行有效的维数简约。LLE算法利用线性重构的局部对称性找出高维数据空间中的非线性结构,并在保持各数据点临近位置关系情况下,把高维空间数据点映射为低维空间对应的数据点。文章采用LLE-k均值方法进行中文文本聚类研究。首先利用LLE进行降维处理,然后对得到的线性特征向量用k均值进行聚类分析,与PCAI、SOMAP和LLE算法比较,结果显示LLE-k均值算法能得到更好的可视化效果。     

基于核函数的稳健线性嵌入方法

LLE算法是一种新的非监督学习方法,主要针对非线性降维问题。针对该算法存在的缺点,提出了一种基于核函数的稳健线性嵌入方法,该方法通过引进核函数来优化算法邻域点的求解;在特征空间中,修正权值矩阵W,进行降噪处理,经过推导,最终将实际的子空间计算归结为标准的特征值分解问题。采用最小近邻分类器估算识别率。在Yale人脸库以及AT&T人脸库的测试结果表明,在姿态、光照、表情、训练样本数目变化的情况下,改进的算法都具有较好的识别率。     

一种半监督流形学习的人脸识别方法

针对传统线性降维方法忽略数据局部结构特性的问题,提出了一种基于半监督流形学习的方法。针对人脸识别采用图像欧式距离来选择各样本点的K近邻,由此得到修改后无监督判别投影中的邻接矩阵,在传统的无监督判别投影中,融入类标签信息获得几何最优投影。通过在人脸库上的大量比较实验,验证了该方法的准确性和有效性。     

一种改进的局部线性嵌套方法

局部线性嵌套LLE(locally linear embedding)是一种经典的流形学习方法.对于从单个流形上采样得到的数据集,它能够有效地学习其内在低维结构,然而当数据集是从多个流形上采样得到时,U正的效果并不理想.提出了一种基于距离度量学习的改进方法:Metric LLE,它利用部分数据点的相似信息来学习距离度量.实验结果表明Metric LLE在应用中有很好的性能:分类能力比LLE好;在可视化方面,效果比Supervised LLE好.     

基于二进制生成对抗网络的视觉回环检测研究

针对现有的回环检测模型大多基于有监督学习进行训练,需要大量标注数据的问题,提出一种视觉回环检测新方法,利用生成对抗思想设计一个深度网络,以无监督学习的方式训练该网络并提取高区分度和低维度的二进制特征.将距离传播损失函数和二值化表示熵损失函数引入神经网络,将高维特征空间的海明距离关系传播到低维特征空间并增加低维特征表示的...     

面向自闭症辅助诊断的无监督模糊特征学习新方法

自闭症患者的行为和认知缺陷与潜在的脑功能异常有关。对于静息态功能磁振图像（functional magnetic resonance imaging, fMRI）高维特征,传统的线性特征提取方法不能充分提取其中的有效信息用于分类。为此,本文面向fMRI数据提出一种新型的无监督模糊特征映射方法,并将其与多视角支持向量机相结合,构建分类模型应用于自闭症的计算机辅助诊断。该方法首先采用多输出TSK模糊系统的规则前件学习方法,将原始特征数据映射到线性可分的高维空间;然后引入流形正则化学习框架,提出新型的无监督模糊特征学习方法,从而得到原输出特征向量的非线性低维嵌入表示;最后使用多视角SVM算法进行分类。实验结果表明:本文方法能够有效提取静息态fMRI数据中的重要特征,在保证模型具有优越且稳定的分类性能的前提下,还可以提高模型的可解释性。