基于流形学习的高光谱图像非线性降维算法

针对高光谱图像同一像元内存在多种地物种类,且地物之间具有多重反射,导致高光谱数据的非线性,采用传统的线性降维算法效果不佳等问题,提出利用流形学习的方法来寻找嵌入在高维观测数据空间的低维光滑流形,实现高光谱数据的非线性光谱降维。模拟和真实高光谱遥感数据实验结果表明,与传统的线性降维方法 PCA相比,经过等距映射、局部切空间排列等流行学习算法降维后的高光谱图像具有更好的光谱端元可分性。     

基于低维约束嵌入的分布参数系统建模

针对分布参数系统受时空耦合特性、强非线性、复杂的能量交换以及未知因素等的影响,难以精确建模的问题,提出基于数据驱动的低维约束嵌入建模方法. 以数据流形分布为基础,考虑数据局部非线性和全局非线性;通过非线性映射和流形学习方法,保证数据局部流形结构的非线性联系;约束非局部流形结构,避免数据在低维空间内发生混乱现象;采用最小二乘支持向量机建立时序模型,获得时间方向上的动态特征,并通过时空整合,重构系统完整的预测模型. 热过程的实验结果表明,所提出的方法能有效建立强非线性分布参数系统的模型,与传统方法对比,具有更强的建模性能与预测能力.     

一种基于电子鼻的辛味中药材的分类鉴别方法研究

为获取新的气味识别方法以提高智能传感器模式分类识别准确率和速度,使用了内置10个传感器的便携式电子鼻PEN3对辛味中药材进行气味采集检测.将辛味中药材在烧杯中进行密封静置待其形成稳定的气味顶空环境时,运用电子鼻对其进行检测采样得到样品高维气味数据信息.与传统的线性数据分析方法不同,针对气味蕴含多种诸如浓度、各种挥发性物质成分等特征,可知气味非线性的本质特征,在本次分析中采用了流形算法中的非线性的局部线性嵌入（Locally Linear Embedding,LLE）算法对非线性的气味数据进行特征提取与降维,再采用基于Fisher的线性判别分析（Linear Discriminant Analysis,LDA）实现对特征子空间的模式聚类与分类,通过多次实验优化LLE算法的参数,得到了最佳的辛味中药材的模式识别效果.分析结果表明,运用LLE和LDA相结合的算法（即LLE_LDA）可以很好地完成不同种类辛味中药材的挥发性气味信息的模式分类,为深层次地分析基于电子鼻的气味数据信息提供了一种新方法.     

基于流形学习的图像检索算法研究

流形学习以发现非线性高维数据的本质维数为目标,使其更适合数据分析和高维数据的降维。图像检索中“语义鸿沟”问题指的是高维数据空间与低维的语义子空间之间的鸿沟,虽然利用相关反馈机制可以缩小这种鸿沟提高准确率,但是因为反馈图像数目较少,图像特征维数相对较高,会容易产生维数灾难问题。流形学习的引入为解决这一难题带来了新的希望,因为通过流形学习的方法学习高维图像特征数据的本征维数用于图像检索,大大提高了检索性能。基于流形学习的图像检索算法都是半监督的流形学习,充分利用了反馈信息,学习查询图像的语义子空间,有效的实现了高维数据的降维。     

基于分层抽样的不均衡数据集成分类

不均衡数据分类是数据挖掘领域的一个难点问题,对多数类样本进行降采样可简单且有效地解决不均衡数据处理面临的两大核心问题,即如何从数类占绝对优势的数据集合中最大程度地挖掘少数类信息;如何确保在不过度损失多数类信息的前提下构建学习器.但现有的降采样方法往往会破坏原始数据结构特性或造成严重的信息损失.本研究提出一种基于分层抽样的不均衡数据集成分类方法 (简记为EC-SS),通过充分挖掘多数类样本的结构信息,对其进行聚类划分;再在数据块上进行分层抽样来构建集成学习数据成员,以确保单个学习器的输入数据均衡且保留原始数据的结构信息,提升后续集成分类性能.在不均衡数据集Musk1、Ecoli3、Glass2和Yeast6上,对比EC-SS方法与基于随机抽样的不均衡数据集成分类方法、自适应采样学习方法、基于密度估计的过采样方法和代价敏感的大间隔分类器方法的分类性能,结果表明,EC-SS方法能有效提升分类性能.     

基于非负稀疏嵌入投影的高光谱数据降维方法

针对因数据冗余及Hughes现象带来的高光谱数据分类精度降低问题,提出一种基于样本依赖排斥图的非负稀疏嵌入投影降维（NSEPSRG）算法.首先,利用非负稀疏表示方法,得到样本的非负稀疏重构权重矩阵.然后,利用样本的先验类别信息,构建样本依赖排斥图,有助于避免误分类和提高分类精度.最后,为保持每个样本间的稀疏结构关系和各样本的内在流形结构不变,根据非负稀疏重构权重矩阵和样本依赖排斥图的邻接矩阵,将样本嵌入投影到低维子空间,有助于从高维高光谱数据中提取信息量大的光谱波段,从而使得到的分类图像更清晰、平滑.AVIRIS高光谱数据上的实验结果表明,运用支持向量机对经过NSEPSRG降维处理后的高光谱数据进行分类,分类整体精度和Kappa系数分别达到了87.87%和0.856 6.     

基于非线性流形学习和k-NN的文本分类算法

为解决文本分类中存在的维数灾难、数据集噪声等问题,本研究提出一种利用非线性维数约简算法结合k-最邻近结点算法(k-nearest neighbor algorithm, k-NN)的文本分类算法。该算法首先对数据集进行去噪处理,再采用非线性流形学习中的局部线性嵌入算法恢复高维数据中的中低维流形结构,以实现数据约简,利用经过上述处理的文本数据学习k-NN分类器。实验结果表明,该算法能够有效提高文本分类精度。     

基于Semi-Supervised LLE的人脸表情识别方法

目的 为提取有效的鉴别特征和降低鉴别向量的维数来识别人脸表情图像.方法 将流行学习(Manifold leaming,ML)和半监督学习(Semi-Supervised leaming,SSL)结合起来,利用人脸表情图像数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸表情识别.结果 该方法 能充分利用数据的结构信息和有限的标签信息,使具有标签信息的同类样本之间的距离最小化,不同类数据之间的距离最大化,进而可以有效地提取数据的低维鉴别子流形,使得分类性能要优于非监督的雏数约简方法 .结论 笔者提出的半监督局部线性嵌入算法能有效地提高人脸表情识别的性能.     

混合采样与遗传算法相结合的垃圾网页检测

垃圾网页检测存在数据不平衡、特征空间维度较高的问题,为此,提出一种基于随机混合采样和遗传算法的集成分类算法.首先,使用随机混合采样技术,通过随机抽样,减少多数类样本数量,用少数类样本合成过采样技术方法生成少数类样本,获得多个平衡的训练数据子集;然后使用改进的遗传算法对训练数据集进行降维,得到多个具有最优特征的训练数据子集;使用极端梯度算法（XGBoost）作为分类器,训练多个平衡数据子集,用简单投票法对多个分类器进行集成,得到新的分类器;最后对测试集进行预测,得到最终预测结果.实验结果表明,提出算法的分类结果与XGBoost的结果相比,准确率提高了约19.25%,且减少了建立学习模型的时间,提高了分类性能,是一种较好的分类算法.     

联合低秩表示与图嵌入的无监督特征选择

大数据应用带来高维数据急剧增加,数据降维已成为重要问题.特征选择降维方法已广泛应用于模式识别领域,近年来提出了许多基于流形学习的特征选择方法,然而这类方法往往容易受到各种噪声影响.对此,本文提出一种联合低秩表示和图嵌入的高效无监督特征选择方法（JLRRGE）.通过低秩表示寻找数据在低秩子空间下的表示,降低噪声的影响从而提高算法的鲁棒性,并通过自适应图嵌入方法,使选择特征保持原有的局部关系.实验结果表明,本文提出算法的分类准确率优于其他对比算法.     

基于流形学习的基因微阵列数据分类方法

提出了一种结合流形学习方法与分类算法的基因微阵列数据分类模型,先用流形学习算法对基因微阵列数据进行降维处理,然后再对降维后的数据进行分类.在实验中将流形学习算法LLE、ISO-MAP、LE和LTSA与三种分类算法相结合,并与直接用高维数据进行分类的结果进行了比较,实验结果表明所提出的模型极大地提高了分类精度,同时也提高了分类算法的执行效率.     

一种基于流形学习的PCA-SLPP特征空间降维方法

针对复杂模式分类中特征空间维数过高问题,提出一种基于流形学习的PCA-SLPP降维方法。先对初始特征量集中样本数据进行主成分分析(PCA),使特征量在全局空间中相互独立;再采用改进的有监督局部保留投影(SLPP)法对主成分分析后的数据进行映射,使数据在特征空间中的局部流行结构得以保持的同时扩大样本数据的可区分性;最终依据累计贡献率与特征值的大小实现特征空间的降维。采用降维后的数据集训练支持向量机分类器,对具有复杂结构的煤岩惰质组显微组分进行分类。实验结果表明:PCA可以有效去除特征数据间的信息冗余,有助于分类正确率的提高;PCA的维数一定且总维数较高时,采用SLPP继续降维对分类正确率影响不大,但当总维数降到2及以下时,分类正确率迅速下降;在特征空间总维数降到初始维数的1/2及以下时,本文方法的分类正确率明显高于其他算法;本文方法在耗时上与SLPP相近。     

基于黎曼流形的稀疏图保持投影的特征提取

为了解决流形学习算法在欧式空间提取的特征不够显著的问题,提出了一种基于黎曼流形的稀疏图保持投影算法,并用于轴承的故障诊断.首先,计算原始数据的对称正定矩阵,构造对称正定流形(SPD流形).其次,利用正则技术探索SPD流形中的稀疏结构,在此基础上分别建立样本的类内内在图和类间惩罚图,并通过图嵌入的方法实现数据的特征提取.实验结果表明,基于黎曼流形的稀疏图保持投影算法能提取到显著的特征.     

投影残差分类器

针对声音、图像等高维数据的分类问题,提出了一种快速算法。首先通过非线性特征映射,将各个类别的训练样本集转换到特征空间中,构造相应的特征子空间,然后提取它们的主要特征。特征映射能够降低特征子空间的维数,并增强它们之间的两两正交性,提高了分类的准确性。在进行分类时,该方法将测试样本向各个特征子空间投影,并计算投影残差,测试样本即为投影残差最小的特征子空间的样本。与传统的分类方法不同,快速算法能一次区分多个类别,并具有与支持向量机相同的准确率。又使用了流形学习理论对快速算法进行改进,在保持准确率的前提下,极大地降低了特征子空间的维数,验证了流形学习理论的应用价值。     

浅谈流形学习中的LLE算法

在机器学习领域中有一个重要的研究领域就是流形学习,而流形学习中最为重要的算法之一就是局部线性嵌入算法(LLE),这种算法是一种非线性降维,具有很好的泛化性,在图像分类和目标识别等方面被广泛地应用。主要介绍了流形学习的基本思想,典型的LLE算法,同时归纳了几种现有的LLE改进算法,使得我们能够更好地去理解流形学习和LLE算法。     

基于加权近邻保持嵌入的高光谱数据降维方法

为降低高光谱数据的信息冗余以提高其分类精度,采用加权距离度量测度来衡量样本间的相似度并进而选择近邻样本,提出一种加权近邻保持嵌入数据降维(WNPE)算法.加权距离的主要思想为根据数据点附近样本点的分布来自适应地决定距离函数,由此可以避免基于标准欧氏距离的近邻选择方法产生的数据冗余现象,从而更好地提取信息量大的光谱波段.CUPRITE矿区高光谱数据上的实验结果表明,与目前具有代表性的稀疏降维和基于流形学习的降维算法对比,WNPE能够有效提高高光谱数据的分类总精度和Kappa系数,分别达到了90.97%和0.878 6.     

基于非均匀邻居节点采样的聚合式图嵌入方法

针对已有聚合式图嵌入方法多采用均匀采样函数为图中节点构建邻域,即仅随机采样邻居节点,而忽略各邻居节点自身性质的差异的问题,提出基于度值的非均匀邻居节点采样方法. 针对目标节点,优先采样其度值较大的邻居节点;隐藏一批度值较小的邻居节点,使它们在采样过程中不出现;在邻居节点集中随机采样剩余的节点以保留一定的采样随机性,这些随机采样的节点与优先采样的节点组成目标节点的邻域. 将所提出的非均匀邻居节点采样方法应用于图嵌入过程,在Reddit数据集上的图嵌入分类F1分数为91.7%,该结果优于几个知名的图嵌入方法的结果. 在重叠社团数据集PPI上的实验证实提出方法能够为图数据生成更高质量的嵌入.     

LLDE-SVM的滚动轴承故障诊断方法

由于采集到的滚动轴承振动信号含有噪声,以及信号本身的非线性、非平稳特性,为了能够准确的识别出滚动轴承的故障状态,提出了局部线性判别嵌入(LLDE)和支持向量机(SVM)相结合的故障诊断模型。该模型首先采用相空间和流形学习相结合对振动信号进行降噪处理;构建的高维特征空间可以通过LLDE有效的进行降维和特征提取,再通过SVM进行训练构建模型,最后进行故障识别。通过对实验数据进行分析,验证了该方法能够有效地识别出故障类型,可以应用于滚动轴承振动信号的故障诊断。     

计算机辅助乳腺癌诊断中的非平衡学习技术

针对计算机辅助诊断(CAD)中学习算法处理非平衡数据时,分类器预测具有大类样本的分类误差小,而稀有类样本的分类误差大的倾向性分类问题,提出基于反向k近邻的欠采样新方法.通过去除大类样本集中的噪声及冗余样本、保留具有类别代表性且可靠的样本作为有效样本以此平衡训练样本集,解决了欠采样引起的类别信息的丢失问题.基于UCI Breast-cancer数据集的仿真实验结果表明,该方法解决了非平衡学习问题的有效性,进一步的横向评测对比显示该算法性能显著优于其他同类算法.     

基于流形的约束局部模型拟合

为了将人脸形状向量集的流形结构嵌入到人脸定位模型中,以人脸定位参数模型中典型的约束局部模型为基础展开研究。结合局部坐标编码理论和稀疏约束,将基于流形结构的邻近形状向量集代替点分布模型中的非刚性形变集,实现了流形学习中的局部切空间排列方法与点分布模型的融合,从而得到了一个流形嵌入的约束局部模型。经过在模拟数据、有标注的人脸部件数据库和有标注的人脸数据库的试验验证,与基于线性重建的局部约束模型拟合相比,嵌入流形结构的约束局部模型具有更好的性能。