基于权值的局部保持半监督降维算法*

针对现有的半监督降维算法没有考虑存在于数据集中的大量未标记信息,不能得到最好的降维效果的问题。本文提出了一种改进的基于权值的局部保持半监督降维算法。该算法在保持正、负约束信息的同时,还利用距离权值来保持数据集所在的局部结构,从而提高降维效果。在UCI数据集上的实验表明,该算法能够提高降维的效果,尤其是在数据分布特性不满足流形结构时,仍能得到较好的聚类结果。     

半监督的稀疏保持二维边界Fisher分析降维算法

针对样本集中类别标签样本不足的问题,提出一种半监督的稀疏保持二维边界fisher分析降维算法.首先利用图像像素间的空间结构信息,基于图像矩阵进行降维;然后设计类内散度矩阵和类间散度矩阵,以保持样本间的类内紧凑性和类间分离性;最后通过稀疏保持对特征间的稀疏重构性加以约束,所获得的稀疏重构权重保持了局部几何结构,而且也包含了自然鉴别信息.在YALE,ORL和AR人脸数据库上的实验结果表明,该算法具有很好的分类和识别性能.     

基于成对约束半监督降维的高光谱遥感影像特征提取

半监督降维(Semi\|Supervised Dimensionality Reduction,SSDR)框架下,基于成对约束提出一种半监督降维算法SCSSDR。利用成对样本进行构图,在保持局部结构的同时顾及数据的全局结构。通过最优化目标函数,使得同类样本更加紧凑\,异类样本更加离散。采用UCI数据集对算法进行定量分析,发现该方法优于PCA及传统流形学习算法,进一步的UCI数据集和高光谱数据集分类实验表明:该方法适合于进行分类目的特征提取。     

流形结构保持的传播半监督降维算法

标签传播算法(LP)是一种基于图的半监督学习算法,通过保持数据间的某些特殊结构,将部分有标签数据的标签信息迭代传递给无标签数据,直至获得全局的稳定状态.结合标签传播算法和线性鉴别分析提出一种流形结构保持的传播半监督降维算法(SDRMPP),采用流行结构上的重构权重并结合已知的部分标签信息进行标签传播,利用传播后获得的全体软标签信息构造离散度矩阵实现鉴别分析,通过求解目标函数的最优值获得特征抽取空间,从而对测试样本进行分类.在Yale和Feret两个标准人脸库上实验验证了该算法的有效性,尤其在只存有少量有标签样本的情况下,该算法仍能保持良好的分类性能.     

半监督的局部保留投影降维方法

针对现有数据降维算法不能同时利用标记样本和无标记样本的问题,提出一种半监督局部保留投影降维方法。定义类间相似度和类内相似度,同时最大化类间分离度、最小化类内分离度,保持样本总体结构和局部结构,从而提高数据降维的效果。在人工数据集、UCI数据库和Olivetti人脸库中的测试结果表明,该方法的识别率较高。     

基于PCA降维的成对约束半监督聚类集成

针对现有的聚类集成算法大都是无监督聚类集成算法且不能很好地处理高维数据的问题,设计一种基于PCA降维技术的成对约束半监督聚类集成算法(SSCEDR).SSCEDR方法使用PCA主成分分析对原始数据进行降维,结合半监督聚类集成技术,在降维后的空间中将成对约束等先验知识代入到聚类集成过程中.本文通过在多组数据集上实验来验证...     

半监督降维方法的实验比较

半监督学习是近年来机器学习领域中的研究热点之一,已从最初的半监督分类和半监督聚类拓展到半监督回归和半监督降维等领域.目前,有关半监督分类、聚类和回归等方面的工作已经有了很好的综述,如Zhu的半监督学习文献综述.降维一直是机器学习和模式识别等相关领域的重要研究课题,近年来出现了很多将半监督思想用于降维,即半监督降维方面的工作.有鉴于此,试图对目前已有的一些半监督降维方法进行综述,然后在大量的标准数据集上对这些方法的性能进行实验比较,并据此得出了一些经验性的启示.     

张量图像上的半监督降维算法

传统的图像数据(n1×n2)一般表示为欧式空间R(n1×n2)上的一个向量,这样像素之间的空间关系将会丢失.因此,文中提出一种张量型的半监督降维算法.首先把图像看成张量空间Rn1☉Rn2中的一个点.再利用图像之间的成对约束--正约束和负约束,对图像进行半监督降维.降维后的数据较好地保留图像的局部结构.在大量人脸数据集上的实验验证该算法的有效性.     

基于核的半监督的局部保留投影降维方法

为能有效捕捉数据的非线性特征,特提出一种新的非线性数据降维算法——核半监督局部保留投影(KSSLPP)。该方法利用标记样本的标记信息及所有训练样本的结构重新定义了类间相似度和类内相似度,然后将原始数据映射到高维核空间,在核空间中最大化类间分离度,最小化类内分离度。该方法在核空间保持了数据的局部结构和全局结构,以及数据的标签信息。在Olivetti人脸库和UCI数据库中的对比实验验证了该算法的有效性。     

基于半监督算法的高光谱影像特征提取仿真

高光谱影像包括待测物的空间、光谱和辐射三重信息,且图像信息具有维度高、空间相关性弱、特征非线性强的特点,导致其空间特征序列混乱,特征提取难度大。于是提出基于半监督算法的高光谱影像特征提取方法。应用半监督算法对高光谱图像中的高维数据降维处理,并基于降维结果完成高光谱图像的去模糊。高光谱图像完成降维去模糊后,根据特征学习模型学习高光谱影像数据,获取图像深层特征。在像元空间内对深度特征以及空间信息完成空、谱的联合,实现高光谱影像特征的提取。实验结果表明,所提方法应用下影像特征点在特征空间内聚类效果好,查全率和查准率均能达到95%以上,说明上述方法的应用性能更优。     

半监督边缘判别嵌入与局部保持的维度约简

为了对高维数据进行降维处理,提出了半监督学习的边缘判别嵌入与局部保持的维度约简算法．通过最小化样本与其所属类别的中心点之间的距离,使得样本在投影子空间中能够保持其领域的拓扑结构;再通过最大化不同类别边缘间的距离,使得类别间的分离度在投影子空间中得到增强．实验结果表明：半监督边缘判别嵌入与局部保持的维度约简算法能够获得初始特征空间的较好的投影子空间．     

基于局部重构与全局保持的半监督维数约减算法

针对基于局部与全局保持的半监督维数约减算法(LGSSDR)对部域参数选择比较敏感以及对部域图边权值设定不够准确的问题,提出一种基于局部重构与全局保持的半监督维数约减算法(工RGPSSDR)。该算法通过最小化局部重构误差来确定部域图的边权值,在保持数据集局部结构的同时能够保持其全局结构。在Extended YaleB和 CMU PIE标准人脸库上的实验结果表明LRGPSSDR算法的分类性能要优于其它半监督维数约减算法。     

半监督局部判别分析

针对无监督学习及有监督学习算法的缺点,提出一种半监督局部判别分析的线性降维算法。数据在没有足够的训练样本时,局部结构比全局结构更重要。算法在每一个局部区域利用有标签数据推导出数据的局部判别结构,无标签数据和有标签数据推导出数据的内在几何结构。在ORL和Yale人脸数据库上的实验结果表明该算法是有效的。     

有监督的局部保留投影降维算法

针对局部保留投影(LPP)的非监督本质,提出一种称为有监督的局部保留算法(SLPP)的线性降维方法,它同时考虑类间分离性以及LPP中的局部保留特性.实验结果表明SLPP算法较其他算法优越.线性的SLPP算法还可通过使用核方法扩展到非线性的情况.     

半监督图核降维方法

基于图结构的数据表示和分析,在机器学习领域正得到越来越广泛的关注。以往研究主要集中在为图数据定义一个度量其相似性关系的核函数即图核,一旦定义出图核,就可以用标准的支持向量机(SVM)来对图数据进行分类。将图核方法进行扩充,先利用核主成分分析(kPCA)对图核诱导的高维特征空间中的数据进行降维,得到与原始图数据相对应的低维向量表示的数据,然后对这些新得到的数据用传统机器学习方法进行分析;通过在kPCA中利用图数据中的成对约束形式的监督信息,得到基于图核的半监督降维方法。在MUTAG和PTC等标准图数据集上的实验结果验证了所提方法的有效性。     

一种增量式类内局部保持降维算法

针对在线学习中的算法效率问题,提出了一种增量式类内局部保持降维算法.该算法综合考虑了基于QR分解的降维算法与保类内Fisher判别分析法的优点,根据训练过程中新增的样本进行投影矩阵在线更新,克服了传统的批量式训练方法在线学习时计算量过分冗余的缺陷.同时,通过兼顾输入样本的局部结构和全局分布状态,使得该算法能够有效地应用于多簇、重叠的数据形态.在ORL人脸库和COIL20图像库上的实验表明,该增量式算法不仅在降维效果上基本与批量式算法保持一致,而且具有较大的效率优势.     

基于流形保持的半监督局部排列降维算法

判别局部排列是基于谱分析片排列框架下的降维算法,但是,算法只能针对单流形数据进行降维.针对判别局部排列算法存在的缺陷,着重研究了多流形学习和半监督学习技术,利用标签传播算法(LP)和线性重构分析,提出一种流行结构保持的半监督降维算法,利用标签传播后得到的全体样本标签信息进行片都构建,并通过求解目标函数的最优解来获得低维嵌入.在YALE和FERET这两个标准人连数据库上的实验,验证了算法的有效性能并体现了算法在分类上的良好性能.     

基于随机游走扩散映射的降维算法

传统数据降维算法分为线性或流形学习降维算法,但在实际应用中很难确定需要哪一类算法.设计一种综合的数据降维算法,以保证它的线性降维效果下限为主成分分析方法且在流形学习降维方面能揭示流形的数据结构.通过对高维数据构造马尔可夫转移矩阵,使越相似的节点转移概率越大,从而发现高维数据降维到低维流形的映射关系.实验结果表明,在人造...     

面向复杂多流形高维数据的t-SNE降维方法

针对t-SNE方法不能很好地区分相互交叉的多个流形的问题,提出一种可视化降维方法.在t-SNE方法的基础上,在计算高维概率时考虑欧几里得度量和局部主成分分析以区分不同流形.然后可直接使用t-SNE的梯度求解方法得到降维结果.最后分别用3个人工生成的三维数据集和2个通用的机器学习数据集进行实验,并根据不同流形的区分度和流形内的邻域可信度2个指标对降维结果进行量化分析.结果表明,该方法在处理有交叉的多流形数据时的效果要明显优于原来的t-SNE方法,并能够较好地保持每个流形的邻域结构.     

局部敏感的半监督鉴别分析方法

为解决图像处理中的高维特征在模式分类中带来的问题,提出一种基于半监督学习理论的数据降维方法,称为局部敏感的半监督鉴别分析算法.为能够发现局部的流形结构,算法寻找一个能够最小化类内距离的同时最大化类间距离的投影,并且在最优化过程中充分利用无标签数据,控制局部邻域的散度.在人脸识别数据库和行为数据库中的测试结果表明了该算法是有效的.