半监督降维方法的实验比较

半监督学习是近年来机器学习领域中的研究热点之一,已从最初的半监督分类和半监督聚类拓展到半监督回归和半监督降维等领域.目前,有关半监督分类、聚类和回归等方面的工作已经有了很好的综述,如Zhu的半监督学习文献综述.降维一直是机器学习和模式识别等相关领域的重要研究课题,近年来出现了很多将半监督思想用于降维,即半监督降维方面的工作.有鉴于此,试图对目前已有的一些半监督降维方法进行综述,然后在大量的标准数据集上对这些方法的性能进行实验比较,并据此得出了一些经验性的启示.     

半监督局部保持高光谱影像降维算法研究

由于高维特征空间通常会导致不适定问题,针对高光谱影像的统计模式识别是非常艰巨的任务。随着波段数目的增加,高光谱影像分析则面临Hughes现象等障碍,因此促进了降维方法的发展,它能够有效处理有限训练样本下的高维数据集情形。降维算法的目标是在保持原始数据主要本征信息的同时获取高维数据样本的低维表示。为了能够有效解决高光谱影像分析中的"维数灾难"问题,从而改进后续计算复杂度,我们引入一种半监督局部保持的降维算法。     

半监督图核降维方法

基于图结构的数据表示和分析,在机器学习领域正得到越来越广泛的关注。以往研究主要集中在为图数据定义一个度量其相似性关系的核函数即图核,一旦定义出图核,就可以用标准的支持向量机(SVM)来对图数据进行分类。将图核方法进行扩充,先利用核主成分分析(kPCA)对图核诱导的高维特征空间中的数据进行降维,得到与原始图数据相对应的低维向量表示的数据,然后对这些新得到的数据用传统机器学习方法进行分析;通过在kPCA中利用图数据中的成对约束形式的监督信息,得到基于图核的半监督降维方法。在MUTAG和PTC等标准图数据集上的实验结果验证了所提方法的有效性。     

加权成对约束半监督局部维数约减算法

考虑到已有的半监督维数约减方法在利用边信息时将所有边信息等同,不能充分挖掘边所含信息,提出加权成对约束半监督局部维数约减算法(WSLDR).通过构建近邻图对边信息进行扩充,使边信息数量有所增加.另外,根据边所含信息量的不同构建边的权系数矩阵.将边信息融入近邻图对其进行修正,对修正后的近邻图和加权的成对约束寻找最优投影.算法不仅保持了数据的内在局部几何结构,而且使得类内数据分布更加紧密,类间数据分布更加分散.在UCI数据集上的实验结果验证了该算法的有效性.     

基于核的半监督的局部保留投影降维方法

为能有效捕捉数据的非线性特征,特提出一种新的非线性数据降维算法——核半监督局部保留投影(KSSLPP)。该方法利用标记样本的标记信息及所有训练样本的结构重新定义了类间相似度和类内相似度,然后将原始数据映射到高维核空间,在核空间中最大化类间分离度,最小化类内分离度。该方法在核空间保持了数据的局部结构和全局结构,以及数据的标签信息。在Olivetti人脸库和UCI数据库中的对比实验验证了该算法的有效性。     

半监督的局部保留投影降维方法

针对现有数据降维算法不能同时利用标记样本和无标记样本的问题,提出一种半监督局部保留投影降维方法。定义类间相似度和类内相似度,同时最大化类间分离度、最小化类内分离度,保持样本总体结构和局部结构,从而提高数据降维的效果。在人工数据集、UCI数据库和Olivetti人脸库中的测试结果表明,该方法的识别率较高。     

基于PCA降维的成对约束半监督聚类集成

针对现有的聚类集成算法大都是无监督聚类集成算法且不能很好地处理高维数据的问题,设计一种基于PCA降维技术的成对约束半监督聚类集成算法(SSCEDR).SSCEDR方法使用PCA主成分分析对原始数据进行降维,结合半监督聚类集成技术,在降维后的空间中将成对约束等先验知识代入到聚类集成过程中.本文通过在多组数据集上实验来验证...     

半监督的稀疏保持二维边界Fisher分析降维算法

针对样本集中类别标签样本不足的问题,提出一种半监督的稀疏保持二维边界fisher分析降维算法.首先利用图像像素间的空间结构信息,基于图像矩阵进行降维;然后设计类内散度矩阵和类间散度矩阵,以保持样本间的类内紧凑性和类间分离性;最后通过稀疏保持对特征间的稀疏重构性加以约束,所获得的稀疏重构权重保持了局部几何结构,而且也包含了自然鉴别信息.在YALE,ORL和AR人脸数据库上的实验结果表明,该算法具有很好的分类和识别性能.     

流形结构保持的传播半监督降维算法

标签传播算法(LP)是一种基于图的半监督学习算法,通过保持数据间的某些特殊结构,将部分有标签数据的标签信息迭代传递给无标签数据,直至获得全局的稳定状态.结合标签传播算法和线性鉴别分析提出一种流形结构保持的传播半监督降维算法(SDRMPP),采用流行结构上的重构权重并结合已知的部分标签信息进行标签传播,利用传播后获得的全体软标签信息构造离散度矩阵实现鉴别分析,通过求解目标函数的最优值获得特征抽取空间,从而对测试样本进行分类.在Yale和Feret两个标准人脸库上实验验证了该算法的有效性,尤其在只存有少量有标签样本的情况下,该算法仍能保持良好的分类性能.     

半监督典型相关分析算法

在典型相关分析算法(canonical correlation analysis,简称CCA)的基础上,通过引入以成对约束形式给出的监督信息,提出了一种半监督的典型相关分析算法(Semi-CCA).在此算法中,除了考虑大量的无标号样本以外,还考虑成对约束信息,即已知两样本属于同一类(正约束)或不属于同一类(负约束),同时验证了两者的相对重要性.在人工数据集、多特征手写体数据集和人脸数据集(Yale和AR)上的实验结果表明,Semi-CCA能够有效地利用少量的监督信息采提高分类性能.     

一种基于矩阵的强关联规则生成算法*

针对Apriori算法扫描数据库的I/O代价和候选项集数目较多等问题,提出一种基于矩阵的强关联规则生成算法,算法通过将事务数据库转化为0-1矩阵后对项集按照支持度计数非递减顺序排列,从而减少候选项集的产生,同时实现置信度的高效计算。通过对实例和大数据量数据库的分析表明,该方法是有效的。     

基于频繁项目集链式存储方法的关联规则算法

为了提高经典关联规则Apriori算法的挖掘效率,针对Apriori算法的瓶颈问题,提出了一种链式结构存储频繁项目集并生成最大频繁项目集的关联规则算法.该算法采用比特向量方式存储事务,生成频繁项目集的同时,把包含此频繁项目的事务作为链表连接到频繁项目之后,生成最大频繁项目集.该算法能够减小扫描事物数据库的次数和生成候选项目集的数量,从而减少了生成最大频繁项目集的时间,实验结果表明,该算法提高了运算效率.     

关联规则挖掘优化方法研究

影响关联规则挖掘效率的主要因素是如何快速地求出频繁项目集,文章在分析关联规则挖掘基本原理及算法的基础上,研究一种从最大频繁项集生成所有强关联规则的优化方法,对快速生成关联规则具有一定意义。     

基于矩阵压缩的Apriori算法改进的研究

Apriori算法是利用关联规则进行数据挖掘的一种经典算法,但其具有产生大量候选项集和多次扫描数据库的缺点。鉴于此,提出了一种基于压缩矩阵的Apriori改进算法,通过扫描一次数据库,将其转化为布尔事务矩阵,按照相关性质对事务矩阵进行压缩,以减少算法的运算量。实验结果表明,改进算法在性能上得到了明显提高。     

基于PC-树的关联规则挖掘方法

关联规则是数据挖掘的一种常用方法,特别是用在货篮分析中,而关联规则的经典算法Apriori及其改进算法的时间复杂度和空间复杂度都比较高,对于数据库更新、用户定义最小支持度等动态数据挖掘的成本太高。针对这种情况,提出了用PC-树寻找频繁项集的算法,实现高效的动态数据挖掘。     

关联规则挖掘中Apriori算法的研究与改进

经典的产生频繁项目集的Apriori算法存在多次扫描数据库可能产生大量候选及反复对候选项集和事务进行模式匹配的缺陷,导致了算法的效率较低。为此,对Apriori算法进行以下3方面的改进:改进由k阶频繁项集生成k+1阶候选频繁项集时的连接和剪枝策略;改进对事务的处理方式,减少Apriori算法中的模式匹配所需的时间开销;改进首次对数据库的处理方法,使得整个算法只扫描一次数据库,并由此提出了改进算法。实验结果表明,改进算法在性能上得到了明显提高。     

基于图的关联规则改进算法

关联规则挖掘是数据挖掘研究的最重要课题之一。基于图的关联规则挖掘DLG算法通过一次扫描数据库构建关联图,然后遍历该关联图产生频繁项集,有效地提高了关联规则挖掘的性能。在分析该算法基本原理基础上,提出了一种改进的算法—DLG#。改进算法在关联图构造同时构造项集关联矩阵,在候选项集生成时结合关联图和Apriori性质对冗余项集进行剪枝,减少了候选项集数,简化了候选项集的验证。比较实验结果表明,在不同数据集和不同支持度阈值下,改进算法都能更快速的发现频繁项集,当频繁项集平均长度较大时性能提高明显。     

基于频繁项集挖掘最大频繁项集和频繁闭项集

提出了基于频繁项集的最大频繁项集（BFI-DMFI）和频繁闭项集挖掘算法（BFI-DCFI）。BFI-DMFI算法通过逐个检测频繁项集在其集合中是否存在超集确定该项集是不是最大频繁项集;BFI-DCFI算法则是通过挖掘所有支持度相等的频繁项集中的最大频繁项集组合生成频繁闭项集。该类算法的提出,为关联规则的精简提供了一种新的解决方法。     

改进的基于FP-tree的频繁项集挖掘算法

对于频繁项集挖掘,采用一种FP-数组技术来减少FP-tree的遍历时间,减少数据集的扫描次数,在此基础上提出了一种基于FP-tree进行频繁项集挖掘的FP-growth+算法,提高了算法的效率。最后的实验证明了该算法的有效性。