基于Spark的分层子空间权重树随机森林算法

高维数据的很多特征与类别的相关性弱,影响了随机森林的分类正确率。针对原始随机森林算法在高维数据上的分类问题,提出了一种分层子空间权重树随机森林算法。同时,传统的单机模式无法满足高维数据计算效率的需求,因此利用开源集群计算框架Spark在内存缓存和迭代计算上的优势,将所提算法在Spark上实现。所提算法采用以决策树为单位的分层抽样来生成特征子空间,在提高单棵决策树性能的同时,保证决策树之间的多样性;并且采用权重树的集成策略,使分类能力强的树在集成过程中影响力更大。通过在Mnist和Gisette数据集上的实验结果表明,相比原始随机森林算法、TWRF算法以及分层子空间随机森林算法,所提算法具有更好的正确率,提高了泛化误差性能,可扩展性良好,能够有效分类高维数据。      

SCEA:一种适应高维海量数据的并行聚类集成算法

针对传统串行聚类集成算法在处理高维海量数据时效率低下的问题,提出基于Spark的并行聚类集成算法SCEA(Spark based Clustering Ensemble Algorithm).首先,通过主成分分析与成对约束结合的方法对算法输入数据进行预处理,达到数据降维并去除特征相关性的目的;其次,通过调用不同聚类算法获得基聚类成员后,采用三元组方法通过基聚类成员的簇标签构造出相似度矩阵,并调用层次聚类算法得到最终的聚类结果;最后,在调用MLlib中已有聚类算法的基础上,基于Scala对SCEA算法进行了实现.将SCEA与同类算法在多组数据集下进行对比测试,实验结果表明:总体上SCEA不仅较已有算法在准确率方面有所提高,并且通过分析运行时间、加速比以及可扩展性3个性能指标,证明了SCEA在算法性能上的优越性.     

一种基于T-分布随机近邻嵌入的聚类集成方法

该文将T-分布随机近邻嵌入(TSNE)引入到聚类集成问题中,提出一种基于TSNE的聚类集成方法。首先通过TSNE最小化超图邻接矩阵的行对应的高维数据点与低维映射点分布之间的KL散度,使得高维空间结构在低维空间得以保持,然后在低维空间运行层次聚类算法获得最终的聚类结果。在基准数据集上的实验结果表明: TSNE能够提高层次聚类算法的聚类质量,该文方法获得了优于主流聚类集成方法的结果。     

异构并行计算下高维混合型数据聚类算法研究

高维数据维度增加,数据空间的体积呈指数增长,容易陷入“维数灾难”,导致聚类算法执行效率低,为此,提出异构并行计算下高维混合型数据聚类算法。构建高维混合型数据相异度矩阵,提取高维混合型数据的统计序列特征值,利用时间窗口进行特征优化。采用K-Prototypes聚类算法提取高维混合型数据的统计序列特征,评估数据与类中心的相异性,计算数据与类中心的欧氏距离,实现高维混合型数据聚类。采用异构并行计算技术进行高维混合型数据K-Prototypes聚类的并行化处理,合理分配CPU与GPU工作,达到CPU与GPU的工作负载平衡,提高K-Prototypes的聚类效率。实验结果表明,此算法对于高维混合型数据的聚类效果好、运行时间短、性能稳定。     

基于IWOA-stacking集成学习模型的抽油机故障诊断方法

针对抽油机故障诊断问题,提出一种基于振动特征和IWOA-stacking集成模型的抽油机故障诊断方法。首先,基于stacking算法构建了两层集成模型,模型第一层采用最小二乘支持向量机、随机森林、梯度提升模型和XGBoost模型作为基学习器,第二层采用多元线性回归作为元学习器;其次,基于改进鲸鱼优化算法对四个基学习器的超参数进行优化;最后,针对采集的振动数据优选用于故障诊断的时域特征指标,用超参数优化后的集成模型进行学习和诊断,并与4种基模型进行对比。实验结果表明,所提模型具有更高的识别效果且具有很好的泛化能力。     

谱聚类划分随机森林算法在图像识别中的应用

随机森林是近些年发展起来的新集成学习算法,具有较好的分类准确率。针对该算法计算复杂度较高的不足,提出了一种基于谱聚类划分的随机森林算法。首先,利用聚类效果较好的谱聚类算法对原始样本集的每一类进行聚类处理。然后,在每一聚类簇中随机选取一个样本作为代表,组成新训练样本集合。最后,在新训练样本集上训练随机森林分类器。该算法通过谱聚类技术对原始样本进行了初步划分,将位置相近的多个样本用簇内的一个样本代表,较大程度地减少了训练样本的个数。在Corel Image图像识别数据集上的实验表明,算法可以用较少的分类时间达到较高的分类精度。     

基于深度信念网络的K-means聚类算法研究

针对传统K-means聚类算法对高维非线性数据聚类效果不佳、聚类时间消耗大的问题,文中对高维数据的预处理进行研究,提出一种基于深度信念网络(DBN)的K-means聚类算法(DBNOK)。此算法首先使用多层受限玻尔兹曼机(RBM)对数据进行特征学习,并将学习到的隐含特征进行K-means相关参数和初始聚类中心进行交叉迭代优化。用DBNOK算法分别在低维数据集和高维数据集上进行实验,结果表明,DB-NOK算法聚类准确率优于标准的K-means算法和模糊均值聚类(FCM)算法。     

基于K-medoids聚类的贝叶斯集成算法

朴素贝叶斯分类算法由于其计算高效在生活中应用广泛。本文根据集成算法的差异性特征,聚类算法聚类点的选择方式的可变性,提出了基于K-medoids聚类技术的贝叶斯集成算法,朴素贝叶斯的泛化性能得到了提升。首先,通过样本集训练出多个朴素贝叶斯基分类器模型;然后,为了增大基分类器之间的差异性,利用K-medoids算法对基分类器在验证集上的预测结果进行聚类;最后,从每个聚类簇中选择泛化性能最佳的基分类器进行集成学习,最终结果由简单投票法得出。将该算法应用于UCI数据集,并与其他类似算法进行比较可得,本文提出的基于K-medoids聚类的贝叶斯集成算法(NBKME)提高了数据集的分类准确率。     

尺度可调的混合核RBF网络

针对传统核模型中采用单一核函数的局限性,利用两个核函数的线性组合得到混合核.在RBF网络的训练中,采取正交最小二乘的方法进行逐步回归建模.在学习每个神经元参数时,首先,用全局K均值聚类法得到数据样本的聚类中心,然后对每一个聚类中心,利用群搜索优化器搜索出最佳的尺度和混合核调节参数,误差最小的参数组合即为径向基函数参数....     

基于Gabor小波与RBF神经网络的人脸识别新方法

在人脸识别中,高维、小样本是一个问题.对此,提出了一种基于Gabor小波与径向基函数(RBF)神经网络的人脸识别方法.首先对人脸进行Gabor滤波,选取有效的Gabor组合.进行小波分解,获取低频图像,构造特征矢量,采用主分量分析降低特征维数.接着,提出了一种聚类方法用于确定RBF神经网络的结构和初值,采用混合学习法训练RBF神经网络.用ORL人脸库进行试验,结果表明本文提出的方法具有优秀的学习效率和识别效果.     

一种结合贪心选择和特征加权的高维数据聚类算法

为解决传统聚类算法无法对高维数据聚类的问题,文中提出了一种结合贪心选择和特征加权的TC-Mean shift高维数据聚类算法。通过对一维数据进行聚类,获得一维数据的聚类结果,再通过加权添加维度聚类,最终获得所有维度数据的聚类,实现对高维数据的聚类。测试结果表明,该算法能够准确地对稀疏的高维数据样本进行聚类,能够处理各种维度的数据,具有良好的实际应用价值。     

基于集群的增量分布式RSOM聚类方法

对于海量和高维的大规模数据聚类问题,其数据个数以及模式种类通常处于一个动态增加的过程之中,为此进行增量、并行算法的设计,以提供更好的计算能力是十分必要的.注意到人脑增量学习的本质和RSOM(Recursive Self-Organizing Map)的层次化、分布式结构特点,本文研究了基于高性能集群并行计算环境的增量、分布式RSOM并行算法,并以视频图像特征集实例证实了算法的可行性.     

基于阴影集的多粒度三支聚类集成

聚类集成旨在通过融合多个不同的基聚类结果得到一个统一的类簇划分.针对现实环境中的模糊和不确定性数据,本文提出了一种基于阴影集的多粒度三支聚类集成算法.算法首先使用FCM聚类产生一组有差异性的基聚类成员,并通过阴影集构造三支聚类.然后引入多粒度粗糙集构建了四个近似集合,将每一个类簇划分为一个核心域和三个边界域.最后对边界域中的数据依次划分到核心域中,无法划分的对象则留在边界域,最终得到了三支聚类集成的结果.实验结果表明,本算法在准确率、调整兰德系数和归一化互信息方面,与多种现有的聚类集成算法相比得到了更好的聚类集成结果.     

基于随机蕨的集成分类图像隐写分析算法

提出了一种基于随机蕨(random ferns)和集成学习的图像隐写分析算法。首先利 用图像高维特征构 建蕨特征,采用成对采样策略构造样本子集,生成若干个基分类器;然后计算出训练样本 在基分类器中各个蕨的 先验概率并集成各个基分类器,进行隐写检测判别。实验结果表明,本文算法复杂度低,能 有效降低隐写检测错误率。     

一种集成式Beta过程最大间隔一类分类方法

一类分类是一种将目标类样本和其他所有的非目标类样本区分开的分类方法.传统的一类分类方法针对所有训练样本建立一个分类器,忽视了数据的内在结构,在样本分布复杂时,其分类性能会严重下降.为了提升复杂分布情况下的分类性能,该文提出一种集成式Beta过程最大间隔一类方法.该方法利用Dirichlet过程混合模型(DPM)对训练样本聚类,同时在每一个聚类学习一个Beta过程最大间隔一类分类器.通过多个分类器的集成,可以构造出一个描述能力更强的分类器,提升复杂分布下的分类效果.DPM聚类模型和Beta过程最大间隔一类分类器在同一个贝叶斯框架下联合优化,保证了每一个聚类样本的可分性.此外,在Beta过程最大间隔一类分类器中,加入了服从Beta过程先验分布的特征选择因子,从而可以降低特征冗余度以及提升分类效果.基于仿真数据、公共数据集和实测SAR图像数据的实验结果证明了所提方法的有效性.     

加权解码在解决纠错输出编码Consistent-Diverse平衡问题的应用

 纠错输出编码作为解决多类分类问题的通用集成框架,能有效的把多类问题分解为二类问题从而使问题得以简化.然而在生成基分类器的过程中,经常面临提高基分类器之间的差异性和增加各基分类器与集成分类器学习的一致性的矛盾,称之为consistent-diverse平衡问题.在保证差异性的前提下减小由学习不一致性引起的分类错误率是解决该平衡问题的一个出发点,在此利用加权解码,通过对加权系数矩阵的再学习进而减弱和消除由基分类器学习不一致性产生的误差.实验利用人工数据集和UCI数据集分别加以验证,结果表明以集成分类器的分类错误率为适应度函数的遗传算法搜索出的最优加权系数矩阵相比其它方法产生的系数矩阵在解决consistent-diverse平衡问题更具有优越性.     

基于混合多样性生成与修剪的集成单类分类算法

针对传统集成学习方法直接应用于单类分类器效果不理想的问题,该文首先证明了集成学习方法能够提升单类分类器的性能,同时证明了若基分类器集不经选择会导致集成后性能下降;接着指出了经典集成方法直接应用于单类分类器集成时存在基分类器多样性严重不足的问题,并提出了一种能够提高多样性的基单类分类器混合生成策略;最后从集成损失构成的角度拆分集成单类分类器的损失函数,针对性地构造了集成单类分类器修剪策略并提出一种基于混合多样性生成和修剪的单类分类器集成算法,简称为PHD-EOC。在UCI标准数据集和恶意程序行为检测数据集上的实验结果表明,PHD-EOC算法兼顾多样性与单类分类性能,在各种单类分类器评价指标上均较经典集成学习方法有更好的表现,并降低了决策阶段的时间复杂度。     

基于联合学习框架的音频场景聚类

音频场景聚类的任务是将属于相同音频场景的音频样本合并到同一个类中.本文提出一种基于联合学习框架的音频场景聚类方法.该框架由一个卷积自编码网络(Convolution Autoencoder Network,CAN)与一个判别性聚类网络(Discriminative Clustering Network,DCN)组成.CAN包括编码器和译码器,用于提取深度变换特征,DCN用于对输入的深度变换特征进行类别估计从而实现音频场景聚类.采用DCASE-2017和LITIS-Rouen数据集作为实验数据,比较不同特征与聚类方法的性能.实验结果表明:采用归一化互信息和聚类精度作为评价指标时,基于联合学习框架提取的深度变换特征优于其他特征,本文方法优于其他方法.本文方法所需要付出的代价是需要较大的计算复杂度.     

一种基于矩阵低秩近似的聚类集成算法

 首先将聚类集成问题归结为直观的最佳子空间的求解问题;随后根据线性代数理论将该问题描述为带约束条件的优化问题,通过放松离散约束条件进一步约简为矩阵低秩近似问题;最后通过求解超图的加权邻接矩阵的奇异值分解问题获得最佳子空间的一组标准正交基.据此,设计了一个基于矩阵低秩近似的算法,该算法根据每个对象在低维空间下的坐标使用K均值算法进行聚类,从而得到最终的结果.在多组基准数据集上的实验结果表明:较之于传统的聚类集成算法,本文的算法获得了更好的聚类结果,且效率较高.     

采用高维数据聚类的目标跟踪

根据刚体各部位具有变换一致性这一特性,提出一种采用高维数据聚类的目标跟踪方法。从数学理论方面证明提出的度量方法可以应用于目标跟踪, 称其为高维数据聚类跟踪器(HDDC tracker)。该算法框架如下,首先, 采用Harris检测器对模板与跟踪区域进行特征提取;然后利用这些特征的空间信息对所提取的特征进行编组;接着计算模板特征组与跟踪区域特征组间的仿射变换阵;最后,采用高维数据聚类对这些仿射变换阵进行度量, 将那些相似仿射阵对应的跟踪区域作为跟踪目标。实验表明: HDDC tracker能够有效地跟踪具有仿射形变的目标,并且性能优于先进跟踪算法。