集成学习算法在不平衡分类中的应用研究

提出一种基于训练集分解的不平衡分类算法,该算法使用能输出后验概率的支持向量机作为分类器,使用基于测度层次信息源合并规则实现分类器的集成.在4个不同领域的不平衡数据集上的仿真实验表明:该算法有效提高分类器对正类样本的正确率,同时尽量减少对负类样本的误判.实验结果验证集成学习算法处理不平衡分类问题的有效性.     

基于集成学习的改进深度嵌入聚类算法

近年来深度学习的迅速发展为聚类研究提供了一个有力的工具,并衍生出了许多基于深度神经网络的聚类方法.在这些方法中,深度嵌入聚类(DEC)因其可对深度表示学习和聚类分配同时进行优化的优势而日益受到关注.但是,深度嵌入聚类的一个局限性在于其超参数λ的敏感性,而往往需要诉诸人工调节来解决.对此,提出一种基于集成学习的改进深度嵌...     

基于聚类的动态集成选择算法

近年来,由于机器学习能够很好地解决恶意软件检测问题,因而受到了广泛的关注。为了进一步提高恶意软件的检测性能,将机器学习中的动态集成选择应用到恶意软件检测中。为了满足检测性能和保证检测的实时性需求,在动态集成选择的基础上,提出一种基于聚类的动态集成选择算法CDES(Cluster based Dynamic Ensemble Selection strategy)。该方法首先通过聚类得到多个聚类中心,然后为每一个聚类中心选择一组分类器组成集成分类器。当检测未知样本时,首先找到与该样本最近的聚类中心,那么用于分类该聚类中心的集成分类器就是当前测试样本的集成分类器。最终的检测结果也由这一组分类器通过投票得到。实验中,将所提算法与其他相关算法作比较,实验结果表明所提算法明显优于其他算法。同时,所提算法运行时间远远低于其他算法,可以满足系统的实时性要求。     

Stacking集成学习模型在混合式成绩分类预测中的应用

针对现有单一算法模型在成绩预测时存在泛化能力不强的问题, 提出一种基于多算法融合的Stacking集成学习模型, 用于混合式教学中学生成绩的预测. 模型以多项式朴素贝叶斯、AdaBoost和Gradient boosting为初级学习器, 逻辑斯蒂回归为次级学习器组成两层融合框架. 通过混合式教学过程中所产生的学习行为数据对模型进行验证. 实验表明, Stacking集成学习模型在测试集上分类预测准确率达到76%, 分别高于多项式朴素贝叶斯、AdaBoost、Gradient boosting和逻辑斯蒂回归4个单一算法模型5%、6%、9%和6%. 与单一算法模型相比, Stacking集成学习模型有着较强的泛化能力, 能更好地预测学生成绩, 为混合式教学的学习预警提供参考.     

基于边缘分类能力的动态集成选择算法

提出了一种新的基于边缘分类能力排序准则,用于基于排序聚集(ordered aggregation,OA)的分类器选择算法.为了表征分类器的分类能力,使用随机参考分类器对原分类器进行模拟,从而获得分类能力的概率模型.为了提高分类器集成性能,将提出的基于边缘分类能力的排序准则与动态集成选择算法相结合,首先将特征空间划分成不同能力的区域,然后在每个划分内构造最优的分类器集成,最后使用动态集成选择算法对未知样本进行分类.在UCI数据集上进行的实验表明,对比现有的排序准则,边缘分类能力的排序准则效果更好,进一步实验表明,基于边缘分类能力的动态集成选择算法较现有分类器集成算法具有分类正确率更高、集成规模更小、分类时间更短的优势.     

集成学习在遥感分类中的应用

遥感影像分类一直是遥感领域的研究热点.集成学习通过多个单一分类器得到的分类信息进行综合来提高分类的精度.论文阐述了集成技术的常用算法和策略,给出了遥感数据分类采用单分类算法,Bagging,Boosting以及MCS集成分类的实验结果的比较和分析.实验表明,集成技术能有效提高遥感数据的分类精度.在训练样木少的情况下,提供了一种保证分类性能和泛化性的有效途径.     

基于超图的多模态特征选择算法及其应用

目前机器学习算法已经被广泛应用到脑疾病的诊断中。医学影像数据由于样本珍贵,并且特征维数往往远大于已有样本数目,在实际应用中这是典型的小样本问题。此外,通过不同的成像手段可以得到不同模态的数据(例如MRI和PET)。从而提出一种基于超图的多模态特征选择算法。首先将每组模态当作一组任务,利用l2,1范数进行特征选择,保证不同模态相同脑区的特征被选中。然后使用超图技术来刻画数据样本与样本之间的高阶信息,从而充分利用每组模态数据内部的分布先验。最后利用多核支持向量机对选择后的特征进行融合分类,从而提高对疾病的诊断精度。在ADNI数据集上对提出的方法进行验证,并与传统方法进行对比,实验结果说明了提出方法的有效性。     

基于集成学习算法的房价预测模型

如何有效预测房屋价格,对地方经济发展具有十分重要的作用。房屋价格作为一个综合指标,受诸多因素的影响,目前的房价预测模型大多数为单一模型,存在精度低、泛化能力差、容易过拟合等缺点。针对这些问题,提出基于特征选择与集成学习的房价预测模型。首先,选用ElasticNet、LightGBM、支持向量回归（Support Vector Regression,SVR）、梯度提升决策树（Gradient Boosting Decision Tree,GBDT）作为基础模型,采用随机森林进行特征重要度排序,并进行特征选择。其次,对这4个基础模型分别进行训练,使用blending方式进行融合。最后,在AmesHousing数据集上验证这个模型的有效性。验证结果表明,相对于单一的预测模型,集成学习模型能够提高预测精度,具有更好的泛化性能。     

基于半监督学习的数据流集成分类算法

已有的数据流分类算法多采用有监督学习,需要使用大量已标记数据训练分类器,而获取已标记数据的成本很高,算法缺乏实用性。针对此问题,文中提出基于半监督学习的集成分类算法SEClass,能利用少量已标记数据和大量未标记数据,训练和更新集成分类器,并使用多数投票方式对测试数据进行分类。实验结果表明,使用同样数量的已标记训练数据,SEClass算法与最新的有监督集成分类算法相比,其准确率平均高5。33%。且运算时间随属性维度和类标签数量的增加呈线性增长,能够适用于高维、高速数据流分类问题。     

面向排序学习的层次聚类特征选择算法

大型搜索系统对用户查询的快速响应尤为必要,同时在计算候选文档的特征相关性时,必须遵守严格的后端延迟约束。通过特征选择,提高了机器学习的效率。针对排序学习中快速特征选择的起点多为单一排序效果最好的特征的特点,首先提出了一种用层次聚类法生成特征选择起点的算法,并将该算法应用于已有的2种快速特征选择中。除此之外,还提出了一种充分利用聚类特征的新方法来处理特征选择。在2个标准数据集上的实验表明,该算法既可以在不影响精度的情况下获得较小的特征子集,也可以在中等子集上获得最佳的排序精度。     

基于进化集成学习的用户购买意向预测

在电子商务时代背景下,精准预测用户的购买意向已经成为提高销售效率和优化客户体验的关键因素。针对传统集成策略在模型设计阶段往往受人为因素限制的问题,构建了一种自适应进化集成学习模型用于预测用户的购买意向。该模型能够自适应地选择最优基学习器和元学习器,并融合基学习器的预测信息和特征间的差异性扩展特征维度,从而提高预测的准确性。此外,为进一步优化模型的预测效果,设计了一种二元自适应差分进化算法进行特征选择,旨在筛选出对预测结果有显著影响的特征。研究结果表明,与传统优化算法相比,二元自适应差分进化算法在全局搜索和特征选择方面表现优异。相较于六种常见的集成模型和DeepForest模型,所构建的进化集成模型在AUC值上分别提高了2.76%和2.72%,并且能够缓解数据不平衡所带来的影响。     

一种基于集成的不均衡数据流分类算法

目前数据流分类算法大多是基于类分布这一理想状态,然而在真实数据流环境中数据分布往往是不均衡的,并且数据流中往往伴随着概念漂移。针对数据流中的不均衡问题和概念漂移问题,提出了一种新的基于集成学习的不均衡数据流分类算法。首先为了解决数据流的不均衡问题,在训练模型前加入混合采样方法平衡数据集,然后采用基分类器加权和淘汰策略处理概念漂移问题,从而提高分类器的分类性能。最后与经典数据流分类算法在人工数据集和真实数据集上进行对比实验,实验结果表明,本文提出的算法在含有概念漂移和不均衡的数据流环境中,其整体分类性能优于其他算法的。     

选择性聚类融合新方法研究

针对传统选择性聚类融合算法不能消除劣质聚类成员的干扰以及聚类准确性不高等问题,提出了一种新的选择性加权聚类融合算法。算法中提出了基于聚类有效性评价方法的参照成员选择方法和联合聚类质量以及差异度的选择策略,然后还提出了基于容错关系信息熵的属性重要性加权方法。新算法有效地克服了传统选择性聚类融合算法的缺点,消除了劣质聚类成员的干扰,提高了聚类的准确性。大量的对比实验结果表明了算法的有效,且性能显著提高。     

基于集成学习的云平台异常点检测

为提高云平台异常点检测的精度,解决单一检测系统误报率与漏报率高的问题,提出基于集成学习的异常点检测系统。为解决异常检测对象多样性的问题,构造监测序列的特征矩阵,采用自组织映射神经网络对监测序列进行聚类;对监测序列进行过采样,解决异常发生频率很低的问题;对异构的异常点检测器进行基于委员会的学习,集成各检测器的检测优点,提高检测的精度。通过带有标注的监测序列对异常点检测系统进行验证,结果表明,该系统效果优于单一检测系统,验证了设计的有效性。     

基于迭代训练和集成学习的图像分类方法

针对卷积神经网络提取特征信息不完整导致图像分类方法分类精度不高等问题,利用深度学习的方法搭建卷积神经网络模型框架,提出一种基于迭代训练和集成学习的图像分类方法。利用数据增强对图像数据集进行预处理操作,在提取图像特征时,采用一种迭代训练卷积神经网络的方式,得到充分有效的图像特征,在训练分类器时,采用机器学习中集成学习的思想。分别在特征提取后训练分类器,根据各分类器贡献的大小,赋予它们不同的权重值,取得比单个分类器更好的性能,提高图像分类的精度。该方法在Stanford Dogs、UEC FOOD-100和CIFAR-100数据集上的实验结果表明了其较好的分类性能。     

数据流集成分类算法综述

详细介绍了国内外集成分类算法,对集成分类算法的两个部分（基分类器组合和动态更新集成模型）进行了详细综述,明确区分不同集成算法的优缺点,对比算法和实验数据集。并且提出进一步的研究方向和考虑的解决办法。     

基于ReliefF的层次分类在线流特征选择算法

在图像标注、疾病诊断等实际分类任务中,数据标记空间的类别通常存在着层次化结构关系,且伴随着特征的高维性.许多层次特征选择算法因不同的实际任务需求而提出,但这些已有的特征选择算法忽略了特征空间的未知性和不确定性.针对上述问题,提出一种基于ReliefF的面向层次分类学习的在线流特征选择算法OH_ReliefF.首先将类别...     

基于DCNN特征与集成学习的车型分类算法

针对传统人工设计特征描述不充分及单分类器泛化能力弱等问题,提出一种基于深度卷积神经网络(DCNN)特征与集成学习相结合的车型分类算法。微调VGG16深度卷积神经网络模型,将全连接层Fc7输出的4096维矢量采用PCA方法降至100维,作为图像的特征表示;采用拉格朗日支持向量机(LSVM)作为基分类器,以Adaboost方法自动学习各样本及基分类器的权重实现分类器集成。基于BIT和MIO-TCD数据集的对比实验结果表明,平均分类精度分别达到84.5%与83%,优于其它传统特征与单分类器方法。