选择性集成学习算法的研究

通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。文中提出一种多层次选择性集成学习算法,即在基分类器中通过多次按权重进行部分选择,形成多个集成分类器,对形成的集成分类器进行再集成,最后通过对个集成分类器多数投票的方式决定算法的输出。针对决策树与神经网络模型在20个标准数据集对集成学习算法Ada—ens进行了实验研究,试验证明基于数据的集成学习算法的性能优于基于特征集的集成学习算法的性能,有更好的分类准确率和泛化性能。     

选择性集成学习算法的研究

通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。文中提出一种多层次选择性集成学习算法,即在基分类器中通过多次按权重进行部分选择,形成多个集成分类器,对形成的集成分类器进行再集成,最后通过对个集成分类器多数投票的方式决定算法的输出。针对决策树与神经网络模型在20个标准数据集对集成学习算法Ada—ens进行了实验研究,试验证明基于数据的集成学习算法的性能优于基于特征集的集成学习算法的性能,有更好的分类准确率和泛化性能。     

一种新的决策树选择性集成学习方法

个体学习器的差异度是集成学习中的关键因素。流行的集成学习算法如Bagging通过重取样技术产生个体学习器的差异度。选择性集成从集成学习算法产生的个体学习器中选择一部分来集成,结果表明比原集成更好。但如何选择学习器是个难题。使用Q统计量度量两个学习器的差异度,提出一种新的决策树选择性集成学习方法。与C4.5,Bagging方法相比,表现出很好的效果。     

选择性集成学习算法综述

集成学习因其能显著提高一个学习系统的泛化能力而得到了机器学习界的广泛关注,但随着基学习机数目的增多,集成学习机的预测速度明显下降,其所需的存储空间也迅速增加.选择性集成学习的主要目的是进一步改善集成学习机的预测效果,提高集成学习机的预测速度,并降低其存储需求.该文对现有的选择性集成学习算法进行了详细综述,按照算法采用的...     

一种选择性GMDH网络集成算法

提出一种新的GMDH网络的选择性集成算法,通过对构造GMDH网络个体的训练样本进行惩罚性划分,产生具有差异性的GMDH网络集合,再利用遗传算法从中选择最优GMDH网络子集进行集成。实验结果与分析表明,与GMDH网络的整体集成和单个GMDH网络以及传统的BP神经网络集成相比,GMDH网络的选择性集成在性能上具有明显的优势。     

一种选择性神经网络集成构造方法

提出了一种选择性神经网络集成构造方法,在训练出个体神经网络之后,使用遗传算法部分网络来组成神经网络集成。理论分析和实验结果表明,与传统的使用所有体网络的方法相比,该方法能够取得更好的效果。     

基于Bagging的选择性聚类集成

使用集成学习技术来提高聚类性能.由于聚类使用的训练样本缺乏期望输出,与监督学习下的集成相比,在对个体学习器进行结合时更加困难.通过对不同的聚类结果进行配准,并基于互信息权进行个体学习器的选择,提出了基于Bagging的选择性聚类集成算法.实验表明,该算法能够有效地改善聚类结果.     

基于蚁群优化的极限学习机选择性集成学习算法

针对现有极限学习机集成学习算法分类精度低、泛化能力差等缺点,提出了一种基于蚁群优化思想的极限学习机选择性集成学习算法。该算法首先通过随机分配隐层输入权重和偏置的方法生成大量差异的极限学习机分类器,然后利用一个二叉蚁群优化搜索算法迭代地搜寻最优分类器组合,最终使用该组合分类测试样本。通过12个标准数据集对该算法进行了测试,该算法在9个数据集上获得了最优结果,在另3个数据集上获得了次优结果。采用该算法可显著提高分类精度与泛化性能。     

一种选择性SER-BagBoosting Trees集成学习研究

集成学习已成为机器学习研究的一大热点.提出了一种综合Bagging和Boosting技术特点,以分类回归树为基学习器构造一种新的相似度指标用于聚类并利用聚类技术和贪婪算法进行选择性集成学习的算法--SER-BagBoosting Trees算法.算法主要应用于回归问题.实验表明,该算法往往比其它算法具有更好的泛化性能和更高的运行效率.     

基于半监督回归的选择性集成算法

为了提高小数据量的有标记样本问题中学习器的性能,结合半监督学习和选择性集成学习,提出了基于半监督回归的选择性集成算法SSRES。算法基于半监督学习的基本思想,同时使用有标记样本和未标记样本训练学习器从而减少对有标记样本的需求,使用选择性集成算法GRES对不同学习器进行适当的选择,并将选择的结果结合提高学习器的泛化能力。实验结果表明,在小数据量的有标记样本问题中,该算法能够有效地提高学习器的性能。     

一种基于概率校正和集成学习的肠癌肝转移预测模型

提出一种基于概率校正和集成学习的机器学习模型,用来预测患者肠癌肝转移的概率。首先将AdaBoost和Class-bal-anced SVM的概率结果进行校正,再将其结果和Logistic回归的预测结果进行集成,获得最终的预测结果。预测模型在复旦大学附属肿瘤医院的肠癌患者数据集上与其他算法如AdaBoost、Class-balanced SVM、Logistic回归算法进行了比较,结果显示该模型具有更好的AUC性能,更适合于医生的临床辅助诊断。模型的AUC性能在UCI数据集上进一步得到了验证。     

基于遗传算法的集成神经网络入侵检测系统

介绍集成神经网络的基本概念及其算法理论,提出基于遗传算法的集成神经网络入侵检测方法,并以KDDCUP99作为数据源给出应用该方法进行入侵检测的性能.通过与单个神经网络的比较,说明基于遗传算法的集成神经网络检测方法能克服单个分类算法的缺陷,提高入侵检测系统的检测率.     

基于集成学习的Adaboost演化决策树算法

演化决策树方法将传统的决策树算法与演化算法相结合,具有全局搜索的优点.基于集成学习框架,提出了Adaboost演化决策树算法,并对基本遗传算子加以改进.实验结果表明Adaboost演化决策树能在较短的演化代数内得到较高的预测准确度.     

递归逻辑程序的强构造分层学习算法及其实现

本文提出了一种逻辑程序的强构造分层学习算法用该算法解决了一类递归逻辑程序的强构造二层学问题，为强的构造学习研究提供了一个新的思路，并就有关问题进行了详细的讨论。     

基于粗糙集数据挖掘和分类集成学习的网络入侵检测模型

基于多个特征或多个模型的集成（Ensemble）学习技术是智能网络入侵检测的重要研究方向,在现有研究基础上提出基于粗糙集分类、模型分发和攻击归类检测,并加以集成的学习式网络入侵检测模型,该模型不仅能提高网络入侵检测系统检测率,同时还结合了粗糙集能处理不确定信息、生成规则具有高解释性、特征排序在获得检测规则前完成等优点。     

结合粗糙集与集成学习的中文文本分类方法研究

介绍中文文本分类的流程及相关技术。在分析传统的文本特征选择不足的基础上,提出了基于粗糙集与集成学习结合的文本分类方法,通过粗糙集进行文本的特征选择,采用一种集成学习算法AdaBoost.M1来提高弱分类器的分类性能,对中文文本进行分类。实验证明,这种算法分类结果的F1值比C4.5、kNN分类器都高,具有更加优良的分类性能。     

局部一致性集成聚类算法研究

随着信息结构的日益复杂,单种聚类算法已经无法满足需求,集成聚类便发挥了巨大的作用。对于不同的划分,当前集成聚类算法都将其视为整体,其过程中会有信息损失。利用局部一致的特性,局部一致性集成聚类算法在非负矩阵分解的框架下得以产生。实验结果表明了该方法的有效性。     

选择性集成极限学习机分类器建模研究

极限学习机ELM(Extreme Learning Machine)具有训练过程极为快速的优点,但在实际分类应用中ELM分类器的分类精度和稳定性有时并不能满足要求。针对这一问题,在ELM用于分类时引入一种训练结果信息量评价指标来改进输出权值矩阵的求解方法,并增加隐层输出矩阵竞争机制来提高ELM的稳定性。为了进一步提高ELM的分类正确率,借鉴神经网络集成的理论,提出一种选择性集成ELM分类器。在集成方法中采用改进Bagging法并提出一种基于网络参数向量的相似度评价方法和选择性集成策略。最后通过UCI数据测试表明,同Bagging法和传统的全集成法相比,该方法拥有更为优秀的分类性能。     

面向不均衡数据的动态抽样集成学习算法

针对网络行为数据不均衡的问题,从数据均衡化和集成学习两个角度出发,提出一种基于动态抽样概率的集成学习算法。依据抽样概分布对多数类样本进行重采样,相比随机抽样,能更准确地加大对错分样本的学习。在更新样本抽样概率时,依据本轮迭代之前所得分类器的集成测试分类效果,而不是只依据本轮迭代所得分类器的分类效果。用7组UCI数据集和KDDCUP数据集来评估算法在不均衡数据集下的分类性能,实验结果显示,算法在不均衡数据集上的分类性能都有相应的提高。