融合DECORATE的异构分类器集成算法

在基于Stacking框架下异构分类器集成方式分析的基础上,引入同构分类器集成中改变训练样本以增强成员分类器间差异性的思想,提出融合DECORATE的异构分类器集成算法SDE;在1-层泛化利用DECORATE算法,向1-层训练集增加一定比例的人工数据,使得生成的多个1-层成员分类器间具有差异性。实验表明,该方法在分类精度上要优于传统Stacking方法。     

基于类别信息的分类器集成方法Cagging

提出一种基于类别信息的分类器集成方法Cagging.基于类别信息重复选择样本生成基本分类器的训练集,增强了基本分类器之间的差异性;利用基本分类器对不同模式类的分类能力为每个基本分类器设置一组权重.使用权重对各分类器输出结果进行加权决策,较好地利用了各个基本分类器之间的差异性.在人脸图像库ORL上的实验验证了Cagging的有效性.此外,Cagging方法的基本分类器生成方式适合于通过增量学习生成集成分类器,扩展Cagging设计了基于增量学习的分类器集成方法Cagging-Ⅰ,实验验证了它的有效性.     

基于异构代价敏感决策树的分类器算法

代价敏感学习方法常常假设不同类型的代价能够被转换成统一单位的同种代价,显然构建适当的代价敏感属性选择因子是个挑战。设计了一种新的异构代价敏感决策树分类器算法,该算法充分考虑了不同代价在分裂属性选择中的作用,构建了一种基于异构代价的分裂属性选择模型,设计了基于代价敏感的剪枝标准。实验结果表明,该方法处理代价机制和属性信息的异质性比现有方法更有效。     

朴素贝叶斯分类器增量学习序列算法研究

首先介绍了一种朴素贝叶斯增量分类模型,然后提出了一种新的序列学习算法以弥补其学习序列中存在的不足训练实例的先验知识得不到充分利用,测试实例的完备性对分类的影响在学习过程中得不到体现等。该算法引入一个分类损失权重系数λ,用于计算分类损失大小。引入该系数的作用在于充分利用先验知识对分类器进行了优化;通过选择合理的学习序列强化了较完备数据对分类的积极影响,弱化了噪音数据的消极影响,从而提高分类精度;弥补了独立性假设在实际问题中的不足等。     

一类改进的最小距离分类器的增量学习算法

提出一种基于改进的最小距离分类器的增量学习算法,消除增量学习过程中产生的分类器内部结构的相互干扰,使分类器既能记住已学习的知识,又能学习新知识.增量学习需要对分类器结构进行调整,必须使用有代表性的已学习样本帮助分类器在学习新知识时复习旧知识.针对正态分布的样本集提出一种筛选算法,只保留有代表性的少量样本,大大减少存储消耗和重新训练的计算开销.实验结果证明该算法对样本的识别准确率高,在有效识别新样本的同时对以前学习的样本也保持较高的识别率,消耗存储空间小.     

基于分类器组合增量集成的远程教育学生表现预测*

针对远程教育中传统的集成算法通常以批模式方式运行而导致其在连续生成数据的情况下不可用的问题,提出了一种基于分类器组合增量集成的远程教育学生表现预测算法。首先,简要介绍了三种备受关注的集成分类算法：朴素贝叶斯的增量版本、1‐NN和WINNOW算法;然后,在训练数据集上利用三种算法产生各自的假说;最后,将三种假说进行集成,并利用投票方法预测学生的表现。在希腊远程教育大学“信息”课程提供的训练集 HOU 上的实验结果表明,相比其它几种较好的分类器,该文算法取得了更好的分类精度和更少的训练时间,为教师提供了强有力的学生表现预测工具。     

聚类的动态分类器集成选择

动态分类器集成选择(DCES)是当前集成学习领域中一个非常重要的研究方向。然而,当前大部分 DCES算法的计算复杂度较高。为了解决该问题和进一步提高算法的性能,本文提出了基于聚类的动态分类器集成选择(CDCES),该方法通过对测试样本聚类,极大地减少了动态选择分类器的次数,因而降低了算法的计算复杂度。同时, CDCES是一种更加通用的算法,传统的静态选择性集成和动态分类器集成为本算法的特殊情况,因而本算法是一种鲁棒性更强的算法。通过对UCI数据集进行测试,以及与其他算法作比较,说明本算法是一种有效的、计算复杂度较低的方法。     

基于FCM的两级集成分类器算法

基于模糊聚类的思想提出了一种新的两级集成分类器算法.将数据集用Fuzzy C-Means算法进行聚类,得到每个实例对应于每个类别的模糊隶属度.一级集成根据Bagging算法获得成员分类器,分类器个数为数据集类别数且每个成员分类器对应一个类别标号,这些成员分类器的采样方式是通过其对应类别的模糊隶属度为每个实例加权后进行随机重采样.二级集成是将一级集成产生的针对类别的成员分类器通过动态加权多数投票法来组合,学习到最终的分类结果.该算法称为EWFuzzyBagging,实验结果表明,该算法与Bagging和AdaBoost相比具有更好的健壮性.     

基于自适应增量集成学习的非平稳金融时间序列预测

金融市场对于社会经济的发展非常重要,因此金融时间序列预测（Financial time series prediction, FTSP）一直是人们研究的焦点。至今,许多基于统计分析和软计算的方法被提出以解决FTSP问题,其中大多数方法将金融时间序列（Financial time series, FTS）视为或转化为平稳序列进行处理。但是,由于绝大部分FTS是非平稳的,因此这些方法通常存在伪回归或预测性能不佳等问题。本文提出了一种自适应增量集成学习（Self-adaptive incremental ensemble learning, SIEL）算法,用于解决非平稳金融时间序列预测（Non-stationary FTSP, NS-FTSP）问题。SIEL算法的主要思想是为每个非平稳金融时间序列（Non-stationary FTS, NS-FTS）子集增量地训练一个基模型,然后使用自适应加权规则将各基模型组合起来。SIEL算法的重点在于数据权重和基模型权重的更新：数据权重基于当前集成模型在最新数据集上的性能进行更新,其目的不是为了数据采样,而是为了权衡误差;基模型权重基于其所处环境进行自适应更新,且基模型在越新环境下的性能应具有越高的权重。此外,针对NS-FTS的特征,SIEL算法提出了一种能协调新旧知识以及应对环境重演的策略。最后,给出了SIEL算法在3个NS-FTS数据集上的实验结果,并将其与已有算法进行了对比。实验结果表明,SIEL算法能很好地解决NS-FTSP问题。     

改进词频分类器集成的文本分类算法

互联网容纳了海量的文本信息,文本分类系统能够在给定的类别下,自动将文本分门别类,更好地帮助人们挖掘有用信息.介绍了基于词频分类器集成文本分类算法.该算法计算代价小,分类召回率高,但准确率较低,分析了导致准确率低的原因,在此基础上提出了基于改进词频分类器集成的文本分类算法,改进后的算法在文本权重更新方面做了参数调整,使得算法的准确率有显著提高,最后用实验验证了改进后算法的性能.实验结果表明,基于改进词频分类器集成的文本分类算法不仅提高了分类的准确性,而且表现出较好的稳定性.     

基于深度森林与异质集成的标记分布学习方法

作为一种解决标签模糊性问题的新学习范式, 标记分布学习(LDL)近年来受到了广泛的关注. 为了进一步提升标记分布学习的预测性能, 提出一种联合深度森林与异质集成的标记分布学习方法(LDLDF). 所提方法采用深度森林的级联结构模拟具有多层处理结构的深度学习模型, 在级联层中组合多个异质分类器增加集成的多样性. 相较于其他现有LDL方法, LDLDF能够逐层处理信息, 学习更好的特征表示, 挖掘数据中丰富的语义信息, 具有强大的表示学习能力和泛化能力. 此外, 考虑到深层模型可能出现的模型退化问题, LDLDF采用一种层特征重用机制(layer feature reuse)降低模型的训练误差, 有效利用深层模型每一层的预测能力. 大量的实验结果表明, 所提方法优于近期的同类方法.     

基于增量集成学习的动态自适应SDN入侵检测

随着SDN网络应用的推广,SDN网络的安全也越来越受到重视,基于模式识别的网络入侵检测由于无法一次性收集完备的训练数据集,使得对未知的入侵行为识别率不高.为提高入侵检测系统的自适应性,提出了增量集成学习算法,并用该算法解决SDN入侵检测问题.该算法利用滑动窗口法获得数据块,对新的数据块进行训练获得子分类器,然后依据在历史数据块和当前数据块的分类结果筛选子分类器进行集成,使得分类模型不断完善从而能够自适应的识别未知攻击行为.通过在NSL-KDD数据集上的实验结果可以看到,该算法可以提高未知攻击的识别率.     

一种异构神经网络集成协同构造算法

提出一种异构神经网络集成的协同构造算法(HNNECC）。首先利用进化规划同时进化网络拓扑结构和连接权值，生成多个异构最优网络，然后对异构网络进行组合．在构造神经网络集成的过程中通过协同合作，保持各网络间的负相关。从而在提高成员网络精度的同时增加各成员网络之间的差异度．利用统计学习理论对算法进行分析，表明该方法具有很好的泛化性能．分别在四个数据集上进行了实验，相对于单个网络，本文方法可提高性能17％到85％，亦优于Bagging等传统固定结构的神经网络集成方法。     

一种新的分类器选择集成算法

为提高集成分类器系统的分类性能,提出一种分类器选择集成算法MCC-SCEN。该算法选取基分类器集中具有最大互信息差异性的子集和最大个体分类能力的子集,以确定待扩展分类器集,选择具有较大混合分类能力的基分类器加入到待扩展集中,构成集成系统,进行加权投票并产生结果。实验结果表明,该方法优于经典的AdaBoost和Bagging方法,具有较高的分类准确率。     

基于改进卷积神经网络与集成学习的人脸识别算法

针对复杂卷积神经网络(CNN)在中小型人脸数据库中的识别结果容易出现过拟合现象,提出一种基于改进CNN网络与集成学习的人脸识别算法。改进CNN网络结合平面网络和残差网络的特点,采用平均池化层代替全连接层,使得网络结构简单且可移植性强。在改进CNN网络的基础上,利用基于投票法的集成学习策略将所有个体学习器结果凸组合为最终结果,实现更准确的人脸识别。实验结果表明,该算法在Color FERET、AR和ORL人脸数据库上的识别准确率分别达到98.89%、99.67%和100%,并且具有较快的收敛速度。     

选择性集成学习算法的研究

通过选择性集成可以获得比单个学习器和全部集成学习更好的学习效果,可以显著地提高学习系统的泛化性能。文中提出一种多层次选择性集成学习算法,即在基分类器中通过多次按权重进行部分选择,形成多个集成分类器,对形成的集成分类器进行再集成,最后通过对个集成分类器多数投票的方式决定算法的输出。针对决策树与神经网络模型在20个标准数据集对集成学习算法Ada—ens进行了实验研究,试验证明基于数据的集成学习算法的性能优于基于特征集的集成学习算法的性能,有更好的分类准确率和泛化性能。     

一种基于类支持度的增量贝叶斯学习算法

介绍增量贝叶斯分类器的原理,提出一种基于类支持度的优化增量贝叶斯分类器学习算法。在增量学习过程的样本选择问题上,算法引入一个类支持度因子λ,根据λ的大小逐次从测试样本集中选择样本加入分类器。实验表明,在训练数据集较小的情况下,该算法比原增量贝叶斯分类算法具有更高的精度,能大幅度减少增量学习样本优选的计算时间。     

基于FP-Tree 的快速选择性集成算法

选择性集成通过选择部分基分类器参与集成,从而提高集成分类器的泛化能力,降低预测开销.但已有的选择性集成算法普遍耗时较长,将数据挖掘的技术应用于选择性集成,提出一种基于FP-Tree(frequent pattern tree)的快速选择性集成算法:CPM-EP(coverage based pattern mining for ensemble pruning).该算法将基分类器对校验样本集的分类结果组织成一个事务数据库,从而使选择性集成问题可转化为对事务数据集的处理问题.针对所有可能的集成分类器大小,CPM-EP算法首先得到一个精简的事务数据库,并创建一棵FP-Tree树保存其内容;然后,基于该FP-Tree获得相应大小的集成分类器.在获得的所有集成分类器中,对校验样本集预测精度最高的集成分类器即为算法的输出.实验结果表明,CPM-EP算法以很低的计算开销获得优越的泛化能力,其分类器选择时间约为GASEN的1/19以及Forward-Selection的1/8,其泛化能力显著优于参与比较的其他方法,而且产生的集成分类器具有较少的基分类器.