数据挖掘与组合学习

一、概述数据挖掘是信息爆炸问题的一种解决方案。在数据挖掘中,分类预测是最基本的任务之一。组合学习器是分类预测器的集合,这些分类器的单独决策被以某种方式组合起来(典型的方法是通过加权或无权重投票)以给新样本分类。实验表明,组合方法在多数情况下比单个分类预测方法要精确。因此,在数据挖掘中引     

Boosting家族Boost—by—majority系列代表算法

Boosting is one of the most representational ensemble prediction methods. It can be divided into two series Boost-by-majority and Adaboost. This paper briefly introduces the research status of Boosting and one of its serials-Boost-by-majority,analyzes the typical algorithms of Boost-by-majority.     

用Boosting方法组合增强Stumps进行文本分类

为提高文本分类的精度,Schapire和Singer尝试了一个用Boosting来组合仅有一个划分的简单决策树(Stumps)的方法.其基学习器的划分是由某个特定词项是否在待分类文档中出现决定的.这样的基学习器明显太弱,造成最后组合成的Boosting分类器精度不够理想,而且需要的迭代次数很大,因而效率很低.针对这个问题,提出由文档中所有词项来决定基学习器划分以增强基学习器分类能力的方法.它把以VSM表示的文档与类代表向量之间的相似度和某特定阈值的大小关系作为基学习器划分的标准.同时,为提高算法的收敛速度,在类代表向量的计算过程中动态引入Boosting分配给各学习样本的权重.实验结果表明,这种方法提高了用Boosting组合Stump分类器进行文本分类的性能(精度和效率),而且问题规模越大,效果越明显.     

基于MAS设计现代信息处理系统：思路与探讨

一、概述:现状与问题所在随着Internet的蓬勃发展,人类正逐步迈向信息时代。信息社会的最重要标志就是信息爆炸。为充分利用信息,人们需要有方便的手段来对信息进行操作,而且更希望能有自动地利用信息透明地实现人类需求的手段。当这些手段与Internet结合起来之后,将会使人类方便地共享信息及网络资源成为可能。这种“手段”     

Boosting家族Boost-by-majority系列代表算法

1 引言 Boosting由Freund和Schapire于1990年提出,是提高预测学习系统预测能力的有效工具,也是组合学习中最具代表性的方法,其代表算法可分为Boost-by-majority和AdaBoost两个系列。Boosting操纵训练例子以产生多个假设。从而建立通过投票结合的预测器集合。Boosting在训练例子上维护一套概率分布。Boost-by-majority通过在每一回迭     

Boosting家族AdaBoost系列代表算法

1 引言 Boosting由Freund和Schapire于1990年提出,是提高预测学习系统预测能力的有效工具,也是组合学习中最具代表性的方法。其代表算法可分为Boost-by-majority和AdaBoost两个系列。Boosting操纵训练例子以产生多个假设,从而建立通过投票结合的预测器集合。AdaBoost在训练例子上维护一套概率分布,在每一回迭代中AdaBoost在每个例子上调整这种分布,成员分类器在训练例子上的错误率被计算出来并以此在训练例子上调整概率分布。权重改变的作用是在被误分的例子上放置更多的权重,在分类正确的例子上减