Boosting家族AdaBoost系列代表算法

1 引言 Boosting由Freund和Schapire于1990年提出,是提高预测学习系统预测能力的有效工具,也是组合学习中最具代表性的方法。其代表算法可分为Boost-by-majority和AdaBoost两个系列。Boosting操纵训练例子以产生多个假设,从而建立通过投票结合的预测器集合。AdaBoost在训练例子上维护一套概率分布,在每一回迭代中AdaBoost在每个例子上调整这种分布,成员分类器在训练例子上的错误率被计算出来并以此在训练例子上调整概率分布。权重改变的作用是在被误分的例子上放置更多的权重,在分类正确的例子上减     

基于条件信息熵的自主式朴素贝叶斯分类算法

朴素贝叶斯是一种简单而高效的分类算法，但其条件独立性和属性重要性相等的假设并不符合客观实际，这在某种程度上影响了它的分类性能。如何去除这种先验假设，根据数据本身的特点实现知识自主学习是机器学习中的一个难题。根据Rough Set的相关理论，提出了基于条件信息熵的自主式朴素贝叶斯分类方法，该方法结合了选择朴素贝叶斯和加权朴素贝叶斯的优点。通过在UCI数据集上的仿真实验，验证了该方法的有效性。     

Stacking集成学习模型在混合式成绩分类预测中的应用

针对现有单一算法模型在成绩预测时存在泛化能力不强的问题, 提出一种基于多算法融合的Stacking集成学习模型, 用于混合式教学中学生成绩的预测. 模型以多项式朴素贝叶斯、AdaBoost和Gradient boosting为初级学习器, 逻辑斯蒂回归为次级学习器组成两层融合框架. 通过混合式教学过程中所产生的学习行为数据对模型进行验证. 实验表明, Stacking集成学习模型在测试集上分类预测准确率达到76%, 分别高于多项式朴素贝叶斯、AdaBoost、Gradient boosting和逻辑斯蒂回归4个单一算法模型5%、6%、9%和6%. 与单一算法模型相比, Stacking集成学习模型有着较强的泛化能力, 能更好地预测学生成绩, 为混合式教学的学习预警提供参考.     

一种朴素贝叶斯分类增量学习算法

朴素贝叶斯(Nave Bayes,NB)分类方法是一种简单而有效的概率分类方法,但是贝叶斯算法存在训练集数据不完备这个缺陷。传统的贝叶斯分类方法在有新的训练样本加入时,需要重新学习已经学习过的样本,耗费大量时间。为此引入增量学习算法,算法在已有的分类器的基础上,自主选择学习新的文本来修正分类器。本文给出词频加权朴素贝叶斯分类增量学习算法思想及其具体算法,并对算法给予证明。通过算法分析可知,相比无增量学习的贝叶斯分类,本算法额外的空间复杂度与时间复杂度都在可接受范围。     

属性加权的朴素贝叶斯集成分类器

为提高朴素贝叶斯分类器的分类精度和泛化能力,提出了基于属性相关性的加权贝叶斯集成方法（WEBNC）。根据每个条件属性与决策属性的相关度对其赋以相应的权值,然后用AdaBoost训练属性加权后的BNC。该分类方法在16个UCI标准数据集上进行了测试,并与BNC、贝叶斯网和由AdaBoost训练出的BNC进行比较,实验结果表明,该分类器具有更高的分类精度与泛化能力。     

一种新的代价敏感分类方法

代价敏感学习(cost-sensitive learning)是指在机器学习的过程中考虑不同的误判(misclassification)带来的不同的代价(cost).论文将一项最新的贝叶斯分类研究成果应用到代价敏感学习中,提出了一种新的称之为代价敏感隐藏朴素贝叶斯分类算法.实验表明该方法比另一种典型的代价敏感算法更有效.     

TANC-BIC结构学习算法

树扩展朴素贝叶斯分类器(TANC)是应用较广的一种贝叶斯分类器。TANC的分类性能优于朴素贝叶斯分类器(NBC)。现有的TANC结构学习算法是基于相关性分析的,采用互信息测度。贝叶斯信息测度(BIC)在基于打分和搜索的贝叶斯网络结构学习中取得了成功,文中用BIC测度来衡量属性结点之间的相关性,提出了一种新的TANC-BIC结构学习算法。在MBNC实验平台上编程实现了TANC-BIC算法,用分类准确率衡量算法的性能。实验结果表明,TANC-BIC算法是有效的。     

一种双层贝叶斯模型:随机森林朴素贝叶斯

文本分类是自然语言处理领域的一项基础工作.文本数据的高维性和稀疏性,给文本分类带来了许多问题和挑战.朴素贝叶斯模型因其简单、高效、易理解的特点被广泛应用于文本分类任务,但其属性条件独立假设在现实的文本数据中很难满足,从而影响了它的分类性能.为了削弱朴素贝叶斯的属性条件独立假设,学者们提出了许多改进方法,主要包括结构扩展、实例选择、实例加权、特征选择、特征加权等.然而,所有这些方法都是基于独立的单词特征来构建朴素贝叶斯分类模型,在一定程度上限制了它们的分类性能.为此,尝试用特征学习的方法来改进朴素贝叶斯文本分类模型,提出了一种双层贝叶斯模型:随机森林朴素贝叶斯(random forest naive Bayes,RFNB).RFNB分为2层,第1层利用随机森林从原始的单词特征中学习单词组合的高层特征.然后将学习到的新特征输入第2层,经过一位有效编码后用于构建伯努利朴素贝叶斯模型.在大量广泛使用的文本数据集上的实验结果表明,提出的RFNB模型明显优于现有的最先进的朴素贝叶斯文本分类模型和其他经典的文本分类模型.     

TANC-BIC结构学习算法

树扩展朴素贝叶斯分类器(TANC)是应用较广的一种贝叶斯分类器.TANC的分类性能优于朴素贝叶斯分类器(NBC).现有的TANC结构学习算法是基于相关性分析的,采用互信息测度.贝叶斯信息测度(BIC)在基于打分和搜索的贝叶斯网络结构学习中取得了成功,文中用BIC测度来衡量属性结点之间的相关性,提出了一种新的TANC-BIC结构学习算法.在MBNC实验平台上编程实现了TANC-BIC算法,用分类准确率衡量算法的性能.实验结果表明,TANC-BIC算法是有效的.     

基于BHNB的细粒度的Android恶意应用检测模型

为进一步提高Android恶意应用的检测效率,提出一种基于BHNB(Bagging Hierarchical Na?ve Bayesian)的细粒度Android恶意应用检测模型。该模型首先对样本库中的应用进行类别划分,并分别对其进行动态分析,提取各个应用程序的行为信息作为特征;然后,采用层次朴素贝叶斯HNB(Hierarchical Na?ve Bayesian)分类算法对各类应用特征集合进行分别训练,从而构建出多个层次朴素贝叶斯分类器;最后,采用Bagging集成学习方法对构建出的多个层次朴素贝叶斯分类器进行集成学习,构建出基于层次朴素贝叶斯的Bagging集成学习分类器BHNB。实验结果表明,该模型能够有效检测出Android恶意应用,且检测效率较高。     

基于Boosting机制的Naive Bayesian文本分类器

Naive Bayesian分类器是一种有效的文本分类方法,但由于具有较强的稳定性,很难通过Boosting机制提高其性能。因此用Naive Bayesian分类器作为Boosting的基分类器需要解决的最大问题,就是如何破坏Naive Bayesian分类器的稳定性。提出了3种破坏Naive Bayesian学习器稳定性的方法。第一种方法改变训练集样本,第二种方法采用随机属性选择社团,第三种方法是在Boosting的每次迭代中利用不同的文本特征提取方法建立不同的特征词集。实验表明,这几种方法各有其优缺点,但都比原有方法准确、高效。     

基于贝叶斯的垃圾邮件过滤算法的研究

基于内容的垃圾邮件过滤问题是Internet安全技术研究的一个重点问题,而基于贝叶斯的分类方法在垃圾邮件处理上表现出了很高的准确度,因此受到了广泛的关注。在朴素贝叶斯算法的基础上,提出了一种基于最小风险贝叶斯方法同Boosting算法相结合的邮件过滤改进算法,提高了分类的精确度。实验证明,算法在邮件过滤中有更好的表现。     

基于主动学习提升朴素贝叶斯

提升(Boosting)是改善基分类器学习的有效手段。而研究表明,Boosting对于朴素贝叶斯的改善效果不明显。文章提出了一种新的提升算法——ActiveBoost,ActiveBoost结合主动学习挖掘未分配类别标注中样本的信息,并将不稳定性引入到朴素贝叶斯的构造过程。在UCI机器学习数据库的实验结果证明了该算法的有效性。     

一种基于假设检验的贝叶斯分类器

分类是数据挖掘领域的重要分支,而贝叶斯分类方法作为分类领域的重要技术得到了日益广泛的研究和应用。限制性贝叶斯网络在不牺牲太多精确性的前提下简化网络结构,是近几年分类领域的研究热点。论文采用统计学中理论较成熟的体积假设检验（Volume Testing）方法寻找属性间的依赖关系,同时结合假设检验的思想和朴素贝叶斯分类算法的优点构造限制性贝叶斯网络,提出了一种基于假设检验的贝叶斯分类算法,并命名为基于体积检验的贝叶斯分类算法。在Weka系统下进行的实验,结果表明,这种方法效果优于朴素贝叶斯方法、TAN算法等,尤其对大数据集有更佳的表现效果。     

LOCAL MODELS—THE KEY TO BOOSTING STABLE LEARNERS SUCCESSFULLY

Boosting has been shown to improve the predictive performance of unstable learners such as decision trees, but not of stable learners like Support Vector Machines (SVM), k‐nearest neighbors and Naive Bayes classifiers. In addition to the model stability problem, the high time complexity of some stable learners such as SVM prohibits them from generating multiple models to form an ensemble for large data sets. This paper introduces a simple method that not only enables Boosting to improve the predictive performance of stable learners, but also significantly reduces the computational time to generate an ensemble of stable learners such as SVM for large data sets that would otherwise be infeasible. The method proposes to build local models, instead of global models; and it is the first method, to the best of our knowledge, to solve the two problems in Boosting stable learners at the same time. We implement the method by using a decision tree to define local regions and build a local model for each local region. We show that this implementation of the proposed method enables successful Boosting of three types of stable learners: SVM, k‐nearest neighbors and Naive Bayes classifiers.     

流媒体点播学习系统自适应性研究

针对为流媒体学习系统提供个性化点播服务的问题,通过研究学习系统自适应性实施的相关文献,给出一个基于朴素贝叶斯分类的自适应流媒体点播系统的实现模型。为了提高分类诊断性能,适合流媒体学习特性,重点讨论为不同知识点类型赋予不同权重的基于概率加权的贝叶斯分类算法和加入时序的贝叶斯分类算法。实验结果表明,算法设计合理、科学。     

基于贝叶斯公式的自适应垃圾邮件过滤方法

简单贝叶斯算法在邮件过滤领域使用得比较普遍.该算法的优点是简单、对特征较为恒定的垃圾邮件较为有效,但其适应性较差.谨提出一种以贝叶斯公式为基础的自适应垃圾邮件过滤方法,它采用基于词熵的特征提取方法,在过滤过程中不断地进行自学习,具有较强的自适应能力.     

广义朴素贝叶斯分类器

朴素贝叶斯分类器具有很高的学习和分类效率,但不能充分利用属性变量之间的依赖信息.贝叶斯网络分类器具有很强的分类能力,但分类器学习比较复杂.本文建立广义朴素贝叶斯分类器,它具有灵活的分类能力选择方式、效率选择方式及学习方式,能够弥补朴素贝叶斯分类器和贝叶斯网络分类器的不足,并继承它们的优点.     

一种加权朴素贝叶斯分类增量学习模型

朴素贝叶斯分类器难以获得大量有类标签的训练集,而且传统的贝叶斯分类方法在有新的训练样本加入时,需要重新学习已学习过的样本,耗费大量时间。为此引入增量学习方法,在此基础上提出了属性加权朴素贝叶斯算法,该算法通过属性加权来提高朴素贝叶斯分类器的性能,加权参数直接从训练数据中学习得到。通过由Weka推荐的UCI数据集的实验结果表明,该算法是可行的和有效的。     

基于贝叶斯和决策树的入侵检测方法

针对目前基于贝叶斯或决策树的入侵检测方法存在检测率低、误检率高的问题,提出了一种基于贝叶斯和决策树的入侵检测方法。该检测方法首先采用基于特征相似度的朴素贝叶斯方法对训练集中的样本进行分类,更新每个样本的类值;然后对训练集中的样本再次使用朴素贝叶斯方法进行分类,对存在误分类样本的类采用决策树的信息增益来确定属性划分子类,再对子类进行分类和划分操作;最后建立贝叶斯和决策树的混合模型进行入侵检测。实验结果表明,与单独使用贝叶斯或者决策树的检测方法相比,该检测方法具有较高的检测率。