Boosting家族AdaBoost系列代表算法

1 引言 Boosting由Freund和Schapire于1990年提出,是提高预测学习系统预测能力的有效工具,也是组合学习中最具代表性的方法。其代表算法可分为Boost-by-majority和AdaBoost两个系列。Boosting操纵训练例子以产生多个假设,从而建立通过投票结合的预测器集合。AdaBoost在训练例子上维护一套概率分布,在每一回迭代中AdaBoost在每个例子上调整这种分布,成员分类器在训练例子上的错误率被计算出来并以此在训练例子上调整概率分布。权重改变的作用是在被误分的例子上放置更多的权重,在分类正确的例子上减     

Boosting家族Boost—by—majority系列代表算法

Boosting is one of the most representational ensemble prediction methods. It can be divided into two series Boost-by-majority and Adaboost. This paper briefly introduces the research status of Boosting and one of its serials-Boost-by-majority,analyzes the typical algorithms of Boost-by-majority.     

Boosting算法综述

Boosting是近年来流行的一种用来提高学习算法精度的方法。以AdaBoost算法为例介绍了Boosting算法,并概括了它的各种理论分析,最后讨论了Boosting的应用及未来可能的发展方向。     

Boosting算法研究

Boosting算法是近年来在机器学习领域中一种流行的用来提高学习精度的算法。文中以AdaBoost算法为例来介绍Boosting的基本原理。     

基于Boosting算法的入侵检测

提出一种基于Boosting算法的入侵检测方法。先用神经网络初步确定一个入侵检测函数,在此基础上,利用Boosting方法构造一个基于神经网络的入侵检测函数序列,然后以一定的方式将它们组合成一个加强的总检测函数,据此进行入侵检测。实验结果显示,这种方法明显提高了检测性能。     

多分类Boosting算法的一致性

根据样本容量适当选取正则参数可以使得多分类Boosting算法具有一致性。通过分析正则参数对多分类Boosting算法推广能力的影响,建立了正则参数与算法一致性之间的联系。据此得到了Boosting算法具有一致性的充分条件。在样本集确定时,该条件可作为多分类Boosting算法选择正则参数的依据。     

集成学习:Boosting算法综述

Boosting是近年来机器学习领域中一种流行的、用来提高学习精度的算法.本文首先以AdaBoost为例对Boosting算法进行简单的介绍,并对Boosting的各种不同理论分析进行概括,然后介绍了Boosting在回归问题中的理论研究,最后对Boosting的应用以及未来的研究方向进行了讨论.     

基于Boosting算法的入侵检测

提出了一种新颖的基于boosting BP 神经网络的入侵检测方法。为了提高BP神经网络的泛化能力,采用改进的Boosting方法,进行网络集成。Boosting方法采用更有效的参数求解方法,即弱分类器的加权参数不但与错误率有关,还与其对正样本的识别能力有关。对“KDD Cup 1999 Data”网络连接数据集进行特征选择和归一化处理之后用于训练神经网络并仿真实验,得到了较高的检测率和较低的误报率,仿真结果表明,提出的入侵检测方法是有效的。     

基于引导Boosting算法的显著性检测

针对现有的基于引导学习的显著性检测模型存在的训练样本不纯净和特征提取方式过于简单的问题,提出一种改进的基于引导（Boosting）的算法来检测显著性,从提升训练样本集的准确度和改进特征提取的方式来达到学习效果的提升。首先,根据显著性检测的自底向上模型产生粗选样本图,并通过元胞自动机对粗选样本图进行快速有效优化来建立可靠的引导样本,完成对原图的标注建立训练样本集;然后,在训练集上对样本进行颜色纹理特征提取;最后,使用不同特征不同核的支持向量机（SVM）弱分类器生成基于Boosting学习一个强分类器,对每幅图像的超像素点进行前景背景分类,得到显著图。在ASD数据库和SED1数据库上的实验结果显示该模型能对复杂和简单的图像生成完备清晰的显著图,并在准确率召回率曲线和曲线下面积（AUC）测评值上有较大提升。由于其准确性,能应用在计算机视觉预处理阶段。     

数据挖掘算法在葡萄酒信息数据分析系统中的研究

随着信息科技的快速发展,计算机中的经典算法在葡萄酒产业中得到了广泛的研究与应用。机器学习算法的特点是运用人工智能技术,在经过大量的样本集训练和学习后可以自动地找出运算所需要的参数和模型。针对数据挖掘中常用的机器学习算法进行相关的研究。以分类算法为例进行数据挖掘技术的研究。针对SVM(支持向量机)泛化能力弱的缺点,给出了一种改进的SVM-NSVM,即先对训练集进行精选,根据每个样本与最近邻类标的异同判断样本点的取舍,然后再用SVM训练得到分类器。针对kNN(k-最近邻)训练数据集大的缺点,给出了一种改进的通过渐进的思想来寻找最近邻点。实验表明,与SVM相比,NSVM在分类正确率、分类速度上有一定的优势。改进的kNN算法的复杂度明显降低。此外,设计了葡萄酒信息数据分析系统,利用数据挖掘方法对极大量的葡萄酒信息数据进行分析、对比与匹配,从而可挖掘葡萄酒的主要成分对比信息和营销潜在信息等;再对这些成分进行相应的分析,并与高质量葡萄酒中的成分进行相应的对比,最终得出葡萄酒的相关分析信息数据,其可帮助葡萄酒生产厂商对葡萄酒的成分含量、品质进行分析。     

基于数据挖掘的入侵检测研究

网络入侵检测系统已经成为网络安全架构的一部分.但是当前的NIDS（network intrusion detection system）在未知攻击的检测上都存在虚警率过高的问题.首先对在线和离线系统的优缺点做了对比,重点介绍了分类器的集成学习和多检测器关联以及数据挖掘方法中的一些实用技术,然后介绍现存的系统和评价数据集,最后总结了入侵检测领域的工作并给出了这个领域的发展方向.     

分类方法的新发展：研究综述

分类是数据挖掘的重要任务之一，也是机器学习、模式识别和人工智能等相关领域广泛研究的问题。分类在实际中有广泛的应用，包括医疗诊断、信用评估、选择购物等。近年来，随着相关领域中新技术的不断涌现，分类方法也得到了新发展。本文对这些新发展进行了较详细的归纳，总结了分类方法发展的趋势。     

时间序列预测方法综述

时间序列是按照时间排序的一组随机变量,它通常是在相等间隔的时间段内依照给定的采样率对某种潜在过程进行观测的结果。时间序列数据本质上反映的是某个或者某些随机变量随时间不断变化的趋势,而时间序列预测方法的核心就是从数据中挖掘出这种规律,并利用其对将来的数据做出估计。针对时间序列预测方法,着重介绍了传统的时间序列预测方法、基于机器学习的时间序列预测方法和基于参数模型的在线时间序列预测方法,并对未来的研究方向进行了进一步的展望。     

A comparative study of classifier ensembles for bankruptcy prediction

The aim of bankruptcy prediction in the areas of data mining and machine learning is to develop an effective model which can provide the higher prediction accuracy. In the prior literature, various classification techniques have been developed and studied, in/with which classifier ensembles by combining multiple classifiers approach have shown their outperformance over many single classifiers. However, in terms of constructing classifier ensembles, there are three critical issues which can affect their performance. The first one is the classification technique actually used/adopted, and the other two are the combination method to combine multiple classifiers and the number of classifiers to be combined, respectively. Since there are limited, relevant studies examining these aforementioned disuses, this paper conducts a comprehensive study of comparing classifier ensembles by three widely used classification techniques including multilayer perceptron (MLP) neural networks, support vector machines (SVM), and decision trees (DT) based on two well-known combination methods including bagging and boosting and different numbers of combined classifiers. Our experimental results by three public datasets show that DT ensembles composed of 80–100 classifiers using the boosting method perform best. The Wilcoxon signed ranked test also demonstrates that DT ensembles by boosting perform significantly different from the other classifier ensembles. Moreover, a further study over a real-world case by a Taiwan bankruptcy dataset was conducted, which also demonstrates the superiority of DT ensembles by boosting over the others.     

一种基于遗传算法的兴趣规则挖掘算法

数据挖掘是在数据中发现隐藏的结构和模式。但发现的许多模式对用卢来说可能是已知的，从而使这些模式毫无意义，毫无兴趣性。文献中多强调分类规则的准确性和可理解性，但发现兴趣规则在数据挖掘算法中依然是一个令人生畏的挑战。本文采用一种遗传数据挖掘方法，在分类规则产生的同时对其兴趣性进行度量，直接产生兴趣规则。实验表明该方法是可行的、高效的。     

基于推进贝叶斯分类法的入侵检测引擎研究

为了提高贝叶斯分类法的准确率,设计了基于推进技术的贝叶斯分类法,并将推进贝叶斯分类法应用到入侵检测引擎中,并设计了基于推进贝叶斯分类的入侵检测引擎。通过实验表明,此检测引擎可以有效的将入侵行为与非入侵行为进行分类,与传统贝叶斯分类法的检测引擎相比,此引擎对数据的分类有更高的准确率。     

一种有效的自组织数据缩减算法

为提高数据采掘的效率,通常需要在提供同等分析结果的情况下对原数据集进行简化。文章提出了一种有效的数据缩减算法Sodra,以无监督与有监督相结合的学习方式生成适于分类的缩减数据集。对实际数据集和人工数据集的分类实验表明,所提出的算法既能大大降低空间需求,又不损害分类性能。同时,利用缩减集上的特征分析算法Relif-P可进一步提高算法对无关特征的适应能力。