新的基于代价敏感集成学习的非平衡数据集分类方法NIBoost

现实生活中存在大量的非平衡数据,大多数传统的分类算法假定类分布平衡或者样本的错分代价相同,因此在对这些非平衡数据进行分类时会出现少数类样本错分的问题。针对上述问题,在代价敏感的理论基础上,提出了一种新的基于代价敏感集成学习的非平衡数据分类算法--NIBoost（New Imbalanced Boost）。首先,在每次迭代过程中利用过采样算法新增一定数目的少数类样本来对数据集进行平衡,在该新数据集上训练分类器;其次,使用该分类器对数据集进行分类,并得到各样本的预测类标及该分类器的分类错误率;最后,根据分类错误率和预测的类标计算该分类器的权重系数及各样本新的权重。实验采用决策树、朴素贝叶斯作为弱分类器算法,在UCI数据集上的实验结果表明,当以决策树作为基分类器时,与RareBoost算法相比,F-value最高提高了5.91个百分点、G-mean最高提高了7.44个百分点、AUC最高提高了4.38个百分点;故该新算法在处理非平衡数据分类问题上具有一定的优势。     

三种用于垃圾网页检测的随机欠采样集成分类器

针对垃圾网页检测过程中轻微的不平衡分类问题,提出三种随机欠采样集成分类器算法,分别为一次不放回随机欠采样（RUS-once）、多次不放回随机欠采样（RUS-multiple）和有放回随机欠采样（RUS-replacement）算法。首先使用其中一种随机欠采样技术将训练样本集转换成平衡样本集,然后对每个平衡样本集使用分类回归树（CART）分类器算法进行分类,最后采用简单投票法构建集成分类器对测试样本进行分类。实验表明,三种随机欠采样集成分类器均取得了良好的分类效果,其中RUS-multiple和RUS-replacement比RUS-once的分类效果更好。与CART及其Bagging和Adaboost集成分类器相比,在WEBSPAM UK-2006数据集上,RUS-multiple和RUS-replacement方法的AUC指标值提高了10%左右,在WEBSPAM UK-2007数据集上,提高了25%左右;与其他最优研究结果相比,RUS-multiple和RUS-replacement方法在AUC指标上能达到最优分类结果。     

基于Adaboost和CART结合的优化分类算法

提出了一种基于Adaboost算法和CART算法结合的分类算法。以特征为节点生成CART二叉树,用CART二叉树代替传统Adaboost算法中的弱分类器,再由这些弱分类器生成强分类器。将强分类器对数字样本和人脸样本分类,与传统Adaboost算法相比,该方法的错误率分别减少20%和86.5%。将分类器应用于目标检测上,实现了对这两种目标的快速检测和定位。结果表明,改进算法既减小了对样本分类的错误率,又保持了传统Adboost算法对目标检测的快速性。     

Adaboost算法在图像型火灾探测中的应用研究

图像型火灾探测实际上是不平衡数据的二分类问题,现有方法在处理不平衡数据分类问题时常常会引入新的噪声点或丢掉很重要的信息,算法稳定性较差。根据Adaboost对样本分配不同权重的优势,和SVM在平衡数据条件下较好的分类性能,将Adaboost算法和支持向量机(SVM)相结合,提出Adaboost-SVM算法。把火焰疑似区域的特征值作为SVM分类器的输入参数,利用Adaboost算法重点标记错分样本,并对样本的权重设定阈值,采用一定的准则对少数样本进行再构造使正负样本达到平衡。最后在训练数据的同时,通过投票机制输出最终分类结果。实验结果表明,该算法提高了火灾在正负样本分布不平衡时的分类性能。     

人脸表情的实时分类

提出一种基于连续Adaboost算法的人脸表情实时分类方法,使用Haar特征设计了具有连续致信度输出的查找表型弱分类器形式,构造出弱分类器空间,采用连续Adaboost算法学习出人脸表情分类器,实验结果表明：文中方法与支持向量机方法相比,对于人脸表情分类的正确率相当,而速度快近300倍,具有实时性和非常明显的应用价值。     

考虑不平衡指数的不平衡数据集分类设计方法

数据集类别不平衡问题是分类领域的重要问题之一,每个数据集的不平衡指数都与其自身有着紧密的联系,是数据集的重要标志。面对不平衡数据集分类设计问题,提出了一种改进AdaBoost算法（enhanced AdaBoost,E-AdaBoost）。该算法将不平衡指数和不平衡数据集中较为重要的少数类分类正确率考虑到算法的迭代过程中,改进了基分类器的权重更新策略,进而提高对不平衡数据集的分类性能。基于E-AdaBoost的不平衡数据集分类设计方法可以根据样本的不平衡指数,确定基分类器的权重参数,进而提高分类器性能。利用该方法,结合多个经典分类器,在人工数据集和标准数据集上进行实验分析,并对比相关方法,结果表明,基于E-AdaBoost的不平衡数据集分类设计方法能够有效提高不平衡数据集的分类性能。     

极限学习机类不平衡数据学习算法研究

尽管极限学习机因具有快速、简单、易实现及普适的逼近能力等特点被广泛应用于分类、回归及特征学习问题,但是,极限学习机同其他标准分类方法一样将最大化各类总分类性能作为算法的优化目标,因此,在实际应用中遇到数据样本分布不平衡时,算法对大类样本具有性能偏向性。针对极限学习机类不平衡学习问题的研究起步晚,算法少的问题,在介绍了极限学习机类不平衡数据学习研究现状,极限学习机类不平衡数据学习的典型算法-加权极限学习机及其改进算法的基础上,提出一种不需要对原始不平衡样本进行处理的Adaboost提升的加权极限学习机,通过在15个UCI不平衡数据集进行分析实验,实验结果表明提出的算法具有更好的分类性能。     

利用SVM改进Adaboost算法的人脸检测精度

提出利用SVM分类方法改进Adaboost算法的人脸检测精度。该方法先通过Adaboost算法找出图像中的候选人脸区域,根据训练样本集中的人脸和非人脸样本训练出分类器支持向量机(SVM),然后通过SVM分类器从候选人脸区域中最终确定人脸区域。实验结果证明,SVM分类算法可以提高检测精度,使检测算法具有更好的检测效果。     

基于异构距离的集成分类算法研究

针对异构数据集下的不均衡分类问题，从数据集重采样、集成学习算法和构建弱分类器3个角度出发，提出一种针对异构不均衡数据集的分类方法——HVDM-Adaboost-KNN算法（heterogeneous value difference metric-Adaboost-KNN），该算法首先通过聚类算法对数据集进行均衡处理，获得多个均衡的数据子集，并构建多个子分类器，采用异构距离计算异构数据集中2个样本之间的距离，提高KNN算法的分类准性能，然后用Adaboost算法进行迭代获得最终分类器。用8组UCI数据集来评估算法在不均衡数据集下的分类性能，Adaboost实验结果表明，相比Adaboost等算法，F₁值、AUC、G-mean等指标在异构不均衡数据集上的分类性能都有相应的提高。     

基于Boosting算法的文本自动分类器设计

Boosting算法是目前流行的一种机器学习算法。采用一种改进的Boosting算法Adaboost.MHKR作为分类算法,设计了一个文本自动分类器,并给出了评估方法和结果。评价表明,该分类器有很好的分类精度。     

面向类不平衡数据集的软件缺陷预测模型

软件缺陷预测是软件工程领域的重点研究方向,是保证软件质量的重要途径之一。其中软件缺陷数据的类不平衡问题会影响缺陷预测分类的准确性,为解决类不平衡数据对预测分类的影响,针对如何优化数据预处理的算法执行顺序进行了研究,提出了一种有效提升分类效果的软件缺陷预测模型（ASRAdaboost）。该算法模型在根据对照实验确定数据预处理最优顺序后,采用特征选择卡方检验算法,再执行SMOTE过采样与简单采样方法,解决数据类不平衡和属性冗余同时存在的问题,最后结合Adaboost集成算法,构建出软件缺陷预测模型ASRAdaboost。实验均采用J48决策树作为基分类器,实验结果表明：ASRAdaboost算法模型有效提高了软件缺陷预测的准确性,得到了更好的分类效果。     

基于分形SMOTE重采样集成算法圈定区域化探异常

基于分形自相似性理论改进SMOTE算法,实现数据集的均衡化。结合集成学习Adaboost技术更新样本权值,改善非均衡数据的分类性能,并对云南个旧锡铜多金属矿床进行了仿真实验,结果表明新算法预测结果能较好地检测成矿异常,为成矿预测与评价提供新的解决途径。     

基于EasyEnsemble的化工过程故障诊断性能改进

化工过程故障诊断中样本数据分布不均衡现象普遍存在.在使用不均衡样本作为训练集建立各类故障诊断分类器时,易出现分类器的识别率偏置于多数类样本的结果,由此产生虽正常状态易识别,但更受关注的故障状态却难以被诊断的现象.针对该问题,本文提出一种基于Easy Ensemble思想的主元分析–支持向量机(Easy Ensemble based principle component analysis–support vector machine,EEPS)故障诊断算法,通过欠采样方法抽取多数类样本子集组建多个新的均衡数据样本集,使用主元分析(principle component analysis,PCA)进行特征提取并使用支持向量机(support vector machine,SVM)算法进行训练,得到多个基于SVM的故障诊断分类器,然后使用Adaboost算法集成最终的分类,从而提高故障诊断准确性.所提方法被用于TE(Tenessee Eastman)化工过程,实验结果表明,EEPS算法能够有效提高分类器在不均衡数据集上的诊断性能和预报能力.     

基于Adaboost方法的高速公路事件检测

阐述Adaboost方法原理及算法,提出采用Adaboost方法结合神经网络算法进行高速公路事件检测,给出了基于Adaboost方法的事件检测算法。该算法可以明显提升神经网络算法性能,适合进行高速公路事件检测,仿真实验结果表明了该算法的有效性和可行性。     

基于CUDA的Adaboost算法并行实现

Adaboost算法是一种用于目标检测的有效算法,自2001年应用于人脸检测以来,陆续有各种改进算法提出,旨在提高检测精度和适用范围.然而,训练一个Adaboost分类器仍然是一个很耗时间的过程.目前,CUDA与Adaboost结合的研究主要集中于在已有分类器的基础上加速目标检测的过程,构建实时目标检测系统.本文对Ad...     

复杂背景下人眼的快速定位

采用基于改进Adaboost算法的级联式人脸和人眼分类器检测人脸和眼睛的候选位置,再用支持向量机（SVM）分类器验证并确定人眼的最佳位置;实现了在复杂背景图像中快速、准确的眼睛定位.与传统的Adaboost算法相比,改进的Adaboost算法构建分类器所需的特征数目大大减少,提高了眼睛定位速度;同时利用人脸几何特征的SVM分类器验证,提高了定位精度.实验结果表明该算法具有很好的精确性和实时性.     

基于Adaboost算法的软件缺陷预测模型

将Adaboost算法应用到软件缺陷预测模型中是软件缺陷预测的一种新思路,Adaboost算法原理通过训练多个弱分类器构成一个更强的级联分类器,有效地避免了过拟合问题。通过采用美国国家航空航天局(NASA)的软件缺陷数据库的仿真实验,分别对原始BP神经网络算法和Adaboost算法进行分析对比,其中Adaboost的弱分类器采用神经网络。实验结果表明,Adaboost级联分类器有效地提高了软件缺陷预测模型的预测性能。     

基于Adaboost算法的人脸检测

该文提出了一种基于改进的Adaboost算法的人脸检测方法.Adaboost是一种构建准确分类器的学习算法,它将一族弱学习算法通过一定规则结合成为一个强学习算法,从而通过样本训练得到一个识别准确率理想的分类器.但是,Adaboost在有高噪音样本的情况下,有可能发生过配现象,该文在Adaboost算法的基础上,对其权值更新规则做了改进,并结合PCA进行人脸检测.仿真试验表明,该方法具有良好的性能,同时可以在一定程度上有效防止过配现象的发生.     

基于Adaboost算法的行人检测

提出一种基于Adaboost算法的行人检测方法。Adaboost是将一组弱分类器通过一定的规则,结合成为一个强分类器,再把这些强分类器级联成为一个快速、准确的分类器。实验证明基于此算法的行人检测具有检测率高、速度快的特点,能够达到实时检测的要求。