AdaBoost分类算法的数学分析

本文对AdaBoost算法进行了介绍,并从整个数学推导过程中分析怎样挑选分类器并设置权值,最终通过一组弱分类器组合构成强分类器。     

新的AdaBoost算法评价体系

工程实际中,往往通过对比两个AdaBoost算法在相同弱分类器数量条件下的错分率来比较算法性能,这样就忽略了在弱分类器数量增加时,错分率的波动会造成对比不准确的问题。为此,分别针对分类器性能的分类准确率、收敛速度和稳定性,提出了稳态错分率、调节规模、振荡度三个量化指标,构成了一个相对完备的评价体系。实验表明,该评价体系能更全面反映AdaBoost的分类效果。     

一种新的改进AdaBoost弱分类器训练算法

AdaBoost是机器学习中比较流行的分类算法.通过研究弱分类器的特性,提出了两种新的弱分类器的阈值和偏置计算方法,二者可以使弱分类器识别率大于50%,从而保证在弱分类器达到一定数目的情况下,AdaBoost训练收敛.对两种阈值和偏置计算方法的仿真实验结果表明,在错分率降可接受的范围内,二者均使用较少的弱分类器便可获得高识别率的强分类器.     

基于双阈值运动区域分割的AdaBoost行人检测算法

结合单目摄像机静止拍摄的视频序列使用背景差法或AdaBoost算法检测行人时分别存在易受噪声干扰或检测速度慢的问题,提出一种双阈值运动区域分割的AdaBoost快速行人检测算法。首先建立背景帧,利用前景帧与背景帧的差分图像拟合噪声曲线,提取噪声与亮暗运动目标的阈值,消除噪声,分割出运动区域;然后通过AdaBoost学习算法选择少量有效的Haar-like弱矩形特征构造强分类器;最后在运动区域利用强分类器检测是否包含行人。实验结果表明,该方法迅速缩小了检测范围,加快了检测速度,降低了误检率。     

基于协方差特征的裁剪AdaBoost算法

针对Haar-like特征的缺陷以及AdaBoost算法存在训练耗时的问题,提出一种基于协方差特征的改进AdaBoost人脸检测算法。该方法用协方差特征代替Haar-like特征进行特征提取;然后使用特征裁剪和动态权重裁剪相结合的裁剪AdaBoost算法,训练得到基于协方差特征的强分类器。实验结果表明,相对于基于Haar-like特征的AdaBoost算法,该算法性能没有明显退化且很大程度上提高了训练速度。     

基于肤色分割和AdaBoost算法的彩色图像的人脸检测

文章提出了肤色分割和AdaBoost算法结合的人脸检测算法。首先,对彩色图像进行肤色分割,通过人脸肤色的统计特征得到候选人脸区域：然后,基于AdaBoost算法,使用由强分类器组成的级联分类器对候选人脸区域进行扫描,最终得到精确定位的人脸。实验证明,该方法具有肤色检测快速和AdaBoost算法误检率低的优点,可以有效的运用于多姿态、多人脸和复杂背景的情况。     

基于扩展Haar特征的AdaBoost人脸检测算法

对于常用的基于Haar特征的AdaBoost人脸检测算法存在漏检率与误检率高等不足, 增加了Haar特征的扩展种类, 这些新增Haar特征能够有效减少因眉毛与眼睛灰度值近似而引起的误判, 同时去除一些针对人脸分辨效果不好的特征来提高算法的实时性, 深入分析了利用Haar特征与AdaBoost算法构成的级联分类器的特点. 实验数据结果验证了改进后算法的可行性.     

基于SVM和AdaBoost的人脸检测算法

论文提出了一种结合SVM和AdaBoost的人脸检测算法。该算法先根据训练样本中的人脸和非人脸区域训练作为分量分类器的支持向量机（SVM）,然后通过AdaBoost算法把这些分量分类器组合成一个总体分类器;再利用该总体分类器来区分测试样本中的人脸和非人脸区域,并得到置信图。最后通过均值漂移算法找到置信图的峰值,得到人脸区域的新位置。实验结果表明,该算法不但提高了识别的正确率,而且大大提高了检测速度。     

结合旋转森林和AdaBoost分类器的多标签文本分类方法

针对一些多标签文本分类算法没有考虑文本-术语相关性和准确率不高的问题,提出一种结合旋转森林和AdaBoost分类器的集成多标签文本分类方法。首先,通过旋转森林算法对样本集进行分割,通过特征变换将各样本子集映射到新的特征空间,形成多个具有较大差异性的新样本子集。然后,基于AdaBoost算法,在样本子集中通过多次迭代构建多个AdaBoost基分类器。最后,通过概率平均法融合多个基分类器的决策结果,以此做出最终标签预测。在4个基准数据集上的实验结果表明,该方法在平均精确度、覆盖率、排名损失、汉明损失和1-错误率方面都具有优越的性能。     

一种基于AdaBoost-SVM的流量分类方法

针对传统分类方法的缺陷, 提出了一种基于AdaBoost-SVM的流量方法。该方法利用K-L变换从大量冗余流量特征中遴选出少量本征特征, 有效降低了算法的处理复杂度; 应用AdaBoost机制将一次分类过程等分成若干层基于支持向量机的弱分类器, 使得分类方法简单、易于实现; 通过分层组合和迭代权重的方法聚焦在困难分类的数据样本上, 提高了分类器的准确性能。理论分析和实验结果表明：在降低计算复杂度的同时, AdaBoost-SVM算法的准确性能够达到95%。     

改进的AdaBoost算法与SVM的组合分类器

提出了一种改进的AdaBoost算法与支持向量机组合的分类方法,用来处理多类别分类。采用规则抽样来解决支持向量机分类中正负样本的不平衡性,改进AdaBoost算法,使其在初始化时考虑样本分布稀疏的重要性,有利于稀有类样本的正确划分。实验结果表明,此方法与标准支持向量机分类器相比,泛化性能有一定程度的提高。     

基于主动学习不平衡多分类AdaBoost算法的心脏病分类

针对不平衡分类中小类样本识别率低问题,提出一种基于主动学习不平衡多分类AdaBoost改进算法。首先,利用主动学习方法通过多次迭代抽样,选取少量的、对分类器最有价值的样本作为训练集;然后,基于不确定性动态间隔的样本选择策略,降低训练集的不平衡性;最后,利用代价敏感方法对多分类AdaBoost算法进行改进,对不同的类别给予不同的错分代价,调整样本权重更新速度,强迫弱分类器"关注"小类样本。在临床经胸超声心动图（TTE）测量数据集上的实验分析表明：与多分类支持向量机（SVM）相比,心脏病总体识别率提升了5.9%,G-mean指标提升了18.2%,瓣膜病（VHD）识别率提升了0.8%,感染性心内膜炎（IE）（小类）识别率提升了12.7%,冠心病（CAD）（小类）识别率提升了79.73%;与SMOTE-Boost相比,总体识别率提升了6.11%,G-mean指标提升了0.64%,VHD识别率提升了11.07%,先心病（CHD）识别率提升了3.69%。在TTE数据集和4个UCI数据集上的实验结果表明,该算法在不平稳多分类时能有效提高小类样本识别率,并且保证其他类别识别率不会大幅度降低,综合提升分类器性能。     

改进的AdaBoost算法在IDS入侵检测中的应用

网络入侵检测系统IDS中,异常数据所占的比例非常小,属于小类样本,却是检测的目标。在AdaBoost算法基础上进行改进,通过对大类样本权重设置阈值,对权值超过阈值的样本进行相应处理,来削弱分类器对大类样本错分的重视程度,减轻下一级训练的负担,从而有效地强化对小类错分样本的学习,提高入侵检测的精度,降低误报率和漏报率。方法在KDD-99数据集上进行实验,并与SVM方法检测结果进行比较,取得了很好的效果。     

距离和损失函数约束正则化的AdaBoost算法

基于距离函数和损失函数正则化的权值更新模式,使用相关熵距离函数,Itakura-Saito距离函数,指数一次近似距离和相关熵损失函数结合,实现了三种AdaBoost弱分类器权值更新算法。使用UCI数据库数据对提出的三种算法AdaBoostRE,AdaBoostIE,AdaBoostEE与Real AdaBoost,Gentle AdaBoost和Modest AdaBoost算法作了比较,可以看到提出的AdaBoostRE算法预测效果最好,优于Real AdaBoost,Gentle AdaBoost和Modest AdaBoost算法。     

基于AdaBoost的微博垃圾评论识别方法

针对微博上存在的大量垃圾评论,提出一种基于AdaBoost的微博垃圾评论识别方法。该方法首先提取表示微博评论的特征值向量,由8个特征值组成,然后通过AdaBoost算法在这些特征上训练出若干个比随机预测好的弱分类器,最后将得到的弱分类器加权集合成高精度的强分类器。从实际的热门新浪微博中提取评论数据集进行实验,结果表明所选取的8个特征是有效的,该方法对于微博垃圾评论的识别拥有较高的识别率。     

基于基分类器系数和多样性的改进AdaBoost算法

针对传统AdaBoost算法的基分类器线性组合效率低以及过适应的问题,提出了一种基于基分类器系数与多样性的改进算法——WD AdaBoost.首先,根据基分类器的错误率与样本权重的分布状态,给出新的基分类器系数求解方法,以提高基分类器的组合效率;其次,在基分类器的选择策略上,WD AdaBoost算法引入双误度量以增加...