AdaBoost分类算法的数学分析

本文对AdaBoost算法进行了介绍,并从整个数学推导过程中分析怎样挑选分类器并设置权值,最终通过一组弱分类器组合构成强分类器。     

新的AdaBoost算法评价体系

工程实际中,往往通过对比两个AdaBoost算法在相同弱分类器数量条件下的错分率来比较算法性能,这样就忽略了在弱分类器数量增加时,错分率的波动会造成对比不准确的问题。为此,分别针对分类器性能的分类准确率、收敛速度和稳定性,提出了稳态错分率、调节规模、振荡度三个量化指标,构成了一个相对完备的评价体系。实验表明,该评价体系能更全面反映AdaBoost的分类效果。     

一种新的改进AdaBoost弱分类器训练算法

AdaBoost是机器学习中比较流行的分类算法.通过研究弱分类器的特性,提出了两种新的弱分类器的阈值和偏置计算方法,二者可以使弱分类器识别率大于50%,从而保证在弱分类器达到一定数目的情况下,AdaBoost训练收敛.对两种阈值和偏置计算方法的仿真实验结果表明,在错分率降可接受的范围内,二者均使用较少的弱分类器便可获得高识别率的强分类器.     

基于双阈值运动区域分割的AdaBoost行人检测算法

结合单目摄像机静止拍摄的视频序列使用背景差法或AdaBoost算法检测行人时分别存在易受噪声干扰或检测速度慢的问题,提出一种双阈值运动区域分割的AdaBoost快速行人检测算法。首先建立背景帧,利用前景帧与背景帧的差分图像拟合噪声曲线,提取噪声与亮暗运动目标的阈值,消除噪声,分割出运动区域;然后通过AdaBoost学习算法选择少量有效的Haar-like弱矩形特征构造强分类器;最后在运动区域利用强分类器检测是否包含行人。实验结果表明,该方法迅速缩小了检测范围,加快了检测速度,降低了误检率。     

基于PSO的改进AdaBoost人脸检测算法

针对传统的AdaBoost分类算法弱分类器性能差、训练时间长的问题,提出一种基于粒子群寻优(PSO)的AdaBoost分类算法.首先,采用双阈值的弱分类器代替原始的单阈值弱分类器,建立新的弱分类器结构;其次,通过粒子群寻优的方式搜索最优特征和两个最优阈值代替传统的枚举搜索方式;最后,将所有弱分类器组合成强分类器.通过理...     

基于肤色分割和AdaBoost算法的彩色图像的人脸检测

文章提出了肤色分割和AdaBoost算法结合的人脸检测算法。首先,对彩色图像进行肤色分割,通过人脸肤色的统计特征得到候选人脸区域：然后,基于AdaBoost算法,使用由强分类器组成的级联分类器对候选人脸区域进行扫描,最终得到精确定位的人脸。实验证明,该方法具有肤色检测快速和AdaBoost算法误检率低的优点,可以有效的运用于多姿态、多人脸和复杂背景的情况。     

基于协方差特征的裁剪AdaBoost算法

针对Haar-like特征的缺陷以及AdaBoost算法存在训练耗时的问题,提出一种基于协方差特征的改进AdaBoost人脸检测算法。该方法用协方差特征代替Haar-like特征进行特征提取;然后使用特征裁剪和动态权重裁剪相结合的裁剪AdaBoost算法,训练得到基于协方差特征的强分类器。实验结果表明,相对于基于Haar-like特征的AdaBoost算法,该算法性能没有明显退化且很大程度上提高了训练速度。     

基于扩展Haar特征的AdaBoost人脸检测算法

对于常用的基于Haar特征的AdaBoost人脸检测算法存在漏检率与误检率高等不足, 增加了Haar特征的扩展种类, 这些新增Haar特征能够有效减少因眉毛与眼睛灰度值近似而引起的误判, 同时去除一些针对人脸分辨效果不好的特征来提高算法的实时性, 深入分析了利用Haar特征与AdaBoost算法构成的级联分类器的特点. 实验数据结果验证了改进后算法的可行性.     

结合旋转森林和AdaBoost分类器的多标签文本分类方法

针对一些多标签文本分类算法没有考虑文本-术语相关性和准确率不高的问题,提出一种结合旋转森林和AdaBoost分类器的集成多标签文本分类方法。首先,通过旋转森林算法对样本集进行分割,通过特征变换将各样本子集映射到新的特征空间,形成多个具有较大差异性的新样本子集。然后,基于AdaBoost算法,在样本子集中通过多次迭代构建多个AdaBoost基分类器。最后,通过概率平均法融合多个基分类器的决策结果,以此做出最终标签预测。在4个基准数据集上的实验结果表明,该方法在平均精确度、覆盖率、排名损失、汉明损失和1-错误率方面都具有优越的性能。     

基于SVM和AdaBoost的人脸检测算法

论文提出了一种结合SVM和AdaBoost的人脸检测算法。该算法先根据训练样本中的人脸和非人脸区域训练作为分量分类器的支持向量机（SVM）,然后通过AdaBoost算法把这些分量分类器组合成一个总体分类器;再利用该总体分类器来区分测试样本中的人脸和非人脸区域,并得到置信图。最后通过均值漂移算法找到置信图的峰值,得到人脸区域的新位置。实验结果表明,该算法不但提高了识别的正确率,而且大大提高了检测速度。     

一种基于AdaBoost-SVM的流量分类方法

针对传统分类方法的缺陷, 提出了一种基于AdaBoost-SVM的流量方法。该方法利用K-L变换从大量冗余流量特征中遴选出少量本征特征, 有效降低了算法的处理复杂度; 应用AdaBoost机制将一次分类过程等分成若干层基于支持向量机的弱分类器, 使得分类方法简单、易于实现; 通过分层组合和迭代权重的方法聚焦在困难分类的数据样本上, 提高了分类器的准确性能。理论分析和实验结果表明：在降低计算复杂度的同时, AdaBoost-SVM算法的准确性能够达到95%。     

基于SSA-AdaBoost-SVM的变压器故障诊断

针对支持向量机(SVM)诊断变压器故障的效果不稳定的问题,利用Ada Boost集成算法对其强化,得到的AdaBoost-SVM模型诊断结果比较稳定,但准确度依然有待提高。因此,提出利用麻雀搜索算法(SSA)对Ada Boost-SVM模型进行优化,指定其弱分类器权重αt、SVM惩罚因子c和核参数g的寻优范围,使用SSA对三种参数在指定的寻优范围内寻优,提高模型的准确率。将提出的SSA-AdaBoost-SVM变压器故障诊断模型与PSO-SVM、SSA-SVM、AdaBoost-SVM、AdaBoost-SSA-SVM和PSO-AdaBoost-SVM五种模型对比,提出的模型具有更高的准确率和稳定性,平均准确率可达91.58%。实验结果表明,提出的SSA-AdaBoost-SVM变压器故障诊断模型具有更好的表现。     

抗外点干扰的鲁棒AdaBoost分类器构建方法

根据AdaBoost算法易受外点影响这一缺陷,提出一种利用Ransac算法实现抗外点干扰的鲁棒AdaBoost分类器构建方法。不同于其他AdaBoost算法在分类器构建中单纯使用样本加权或权值控制的手段,该算法将Ransac算法引入AdaBoost分类器模型构建过程中,去除潜在外点,克服现有AdaBoost算法缺陷。同时,借助Ransac算法,从全部AdaBoost分类器中选择最佳分类器模型,消除由外点引起的分类器降级。最后,将该AdaBoost分类器模型用于含有一定量外点的笔迹样本进行验证,实验结果证明了该方法的有效性。     

基于AdaBoost的微博垃圾评论识别方法

针对微博上存在的大量垃圾评论,提出一种基于AdaBoost的微博垃圾评论识别方法。该方法首先提取表示微博评论的特征值向量,由8个特征值组成,然后通过AdaBoost算法在这些特征上训练出若干个比随机预测好的弱分类器,最后将得到的弱分类器加权集合成高精度的强分类器。从实际的热门新浪微博中提取评论数据集进行实验,结果表明所选取的8个特征是有效的,该方法对于微博垃圾评论的识别拥有较高的识别率。     

新的软间隔AdaBoost弱分类器权重调整算法

为避免硬间隔算法过分强调较难分类样本而导致泛化性能下降的问题,提出一种新的基于软间隔的AdaBoost-QP算法。在样本硬间隔中加入松弛项,得到软间隔的概念,以优化样本间隔分布、调整弱分类器的权重。实验结果表明,该算法能降低泛化误差,提高 AdaBoost算法的泛化性能。     

AdaBoost的多样性分析及改进

针对AdaBoost算法下弱分类器间的多样性如何度量问题以及AdaBoost的过适应问题,在分析并研究了4种多样性度量与AdaBoost算法的分类精度关系的基础上,提出一种基于双误度量改进的AdaBoost方法。首先,选择Q统计、相关系数、不一致度量、双误度量在UCI数据集上进行实验。然后,利用皮尔逊相关系数定量计算多样性与测试误差的相关性,发现在迭代后期阶段,它们都趋于一个稳定的值;其中双误度量在不同数据集上的变化模式固定,它在前期阶段不断增加,在迭代后期基本上不变,趋于稳定。最后,利用双误度量改进AdaBoost的弱分类器的选择策略。实验结果表明,与其他常用集成方法相比,改进后的AdaBoost算法的测试误差平均降低1.5个百分点,最高可降低4.8个百分点。因此,该算法可以进一步提高分类性能。     

THEORETICAL FOUNDATIONS AND EXPERIMENTAL RESULTS FOR A HIERARCHICAL CLASSIFIER WITH OVERLAPPING CLUSTERS

This paper proposes a classification framework based on simple classifiers organized in a tree‐like structure. It is observed that simple classifiers, even though they have high error rate, find similarities among classes in the problem domain. The authors propose to trade on this property by recognizing classes that are mistaken and constructing overlapping subproblems. The subproblems are then solved by other classifiers, which can be very simple, giving as a result a hierarchical classifier (HC). It is shown that HC, together with the proposed training algorithm and evaluation methods, performs well as a classification framework. It is also proven that such constructs give better accuracy than the root classifier it is built upon.