Method of weak classifiers fuzzy boosting: Iterative learning of quasi-linear algorithmic composition

Method of fuzzy boosting providing iterative weak classifiers selection and their quasi-linear composition construction is presented. The method is based on the combination of boosting and fuzzy integrating techniques, when at each step of boosting weak classifiers are combined by Choquet fuzzy integral. In the proposed FuzzyBoost algorithm 2-additive fuzzy measures were used, and method for their estimation was proposed. Although detailed theoretical verification of proposed algorithm is still absent, the experimental results, made on simulated data models, demonstrate that in the case of complex decision boundaries FuzzyBoost significantly outperforms AdaBoost.     

一种新的基于模糊聚类的组合分类器算法

提出一种新的基于模糊聚类的组合分类器算法,该算法利用模糊聚类技术产生训练样本的分布特征,据此为每一个样本赋予一个权值,来确定它们被采样的概率,利用采样样本训练的分类器调整训练集的采样概率,依次生成新的分类器直至达到一定的精度。该组合分类器算法在UCI的多个标准数据集上进行了测试,并与Bagging和AdaBoost算法进行了比较,实验结果表明新的算法具有更好的健壮性和更高的分类精度。     

AdaBoost 及其改进算法综述

AdaBoost算法是目前人脸检测领域最有效的方法之一,自该算法提出以来,很多研究者做了深入的研究分析和改进工作。基于AdaBoost算法受到众多研究者的重视,综述了AdaBoost及其改进算法。从AdaBoost算法出发,着重分析了AdaBoost算法的优缺点,并以此为基础对其改进算法作系统的分析和介绍,对改进算法进行了简单归类。最后,指出了算法未来的几个发展方向。     

基于DSP的AdaBoost人脸检测算法实现

为解决人脸检测实时性问题,提出了基于DSP实现人脸检测算法.改进了AdaBoost人脸检测算法,在层次型AdaBoost检测算法的基础上,改进了特征定义方式,提出模糊层次型人脸检测器结构.介绍了TI公司的DSP芯片及其外围电路,描述了系统中各个模块的工作流程.最后,阐述了利用CCS对DSP程序进行优化.实验结果表明,在输入图像大小为256×256像素的条件下,检测速度达到每秒26帧,误检率只有0.9%,实现了实时人脸检测的要求.     

一种限制输出模型规模的集成进化分类算法

AdaBoost算法是一种典型的集成学习框架,通过线性组合若干个弱分类器来构造成强学习器,其分类精度远高于单个弱分类器,具有很好的泛化误差和训练误差。然而AdaBoost 算法不能精简输出模型的弱分类器,因而不具备良好的可解释性。本文将遗传算法引入AdaBoost算法模型,提出了一种限制输出模型规模的集成进化分类算法(Ensemble evolve classification algorithm for controlling the size of final model,ECSM)。通过基因操作和评价函数能够在AdaBoost迭代框架下强制保留物种样本的多样性,并留下更好的分类器。实验结果表明,本文提出的算法与经典的AdaBoost算法相比,在基本保持分类精度的前提下,大大减少了分类器数量。     

AdaBoost算法研究进展与展望

AdaBoost是最优秀的Boosting算法之一, 有着坚实的理论基础, 在实践中得到了很好的推广和应用. 算法能够将比随机猜测略好的弱分类器提升为分类精度高的强分类器, 为学习算法的设计提供了新的思想和新的方法. 本文首先介绍Boosting猜想提出以及被证实的过程, 在此基础上, 引出AdaBoost算法的起源与最初设计思想;接着, 介绍AdaBoost算法训练误差与泛化误差分析方法, 解释了算法能够提高学习精度的原因;然后, 分析了AdaBoost算法的不同理论分析模型, 以及从这些模型衍生出的变种算法;之后, 介绍AdaBoost算法从二分类到多分类的推广. 同时, 介绍了AdaBoost及其变种算法在实际问题中的应用情况. 本文围绕AdaBoost及其变种算法来介绍在集成学习中有着重要地位的Boosting理论, 探讨Boosting理论研究的发展过程以及未来的研究方向, 为相关研究人员提供一些有用的线索. 最后,对今后研究进行了展望, 对于推导更紧致的泛化误差界、多分类问题中的弱分类器条件、更适合多分类问题的损失函数、 更精确的迭代停止条件、提高算法抗噪声能力以及从子分类器的多样性角度优化AdaBoost算法等问题值得进一步深入与完善.     

基于基分类器系数和多样性的改进AdaBoost算法

针对传统AdaBoost算法的基分类器线性组合效率低以及过适应的问题,提出了一种基于基分类器系数与多样性的改进算法——WD AdaBoost。首先,根据基分类器的错误率与样本权重的分布状态,给出新的基分类器系数求解方法,以提高基分类器的组合效率;其次,在基分类器的选择策略上,WD AdaBoost算法引入双误度量以增加基分类器间的多样性。在五个来自不同实际应用领域的数据集上,与传统AdaBoost算法相比,CeffAda算法使用新的基分类器系数求解方法使测试误差平均降低了1.2个百分点;同时,WD AdaBoost算法与WLDF_Ada、AD_Ada、sk_AdaBoost等算法相对比,具有更低的错误率。实验结果表明,WD AdaBoost算法能够更高效地集成基分类器,抵抗过拟合,并可以提高分类性能。     

Remote-sensing imagery classification using multiple classification algorithm-based AdaBoost

AdaBoost demonstrates excellent performance in remote sensing (RS) image classification, but as it works on only one classification algorithm, the disadvantage of the classification algorithm itself is difficult to overcome, resulting in limitations in the improvement of classification accuracy. In this article, a modified AdaBoost, a multiple classification algorithm-based AdaBoost (MCA AdaBoost), is proposed to improve remote sensing image classification. The new method works on more than one classification algorithm and can make full use of the advantages of different learning algorithms. Based on a Landsat 8 Operational Land Imager (OLI) image whose spatial resolution was enhanced to 15 m with a panchromatic band, a C4.5 decision tree, Naïve Bayes, and artificial neural network were used as objects to verify and compare the performance of both AdaBoost and MCA AdaBoost. The experimental results show that MCA AdaBoost successfully inherits the benefits of the original AdaBoost, combines the advantages of different classification algorithms and lowers overfitting. By increasing diversity and complementarity among base classifiers, MCA AdaBoost outperforms AdaBoost in terms of RS classification accuracy improvement.     

基于改进AdaBoost算法的复杂网络链路预测

链路预测是复杂网络的重要研究方向,当前的链路预测算法因可利用的网络信息有限,导致预测算法的精确度受限。为了提高预测算法的性能,采用改进的AdaBoost算法进行链路预测。首先根据复杂网络样本建立邻接矩阵,完成样本的矩阵化处理;然后采用AdaBoost算法进行分类训练,通过权重投票获取预测结果;最后,考虑到复杂网络弱分类器预测正负误差分布的不均衡问题,设置权重调整因子η及其调整范围[η1,η2],并根据η值动态调整AdaBoost算法的多个弱分类器分类结果的权重,从而获得准确的链路预测结果。实验结果证明,相比其他常用网络链路预测算法及传统AdaBoost算法,改进的AdaBoost算法的预测准确率优势明显,且在节点数量较多时,其预测时间性能和其他算法的差距较小。     

基于样本噪声检测的AdaBoost算法改进

针对传统的AdaBoost算法中,存在的噪声样本造成的过拟合问题,提出了一种基于噪声检测的AdaBoost改进算法,本文称为NAdaBoost（nois-detection AdaBoost）. NAdaBoost算法创新点在于针对传统的AdaBoost算法在错误分类的样本中,噪声样本在某些属性上存在很大差异,根据这一特性来确定噪声样本,再重新使用算法对两类样本进行分类,最终达到提高分类准确率的目的. 本文对二分类问题进行实验结果表明,本文提出的算法和传统的AdaBoost算法,以及相关改进的算法相比,有较高的分类准确率.     

多分类问题代价敏感AdaBoost算法

针对目前多分类代价敏感分类问题在转换成二分类代价敏感分类问题存在的代价合并问题, 研究并构造出了可直接应用于多分类问题的代价敏感AdaBoost算法.算法具有与连续AdaBoost算法 类似的流程和误差估计. 当代价完全相等时, 该算法就变成了一种新的多分类的连续AdaBoost算法, 算法能够确保训练错误率随着训练的分类器的个数增加而降低, 但不直接要求各个分类器相互独立条件, 或者说独立性条件可以通过算法规则来保证, 但现有多分类连续AdaBoost算法的推导必须要求各个分类器相互独立. 实验数据表明, 算法可以真正实现分类结果偏向错分代价较小的类, 特别当每一类被错分成其他类的代价不平衡但平均代价相等时, 目前已有的多分类代价敏感学习算法会失效, 但新方法仍然能 实现最小的错分代价. 研究方法为进一步研究集成学习算法提供了一种新的思路, 得到了一种易操作并近似满足分类错误率最小的多标签分类问题的AdaBoost算法.     

Multi-Class Learning by Smoothed Boosting

AdaBoost.OC has been shown to be an effective method in boosting “weak” binary classifiers for multi-class learning. It employs the Error-Correcting Output Code (ECOC) method to convert a multi-class learning problem into a set of binary classification problems, and applies the AdaBoost algorithm to solve them efficiently. One of the main drawbacks with the AdaBoost.OC algorithm is that it is sensitive to the noisy examples and tends to overfit training examples when they are noisy. In this paper, we propose a new boosting algorithm, named “MSmoothBoost”, which introduces a smoothing mechanism into the boosting procedure to explicitly address the overfitting problem with AdaBoost.OC. We proved the bounds for both the empirical training error and the marginal training error of the proposed boosting algorithm. Empirical studies with seven UCI datasets and one real-world application have indicated that the proposed boosting algorithm is more robust and effective than the AdaBoost.OC algorithm for multi-class learning. Editor: Nicolo Cesa-Bianchi     

使用聚类来加速AdaBoost并实现噪声数据探测

决定集成学习性能的主要因素是集成的个体学习器之间的差异性.使用聚类技术来加速AdaBoost.在不同噪声水平环境下,新算法的性能都接近AdaBoost.对AdaBoost噪声敏感问题提出了新的解决思路,使用该项技术可以实现快速的噪声探测和噪声剔除后的再学习,从而在对含噪声数据基进行处理时,在综合性能和效率上都明显优于AdaBoost.     

基于浮动阈值分类器组合的多标签分类算法

针对目标可以同时属于多个类别的多标签分类问题,提出了一种基于浮动阈值分类器组合的多标签分类算法.首先,分析探讨了基于浮动阈值分类器的AdaBoost算法(AdaBoost.FT)的原理及错误率估计,证明了该算法能克服固定分段阈值分类器对分类边界附近点分类不稳定的缺点从而提高分类准确率;然后,采用二分类(BR)方法将该单标签学习算法应用于多标签分类问题,得到基于浮动阈值分类器组合的多标签分类方法,即多标签AdaBoost.FT.实验结果表明,所提算法的平均分类精度在Emotions数据集上比AdaBoost.MH、ML-kNN、RankSVM这3种算法分别提高约4%、8%、11%;在Scene、Yeast数据集上仅比RankSVM低约3%、1%.由实验分析可知,在不同类别标记之间基本没有关联关系或标签数目较少的数据集上,该算法均能得到较好的分类效果.     

AdaBoost算法的一种改进方法

Boosting是一种改善任意给定的机器学习算法准确性的通用方法．主要针对AdaBoost算法，介绍了AdaBoost算法的研究背景．分析了实验过程中出现的退化问题以及目标类权重分布扭曲的现象，提出了一种基于调整权重分布，限制权重扩张的改进方法，最后给出了实验结果和分析．     

标记错分样本的AdaBoost算法

提出一种新的标记迭代过程中错分样本的AdaBoost算法(MWBoost),该算法通过在提升过程中,把上一个分类器错分的样本全部参入到下一个分类器的训练中,并在分类正确的样本中进行重采样,从而使得后一轮提升中分类器能够更快速地关注那些难以分类的样本.该算法在UCI的多个数据集上进行了测试,并且与传统的AdaBoost算法进行了比较,实验结果表明,新的算法具有更好的分类精度.     

A low variance error boosting algorithm

This paper introduces a robust variant of AdaBoost, cw-AdaBoost, that uses weight perturbation to reduce variance error, and is particularly effective when dealing with data sets, such as microarray data, which have large numbers of features and small number of instances. The algorithm is compared with AdaBoost, Arcing and MultiBoost, using twelve gene expression datasets, using 10-fold cross validation. The new algorithm consistently achieves higher classification accuracy over all these datasets. In contrast to other AdaBoost variants, the algorithm is not susceptible to problems when a zero-error base classifier is encountered.     

基于多分类AdaBoost改进算法的TEE标准切面分类

针对超声图像样本冗余、不同标准切面因疾病导致的高度相似性、感兴趣区域定位不准确问题,提出一种结合特征袋（BOF）特征、主动学习方法和多分类AdaBoost改进算法的经食管超声心动图（TEE）标准切面分类方法。首先采用BOF方法对超声图像进行描述;然后采用主动学习方法选择对分类器最有价值的样本作为训练集;最后,在AdaBoost算法对弱分类器的迭代训练中,根据临时强分类器的分类情况调整样本更新规则,实现对多分类AdaBoost算法的改进和TEE标准切面的分类。在TEE数据集和三个UCI数据集上的实验表明,相比AdaBoost.SAMME算法、多分类支持向量机（SVM）算法、BP神经网络和AdaBoost.M2算法,所提算法在各个数据集上的G-mean指标、整体分类准确率和大多数类别分类准确率都有不同程度的提升,且比较难分的类别分类准确率提升最为显著。实验结果表明,在包含类间相似样本的数据集上,分类器的性能有显著提升。     

基于PCA+AdaBoost算法的人脸识别技术

人脸识别技术是图像处理方面的重要技术,然而识别率不高却一直妨碍人脸识别技术的广泛应用。主成分分析（PCA）是人脸识别技术的一个重要算法,将PCA与AdaBoost算法相结合改进了原来的算法,并称新算法为PCA+AdaBoost算法。实验证明PCA+AdaBoost算法的识别率明显高于PCA算法,相对于Fisherface算法的识别率也有明显的提高。