快速多分类器集成算法研究

研究快速多分类器集成算法。对多分类器集成需选定一定数量的弱分类器,再为每个弱分类器分配一定权重。在选择弱分类器时,通过计算每个弱分类器在全部训练样本集上的分类错误率,对其进行排序,挑选出分类效果最好的若干弱分类器。在多分类器权重分配策略上,提出2种权重分配方法：Biased AdaBoost算法与基于差分演化的多分类器集成算法。在人脸数据库上的实验结果表明,与经典AdaBoost算法相比,该算法能有效降低训练时间,提高识别准确率。     

一种自适应的多类Boosting分类算法

许多实际问题涉及到多分类技术,该技术能有效地缩小用户与计算机之间的理解差异。在传统的多类Boosting方法中,多类损耗函数未必具有猜测背离性,并且多类弱学习器的结合被限制为线性的加权和。为了获得高精度的最终分类器,多类损耗函数应具有多类边缘极大化、贝叶斯一致性与猜测背离性。此外,弱学习器的缺点可能会限制线性分类器的性能,但它们的非线性结合可以提供较强的判别力。根据这两个观点,设计了一个自适应的多类Boosting分类器,即SOHPBoost算法。在每次迭代中,SOHPBoost算法能够利用向量加法或Hadamard乘积来集成最优的多类弱学习器。这个自适应的过程可以产生多类弱学习的Hadamard乘积向量和,进而挖掘出数据集的隐藏结构。实验结果表明,SOHPBoost算法可以产生较好的多分类性能。     

不平衡数据度量指标优化的提升分类方法

为提高不平衡数据的分类性能,提出了基于度量指标优化的不平衡数据Boosting算法。该算法结合不平衡数据分类性能度量标准和Boosting算法,使用不平衡数据分类性能度量指标代替原有误分率指标,分别采用带有权重的正类和负类召回率、F-measure和G-means指标对Boosting算法进行优化,按照不同的度量指标计算Alpha 值进行迭代,得到带有加权值的弱学习器组合,最后使用Boosting算法进行优化。经过实验验证,与带有权重的Boosting算法进行比较,该算法对一定数据集的AUC分类性能指标有一定提高,错误率有所下降,对F-measure和G-mean性能指标有一定的改善,说明该算法侧重提高正类分类性能,改善不平衡数据的整体分类性能。     

AdaBoost算法研究进展与展望

AdaBoost是最优秀的Boosting算法之一, 有着坚实的理论基础, 在实践中得到了很好的推广和应用. 算法能够将比随机猜测略好的弱分类器提升为分类精度高的强分类器, 为学习算法的设计提供了新的思想和新的方法. 本文首先介绍Boosting猜想提出以及被证实的过程, 在此基础上, 引出AdaBoost算法的起源与最初设计思想;接着, 介绍AdaBoost算法训练误差与泛化误差分析方法, 解释了算法能够提高学习精度的原因;然后, 分析了AdaBoost算法的不同理论分析模型, 以及从这些模型衍生出的变种算法;之后, 介绍AdaBoost算法从二分类到多分类的推广. 同时, 介绍了AdaBoost及其变种算法在实际问题中的应用情况. 本文围绕AdaBoost及其变种算法来介绍在集成学习中有着重要地位的Boosting理论, 探讨Boosting理论研究的发展过程以及未来的研究方向, 为相关研究人员提供一些有用的线索. 最后,对今后研究进行了展望, 对于推导更紧致的泛化误差界、多分类问题中的弱分类器条件、更适合多分类问题的损失函数、 更精确的迭代停止条件、提高算法抗噪声能力以及从子分类器的多样性角度优化AdaBoost算法等问题值得进一步深入与完善.     

Bagging中文文本分类器的改进方法研究

在文本分类研究中,集成学习是一种提高分类器性能的有效方法.Bagging算法是目前流行的一种集成学习算法.针对Bagging算法弱分类器具有相同权重问题,提出一种改进的Bagging算法.该方法通过对弱分类器分类结果进行可信度计算得到投票权重,应用于Attribute Bagging算法设计了一个中文文本自动分类器.采用kNN作为弱分类器基本模型对Sogou实验室提供的新闻集进行分类.实验表明该算法比Attribute Bagging有更好的分类精度.     

基于数据重平衡的AUC优化Boosting算法

接收者操作特性(Receiver operating characteristics, ROC)曲线下面积(Area under the ROC curve, AUC)常被用于度量分类器在整个类先验分布上的总体分类性能. 原始Boosting算法优化分类精度,但在AUC度量下并非最优. 提出了一种AUC优化Boosting改进算法,通过在原始Boosting迭代中引入数据重平衡操作,实现弱学习算法优化目标从精度向AUC的迁移. 实验结果表明,较之原始Boosting算法,新算法在AUC度量下能获得更好性能.     

基于推进策略的遗传分类方法研究

应用遗传方法产生“弱”分类器,按照Boosting（推进）的思想,改变每一代遗传操作中训练实例的权重,并以整体结合方式确定未在训练集中的实例类型,有效地改进了遗传分类算法。     

基于Boosting算法融合的图像隐写分析方法

现有盲检测技术在实际检测中,由于嵌入算法未知导致检测困难。为此,提出一种基于Boosting算法融合的图像隐写分析方法。通过训练分类器建立不同隐写算法下的分类器模型,利用Boosting算法计算各分类器的分类性能,对各分类器的概率输出进行融合,得到最终检测结果。基于典型空间域隐写算法和JPEG隐写算法的实验结果表明,该方法实现了对多种隐写算法的有效检测,应用Boosting算法融合后整体检测性能提升了约2％。     

人脸检测级联分类器快速训练算法

目前AdaBoost训练算法已被广泛地应用于人脸检测中级联分类器的构建,而AdaBoost算法训练级联分类器的周期却十分漫长.为了减少训练时间,文中提出了一种基于AdaBoost的改进训练算法.该算法通过对弱分类器的阈值选择进行一趟处理来降低运算时间复杂度,并根据AdaBoost训练迭代中只改变样本权值而不更新样本的特点对特征值和排序结果进行缓存来提高训练算法的性能.实验结果表明,该算法大幅提高了人脸检测分类器训练系统的性能,使得分类器的训练时间缩短了60多倍.由于AdaBoost算法的通用性,该改进算法不仅适用于人脸检测,也适合所有进行权值更新迭代训练的Boosting算法.     

结合Boosting方法与SVM的多核学习跟踪算法

针对传统算法在外界环境及目标运动导致外形变化的影响下跟踪效果不稳定的问题,提出一种鲁棒的多核学习跟踪算法,将Boosting提升方法引入到多核学习框架中,用比传统多核学习算法更少的样本训练,构建出基于互补性特征集和核函数集的弱分类器池,从中将多个单核的弱分类器组合出一个多核的强分类器,从而在出现较强背景干扰、目标被遮挡的情况下仍能正确地对候选图块中的背景和目标进行分类。对不同视频序列的测试结果表明,与同样采用Boosting方法的OAB算法及近年跟踪精度高的LOT算法相比,该算法能够在复杂环境下更准确地跟踪到目标。