基于样本噪声检测的AdaBoost算法改进

针对传统的AdaBoost算法中,存在的噪声样本造成的过拟合问题,提出了一种基于噪声检测的AdaBoost改进算法,本文称为NAdaBoost（nois-detection AdaBoost）. NAdaBoost算法创新点在于针对传统的AdaBoost算法在错误分类的样本中,噪声样本在某些属性上存在很大差异,根据这一特性来确定噪声样本,再重新使用算法对两类样本进行分类,最终达到提高分类准确率的目的. 本文对二分类问题进行实验结果表明,本文提出的算法和传统的AdaBoost算法,以及相关改进的算法相比,有较高的分类准确率.     

Boosting家族AdaBoost系列代表算法

1 引言 Boosting由Freund和Schapire于1990年提出,是提高预测学习系统预测能力的有效工具,也是组合学习中最具代表性的方法。其代表算法可分为Boost-by-majority和AdaBoost两个系列。Boosting操纵训练例子以产生多个假设,从而建立通过投票结合的预测器集合。AdaBoost在训练例子上维护一套概率分布,在每一回迭代中AdaBoost在每个例子上调整这种分布,成员分类器在训练例子上的错误率被计算出来并以此在训练例子上调整概率分布。权重改变的作用是在被误分的例子上放置更多的权重,在分类正确的例子上减     

AdaBoost分类算法的数学分析

本文对AdaBoost算法进行了介绍,并从整个数学推导过程中分析怎样挑选分类器并设置权值,最终通过一组弱分类器组合构成强分类器。     

AdaBoost算法在喷码图像识别的应用

喷码在印刷中使用比较普遍,其识别通常采用模板匹配的方法,但是由于喷码常出现误差,为模板匹配方法识别带来难度。AdaBoost是一个建构准确分类器的学习算法,文中将此算法应用于喷码图像的识别,不仅提高了识别的准确率,速度也更为理想。     

AdaBoost算法研究进展与展望

AdaBoost是最优秀的Boosting算法之一, 有着坚实的理论基础, 在实践中得到了很好的推广和应用. 算法能够将比随机猜测略好的弱分类器提升为分类精度高的强分类器, 为学习算法的设计提供了新的思想和新的方法. 本文首先介绍Boosting猜想提出以及被证实的过程, 在此基础上, 引出AdaBoost算法的起源与最初设计思想;接着, 介绍AdaBoost算法训练误差与泛化误差分析方法, 解释了算法能够提高学习精度的原因;然后, 分析了AdaBoost算法的不同理论分析模型, 以及从这些模型衍生出的变种算法;之后, 介绍AdaBoost算法从二分类到多分类的推广. 同时, 介绍了AdaBoost及其变种算法在实际问题中的应用情况. 本文围绕AdaBoost及其变种算法来介绍在集成学习中有着重要地位的Boosting理论, 探讨Boosting理论研究的发展过程以及未来的研究方向, 为相关研究人员提供一些有用的线索. 最后,对今后研究进行了展望, 对于推导更紧致的泛化误差界、多分类问题中的弱分类器条件、更适合多分类问题的损失函数、 更精确的迭代停止条件、提高算法抗噪声能力以及从子分类器的多样性角度优化AdaBoost算法等问题值得进一步深入与完善.     

基于AdaBoost算法和Cascade算法的人脸检测系统的实现

文章从AdaBoost算法入手,利用AdaBoost学习训练算法和Cascade算法的检测构架设计了一个人脸检测系统,检测结果表明。该系统具有良好的检测速度和较强的实时性。     

基于Log-Gabor和AdaBoost的人脸识别算法研究

随着模式识别和计算机图形处理技术的发展,人脸识别技术在公共安全、居所门禁、信息安全领域广泛应用,如何提高人脸识别算法的效率与准确度是首要问题。在运用基于Log-Gabor小波的滤波器实现提取人脸特征的基础上,采用AdaBoost迭代算法训练强分类器,以降低特征向量数,从而达到提高识别效率的目的。与通常的算法比较,在不损失准确度的基础上,可显著节约匹配时间。     

基于损失函数的AdaBoost改进算法

针对AdaBoost集成时难分样本权重扩张导致训练样本在更新时分布失衡的问题,提出一种基于正负类样本损失函数(LF)的权重更新策略。权重的调整不仅与训练误差有关,还考虑到基分类器对不同类别样本的正确分类能力,从而避免训练样本过度集中于某一类的异常现象。实验结果表明,基于LF的AdaBoost能在提高收敛性能的情况下,提高算法精度,克服样本分布失衡问题。偏差方差分析的结果显示,该算法在改善偏差的情况下,能有效地减小错误率中的方差成分,提高集成的泛化能力。     

基于GA-CFS和AdaBoost算法的网络流量分类

鉴于特征属性选择在网络流量分类中占据重要地位,为了确定最优特征子集,利用CFS作为适应度函数的改进遗传算法(GA-CFS),从网络流量的249个属性空间中提取主要属性并最终选定18个特征组合作为最优特征子集。通过AdaBoost算法把一系列的弱分类器提升为强分类器,对网络流量进行了深入的分类研究。实验结果表明,基于GA-CFS和AdaBoost的流量组合分类方法较弱分类器具有较高的分类准确率。     

基于改进AdaBoost算法的人脸检测

提出了一种改进的AdaBoost算法,该算法设定漏检一张人脸的代价比误检一张人脸的代价大,然后通过学习使得两类分类错误的代价最小.实验结果表明,此算法能取得更好的学习效果,提高了人脸检测率.     

改进的AdaBoost算法在IDS入侵检测中的应用

网络入侵检测系统IDS中,异常数据所占的比例非常小,属于小类样本,却是检测的目标。在AdaBoost算法基础上进行改进,通过对大类样本权重设置阈值,对权值超过阈值的样本进行相应处理,来削弱分类器对大类样本错分的重视程度,减轻下一级训练的负担,从而有效地强化对小类错分样本的学习,提高入侵检测的精度,降低误报率和漏报率。方法在KDD-99数据集上进行实验,并与SVM方法检测结果进行比较,取得了很好的效果。     

支持向量机与AdaBoost的结合算法研究*

将支持向量机与AdaBoost算法相结合,称其为Boost-SVM。从提升泛化性能和预测精度等方面对支持向量机的学习算法进行了研究与比较。Boost-SVM实验结果表明,该算法提高了支持向量机的预测精度并优化了学习机的性能。     

一种改进的AdaBoost检测算法

针对传统AdaBoost算法在人脸图片训练过程中可能会出现退化现象和训练目标类权重分布过适应的问题,提出一种基于调整正负误差比和设定阈值的改进AdaBoost算法。该算法首先把设定的阈值和当前分类错误样本的权值比较来更新样本的权值,其次通过调整正误差和负误差之间的偏重关系来控制训练样本的偏重。经过实验表明,不同人脸图像库和不同正负样本比不影响该算法的有效性,在LFW非受限人脸图像库正负样本比例为1:1情况下,检测率为86.7%,高于传统AdaBoost算法;弱分类器数目为116,比传统AdaBoost算法多15个。实验结果可以看出所提算法抑制了退化和训练目标类权重过适应现象,有效地提高了人脸图片检测率。     

基于主动学习不平衡多分类AdaBoost算法的心脏病分类

针对不平衡分类中小类样本识别率低问题,提出一种基于主动学习不平衡多分类AdaBoost改进算法。首先,利用主动学习方法通过多次迭代抽样,选取少量的、对分类器最有价值的样本作为训练集;然后,基于不确定性动态间隔的样本选择策略,降低训练集的不平衡性;最后,利用代价敏感方法对多分类AdaBoost算法进行改进,对不同的类别给予不同的错分代价,调整样本权重更新速度,强迫弱分类器"关注"小类样本。在临床经胸超声心动图（TTE）测量数据集上的实验分析表明：与多分类支持向量机（SVM）相比,心脏病总体识别率提升了5.9%,G-mean指标提升了18.2%,瓣膜病（VHD）识别率提升了0.8%,感染性心内膜炎（IE）（小类）识别率提升了12.7%,冠心病（CAD）（小类）识别率提升了79.73%;与SMOTE-Boost相比,总体识别率提升了6.11%,G-mean指标提升了0.64%,VHD识别率提升了11.07%,先心病（CHD）识别率提升了3.69%。在TTE数据集和4个UCI数据集上的实验结果表明,该算法在不平稳多分类时能有效提高小类样本识别率,并且保证其他类别识别率不会大幅度降低,综合提升分类器性能。     

AdaBoost人脸检测算法在DSP上的移植与优化

将Viola等人提出的AdaBoost人脸检测算法由PC机移植到TMS320DM642嵌入式平台,采用EMCV （Embedded Computer Vision Library）移植方案,将PC平台的OpenCV（Open Source Computer Vision Library）视觉库中有关AdaBoost算法的模块修改使之适应嵌入式DSP平台。该移植工作主要解决了OpenCV在嵌入式平台的不兼容问题以及不同体系架构的编译器环境和库文件导致的编译和链接错误。优化工作在TI的编译器CCS中进行,在编译器平台下进行C语言的项目及程序优化,并进行了大量实验数据的对比,给出了优化的方案,对实现系统的实时性有指导性作用。     

基于AdaBoost和匹配追踪的选择性集成算法

为了平衡集成学习中差异性和准确性的关系并提高学习系统的泛化性能, 提出一种基于AdaBoost 和匹配追踪的选择性集成算法. 其基本思想是将匹配追踪理论融合于AdaBoost 的训练过程中, 利用匹配追踪贪婪迭代的思想来最小化目标函数与基分类器线性组合之间的冗余误差, 并根据冗余误差更新AdaBoost 已训练基分类器的权重, 进而根据权重大小选择集成分类器成员. 在公共数据集上的实验结果表明, 该算法能够获得较高的分类精度.     

结合运动特征的AdaBoost层次增强算法

随着高分辨率传感器成为视频获取的主流,AdaBoost算法所面临的主要问题是置入级联分类器待检测窗口数过多。提出一种AdaBoost人脸检测层次增强算法,以加快人脸检测速度。从整体目标运动与局部人脸运动两个层次出发,以矩形块为计算单位,根据相关性原则,提取运动目标区域;以运动特征为基础,结合主成分分析获得运动特征子空间;通过子空间投影得到候选人脸窗口集合。对比实验表明,在640×480以及1?280×720视频帧中,该算法具有较高的子窗口置入率和稳定的检测精度,平均检测速度分别为28?f/s和6?f/s,适用于实时人脸检测。     

改进的AdaBoost算法与SVM的组合分类器

提出了一种改进的AdaBoost算法与支持向量机组合的分类方法,用来处理多类别分类。采用规则抽样来解决支持向量机分类中正负样本的不平衡性,改进AdaBoost算法,使其在初始化时考虑样本分布稀疏的重要性,有利于稀有类样本的正确划分。实验结果表明,此方法与标准支持向量机分类器相比,泛化性能有一定程度的提高。