多阈值划分的连续AdaBoost人脸检测

连续AdaBoost算法要求对样本空间进行划分,传统的等距划分无法体现正负样本各自的分布规律.对基于连续AdaBoost算法的人脸检测方法进行了改进,结合离散AdaBoost中弱分类器的阈值选取策略,通过多重最优阈值选择方法实现了样本空间的合理划分.在MIT-CBCL数据库上的实验结果表明,改进后的方法比等距划分和连续AdaBoost算法检测率提高0.5%和2%,错误率降低0.15%和0.27%,算法收敛速度更快.     

多标号学习矢量量化的食用油掺伪检测

为了提高食用油掺伪检测效果,基于食用油的高效液相色谱数据,提出了一个新的多标号学习矢量量化算法(ML-LVQ),并应用于食用油的掺伪检测中。它每次调整两个原型使排序损失的上界最小,并通过元标号分类器确定多标号的数目,从而达到同时优化ranking准则函数和bipartitions准则函数的目的。在9类纯油以及它们的混合油样本的数据集上测试的结果表明,ML-LVQ取得了比改进的AdaBoost.RMH算法更好的性能。     

基于BP神经网络的人脸检测AbaBoost算法

人脸检测在日常生产和应用非常重要。本文提出了一种基于BP神经网络的AdaBoost人脸检测算法。首先,使用BP神经网络代替YCbCr高斯模型建立肤色模型。同时,针对AdaBoost算法提出了一种新的权值更新方法。在权值更新中引入阈值与样本之间的距离。另外权重有一个边界值。最后,利用BP神经网络提取图像中的肤色候选区域,并采用改进的AdaBoost算法对图像中的人脸进行精确检测。实验结果表明,利用BP神经网络和改进的AdaBoost算法的新的解决方案比现有的方法具有更高的精度。     

自适应搜索目标的快速彩色复合人脸检测方法

针对AdaBoost人脸检测方法搜索时间较长,不利于在手机等嵌入式平台上应用的现状,提出了一种结合肤色分割、人脸几何特征和AdaBoost的自适应搜索窗口和搜索步长的快速人脸检测方法。该算法在HSV颜色空间对图像进行分割,结合人脸几何特征对分割后的灰度图像进行面积滤波。最后提取滤波后的图像轮廓,结合经验系数得到自适应搜索窗口和搜索步长。实验结果表明,自适应算法不仅能检测出不同尺寸的人脸,而且检测速度快,能节省51.17%的搜索时间。     

用两层分类算法进行视频烟雾检测

为提高视频烟雾检测的准确性,提出一种基于概率的两层最近邻自适应度量分类算法(PTLNN)来进行烟雾检测.该算法以最小化平均绝对误差为原则,结合AdaBoost和KNN算法的优势,充分考虑局部和全局的样本分布,能明显提升分类精度.采用离散余弦变换(DCT)和离散小波变换(DWT)两种方式对烟雾特征进行提取,并验证算法性能.通过与传统算法的对比实验发现,采用离散余弦变换并结合PTLNN算法在视频烟雾检测方面具有更好的效果,既满足实时性要求又提高了检测精度.     

AdaBoost算法研究进展与展望

AdaBoost是最优秀的Boosting算法之一, 有着坚实的理论基础, 在实践中得到了很好的推广和应用. 算法能够将比随机猜测略好的弱分类器提升为分类精度高的强分类器, 为学习算法的设计提供了新的思想和新的方法. 本文首先介绍Boosting猜想提出以及被证实的过程, 在此基础上, 引出AdaBoost算法的起源与最初设计思想;接着, 介绍AdaBoost算法训练误差与泛化误差分析方法, 解释了算法能够提高学习精度的原因;然后, 分析了AdaBoost算法的不同理论分析模型, 以及从这些模型衍生出的变种算法;之后, 介绍AdaBoost算法从二分类到多分类的推广. 同时, 介绍了AdaBoost及其变种算法在实际问题中的应用情况. 本文围绕AdaBoost及其变种算法来介绍在集成学习中有着重要地位的Boosting理论, 探讨Boosting理论研究的发展过程以及未来的研究方向, 为相关研究人员提供一些有用的线索. 最后,对今后研究进行了展望, 对于推导更紧致的泛化误差界、多分类问题中的弱分类器条件、更适合多分类问题的损失函数、 更精确的迭代停止条件、提高算法抗噪声能力以及从子分类器的多样性角度优化AdaBoost算法等问题值得进一步深入与完善.     

基于特征空间划分的AdaBoost人脸检测算法

在应用AdaBoost算法的人脸检测中,针对训练时间太长的问题,提出一种基于特征值空间划分的改进型AdaBoost快速训练算法,调整了弱分类器的评价系数.在MIT-CBCL人脸和非人脸训练库上对算法进行了实现,实验结果显示改进后的AdaBoost算法简化了训练过程,训练速度提高16倍以上,而且以区间检测代替特定样本的特征单点检测,泛化能力更好,鲁棒性强,检测精度更高.     

粗糙集中的距离度量与离群点检测

针对传统的基于距离的离群点检测方法不能有效地处理具有离散型属性数据集的问题,将基于距离的离群点检测方法引入粗糙集理论,利用粗糙集解决离散型属性的处理问题.首先,在粗糙集的框架中提出3种面向离散型属性的距离度量;然后,针对这3种距离度量分别设计出相应的离群点检测算法,用于从包含离散型属性的数据集中检测离群点;最后,通过在2个包含离散型属性的UCI数据集上的实验,验证了这些算法的可行性和有效性.     

基于肤色检测的AdaBoost人脸检测算法改进

AdaBoost人脸检测算法用于嵌入式实时高清视频时检测速度缓慢.为此,提出一种改进的人脸检测算法.对图像做肤色检测,将检测到的区域进行形态学处理,并作为感兴趣区域,完成AdaBoost人脸检测,以得到检测结果.实验结果表明,该算法在嵌入式系统上运行稳定,能提高检测速度和检测正确率.     

MIMO无线系统多空时发射分集功率分配算法

针对多输入多输出(MIMO)无线系统多空时发射分集(STTD)技术的符号检测问题,提出了一种有效的功率分配算法。该算法基于QR连续符号检测,在只需要少量反馈信道状态信息(CSI)的前提下对信道矩阵进行QR分解。对R矩阵的属性进行了统计分析,推导了平均误码率(BER)的闭环表达式与上界;通过最小化平均BER上界,给出了最优化的功率分配机制。详细的仿真实验及与现有算法的比较表明,提出算法的性能不仅与理论值完全吻合,而且具有更好的BER性能。     

Cost-sensitive boosting

A novel framework is proposed for the design of cost-sensitive boosting algorithms. The framework is based on the identification of two necessary conditions for optimal cost-sensitive learning that 1) expected losses must be minimized by optimal cost-sensitive decision rules and 2) empirical loss minimization must emphasize the neighborhood of the target cost-sensitive boundary. It is shown that these conditions enable the derivation of cost-sensitive losses that can be minimized by gradient descent, in the functional space of convex combinations of weak learners, to produce novel boosting algorithms. The proposed framework is applied to the derivation of cost-sensitive extensions of AdaBoost, RealBoost, and LogitBoost. Experimental evidence, with a synthetic problem, standard data sets, and the computer vision problems of face and car detection, is presented in support of the cost-sensitive optimality of the new algorithms. Their performance is also compared to those of various previous cost-sensitive boosting proposals, as well as the popular combination of large-margin classifiers and probability calibration. Cost-sensitive boosting is shown to consistently outperform all other methods.     

多标签代价敏感分类集成学习算法

尽管多标签分类问题可以转换成一般多分类问题解决,但多标签代价敏感分类问题却很难转换成多类代价敏感分类问题.通过对多分类代价敏感学习算法扩展为多标签代价敏感学习算法时遇到的一些问题进行分析,提出了一种多标签代价敏感分类集成学习算法.算法的平均错分代价为误检标签代价和漏检标签代价之和,算法的流程类似于自适应提升（Adaptive boosting,AdaBoost）算法,其可以自动学习多个弱分类器来组合成强分类器,强分类器的平均错分代价将随着弱分类器增加而逐渐降低.详细分析了多标签代价敏感分类集成学习算法和多类代价敏感AdaBoost算法的区别,包括输出标签的依据和错分代价的含义.不同于通常的多类代价敏感分类问题,多标签代价敏感分类问题的错分代价要受到一定的限制,详细分析并给出了具体的限制条件.简化该算法得到了一种多标签AdaBoost算法和一种多类代价敏感AdaBoost算法.理论分析和实验结果均表明提出的多标签代价敏感分类集成学习算法是有效的,该算法能实现平均错分代价的最小化.特别地,对于不同类错分代价相差较大的多分类问题,该算法的效果明显好于已有的多类代价敏感AdaBoost算法.     

EBNO: Evolution of cost-sensitive Bayesian networks

The last decade has seen an increase in the attention paid to the development of cost-sensitive learning algorithms that aim to minimize misclassification costs while still maintaining accuracy. Most of this attention has been on cost-sensitive decision tree learning, whereas relatively little attention has been paid to assess if it is possible to develop better cost-sensitive classifiers based on Bayesian networks. Hence, this paper presents EBNO, an algorithm that utilizes Genetic algorithms to learn cost-sensitive Bayesian networks, where genes are utilized to represent the links between the nodes in Bayesian networks and the expected cost is used as a fitness function. An empirical comparison of the new algorithm has been carried out with respect to (a) an algorithm that induces cost-insensitive Bayesian networks to provide a base line, (b) ICET, a well-known algorithm that uses Genetic algorithms to induce cost-sensitive decision trees, (c) use of MetaCost to induce cost-sensitive Bayesian networks via bagging (d) use of AdaBoost to induce cost-sensitive Bayesian networks, and (e) use of XGBoost, a gradient boosting algorithm, to induce cost-sensitive decision trees. An empirical evaluation on 28 data sets reveals that EBNO performs well in comparison with the algorithms that produce single interpretable models and performs just as well as algorithms that use bagging and boosting methods.     

Cost-sensitive boosting for classification of imbalanced data

Classification of data with imbalanced class distribution has posed a significant drawback of the performance attainable by most standard classifier learning algorithms, which assume a relatively balanced class distribution and equal misclassification costs. The significant difficulty and frequent occurrence of the class imbalance problem indicate the need for extra research efforts. The objective of this paper is to investigate meta-techniques applicable to most classifier learning algorithms, with the aim to advance the classification of imbalanced data. The AdaBoost algorithm is reported as a successful meta-technique for improving classification accuracy. The insight gained from a comprehensive analysis of the AdaBoost algorithm in terms of its advantages and shortcomings in tacking the class imbalance problem leads to the exploration of three cost-sensitive boosting algorithms, which are developed by introducing cost items into the learning framework of AdaBoost. Further analysis shows that one of the proposed algorithms tallies with the stagewise additive modelling in statistics to minimize the cost exponential loss. These boosting algorithms are also studied with respect to their weighting strategies towards different types of samples, and their effectiveness in identifying rare cases through experiments on several real world medical data sets, where the class imbalance problem prevails.     

多分类问题代价敏感AdaBoost算法

针对目前多分类代价敏感分类问题在转换成二分类代价敏感分类问题存在的代价合并问题, 研究并构造出了可直接应用于多分类问题的代价敏感AdaBoost算法.算法具有与连续AdaBoost算法 类似的流程和误差估计. 当代价完全相等时, 该算法就变成了一种新的多分类的连续AdaBoost算法, 算法能够确保训练错误率随着训练的分类器的个数增加而降低, 但不直接要求各个分类器相互独立条件, 或者说独立性条件可以通过算法规则来保证, 但现有多分类连续AdaBoost算法的推导必须要求各个分类器相互独立. 实验数据表明, 算法可以真正实现分类结果偏向错分代价较小的类, 特别当每一类被错分成其他类的代价不平衡但平均代价相等时, 目前已有的多分类代价敏感学习算法会失效, 但新方法仍然能 实现最小的错分代价. 研究方法为进一步研究集成学习算法提供了一种新的思路, 得到了一种易操作并近似满足分类错误率最小的多标签分类问题的AdaBoost算法.     

一种基于AdaBoost的人脸检测算法

针对常规基于肤色检测的AdaBoost算法的不足, 提出了一种改进的AdaBoost人脸检测算法,算法包括人体肤色模型、人脸运动检测模型、改进的背景提取方法、针对人脸区域的光照增强方法。算法综合利用了人体肤色信息和人脸运动信息,能有效缩小搜索范围。实验结果表明,该方法与常规基于肤色检测的AdaBoost方法相比,在保证检测性能的基础上,有效提高了检测速度。     

代价敏感学习中的损失函数设计

一般的学习算法通过最小化分类损失使分类错误率最小化,而代价敏感学习则以最小化分类代价为目标,需构造代价敏感损失.本文探讨代价敏感损失的设计准则,首先介绍基于代价敏感风险优化的代价敏感学习方法,然后在Bayes最优分类理论框架下,提出两条代价敏感损失设计准则.接着采用两种常用代价敏感损失生成方法构造平方损失、指数损失、对数损失、支持向量机损失等经典损失函数的代价敏感扩展形式.根据所提出的设计准则,从理论上分析这些代价敏感损失的性能.最后通过实验表明,同时满足两条设计准则的代价敏感损失能有效降低分类代价,从而证明了本文提出的代价敏感损失设计准则的合理性.     

基于代价敏感Adaboost目标跟踪

目的 当前,目标跟踪问题常常会通过在线学习、检测的方法来解决。针对在线学习过程中,分类器训练需要花费大量时间以提高其识别准确率的问题,提出使用Adaboost算法级联弱分类器,在训练一定帧数后仅进行检测的方法来达到实时和准确的折中。方法 首先针对跟踪问题简化了haar特征,以降低特征计算量。同时考虑到经典的Adaboost算法可能并不适合跟踪过程中存在的正负样本不均衡问题,提出在样本权重更新公式中引入一个新的调整因子项并且结合代价敏感学习来提高目标识别率的方法。最终给出使用简化的haar特征作为描述子,改进的代价敏感Adaboost作为分类器的目标跟踪算法。结果 对20组视频进行跟踪实验,本文算法的平均代表准确率高于压缩跟踪算法约26%,高于原始代价敏感算法约11%;本文算法的视频处理平均帧率高于压缩跟踪算法约38%。结论 本文提出的新代价敏感Adaboost算法对目标的识别、跟踪具有较高的准确率及较快的处理速度,并具有一定的抗干扰能力。特别对人等非刚性目标能够进行较好跟踪。     

人脸检测的继承式集成学习方法

基于"遗传+变异"模式,提出继承式集成学习方法框架,它可以训练出四种不同形式的层叠分类器。除了基于"无遗传"模式的基本层叠分类器与基于"全部遗传"模式的嵌入式层叠分类器两种传统方法之外,还有基于"部分遗传+部分变异"模式的特征继承层叠分类器与弱分类器继承层叠分类器。虽然后两种层叠分类器都有一定的继承代价,但是其拟合性更好,可以更好地均衡收敛速度和扩展性能,其综合性能优于传统方法。基于RAB、GAB算法与LUT弱分类器的正面直立人脸检测实验结果表明了新的继承式集成学习方法的有效性。     

基于自编码器和集成学习的半监督异常检测算法

异常检测用来预处理数据,挖掘异类数据信息,是数据挖掘的一种重要方法。近年来由于维度灾难问题,高维异常数据检测显得十分困难,针对上述问题提出一种基于自编码器和集成学习的半监督异常检测算法。首先利用自编码器降维,在编解码过程中异常数据的异常程度被增大,然后在AdaBoost提升框架中融合iforest、LOF、K-means算法,基于3种算法对于不同异常类型的敏感性,提升异常检测的准确性。选取UCI机器学习库中的高维异常数据集进行实验。实验结果表明,该模型的准确性相较于目前主流的异常检测算法有显著提升。