一种针对不平衡数据分类的集成学习算法

针对水声目标识别中常被忽略的数据不平衡问题,提出一种随机子空间AdaBoost算法(RSBoost)。通过随机子空间法在不同水声特征空间上提取子训练样本集,在各个子训练样本集上训练基分类器,将其中少类间隔均值最大的基分类器作为本轮选定的分类器,迭代形成最终集成分类器。在实测数据上进行试验,利用F-measure和G-mean两个准则对RSBoost算法和AdaBoost算法在不同特征集上的性能进行评价。试验结果表明:相对于AdaBoost算法, RSBoost算法在F-measure准则下的平均值由0.07提升到0.22,在G-mean准则下的平均值由0.18提升到0.25,说明在处理水声数据不平衡分类问题上, RSBoost算法优于AdaBoost算法。     

一种针对不平衡数据分类的集成学习算法

针对水声目标识别中常被忽略的数据不平衡问题,提出一种随机子空间AdaBoost算法(RSBoost)。通过随机子空间法在不同水声特征空间上提取子训练样本集,在各个子训练样本集上训练基分类器,将其中少类间隔均值最大的基分类器作为本轮选定的分类器,迭代形成最终集成分类器。在实测数据上进行试验,利用F-measure和G-mean两个准则对RSBoost算法和AdaBoost算法在不同特征集上的性能进行评价。试验结果表明:相对于AdaBoost算法, RSBoost算法在F-measure准则下的平均值由0.07提升到0.22,在G-mean准则下的平均值由0.18提升到0.25,说明在处理水声数据不平衡分类问题上, RSBoost算法优于AdaBoost算法。     

AdaBoost算法的推广——一组集成学习算法

针对AdaBoost算法只适合于不稳定学习算法这一不足,基于增加新分类器总是希望降低集成分类器训练错误率这一思想,提出了利用样本权值来调整样本类中心的方法,使AdaBoost算法可以与一些稳定的学习算法结合成新的集成学习算法,如动态调整样本属性中心的集成学习算法、基于加权距离度量分类的集成学习算法和动态组合样本属性的集成学习算法,大大拓展了AdaBoost算法适用范围。针对AdaBoost算法的组合系数和样本权值调整策略是间接实现降低训练错误率目标,提出了直接面向目标的集成学习算法。在UCI数据上的实验与分析表明,提出的AdaBoost推广算法不仅有效,而且部分算法比AdaBoost算法效果更好。     

核聚类集成失衡数据SVM算法

针对传统SVM算法在失衡数据集下的分类性能不理想的问题,提出一种基于核聚类集成SVM算法.该算法首先在核空间中对多数类样本集进行聚类,然后随机选择出具有代表意义的聚类信息点,实现在减少多数类样本数的同时将分类界面向多数类样本方向偏移.并利用AdaBoost集成手段对基于核聚类的欠取样SVM算法进行集成,最终提高SVM算法在失衡数据下的泛化性能.将提出的算法同其他失衡数据预处理集成方法进行比较,实验结果表明该算法能够有效提高SVM算法在失衡数据中少数类的分类性能,且总体分类性能及运行效率都有明显提高.     

一种基于聚类的过抽样算法

在过抽样技术研究中,为了合成较有意义的新样本,提出一种基于聚类的过抽样算法ClusteredSMOTE_-Boost。过滤小类的噪声样本,将剩余的每个小类样本作为目标样本参与合成新样本。对整个训练集聚类,根据聚类后目标样本所在簇的特点确定其权重及合成个数。将所有目标样本聚类,在目标样本所在的簇内选取K个近邻,并从中任选一个与目标样本合成新样本,使新样本与目标样本簇内的样本尽量相似,并减少由于添加样本而造成的边界复杂度。试验结果表明,ClusteredSMOTE_-Boost算法在各个度量上均明显优于SMOTE_-Boost、ADASYN_-Boost和BorderlineSMOTE_-Boost三种经典算法。     

基于进化计算的贝叶斯网络结构复合学习算法

提出一种贝叶斯网络结构复合学习算法.该算法将EM算法、蒙特卡罗抽样算法、进化算法结合起来,用EM算法、蒙特卡罗抽样算法将不完整的数据集转换成完备的数据集,再利用进化算法进化网络结构.这种算法能够克服EM算法容易陷入局部最大值的缺陷,对于缺省数据处理是基于后验网络的,网络结构随进化计算不断优化,得到的补充数据可信度比较高,网络学习效率高、运算性能好.     

基于AdaBoost和ASM算法的人眼定位

针对人脸识别中眼睛定位不准的问题,提出了一种有效的人眼定位方法。该方法首先计算图像的积分图,然后利用基于Haar-like特征的AdaBoost级联分类器检测出图像中人脸的位置,最后再利用主动形状模型(ASM)算法精确定位出人眼。该方法在JAFFE人脸库和自建人脸库上表现出良好的性能,定位准确率达99%以上。实验结果表明,该方法对人眼的定位准确、快速。     

基于云计算平台的代价敏感集成学习算法研究

针对现实生活中大规模不平衡数据的分类问题,设计了一种基于云计算平台的代价敏感集成学习分类算法。Hadoop云计算平台对海量数据进行划分用于并行学习,同时结合代价敏感的思想对学习得到的基分类器进行加权集成,实现了云计算平台上的代价敏感集成学习分类模型。仿真实验表明该模型能够明显提高少数类的查全率,同时Hadoop的并行机制使得云平台坏境下的集成学习时间较集中式环境有大幅度的缩减,进一步提高了大规模不平衡数据分类问题的学习效率。     

面向不平衡问题的集成特征选择

传统的特征选择方法基本上是以精度为优化目标,没有充分考虑数据样本类别分布倾斜性,在数据分布不平衡的数据集上性能表现不理想。在不平衡数据集上通过有放回的抽样方法独立地从数据集大类样本集中随机抽取多个样本子集,使每次随机抽取的样本数量与小类样本数量一致,然后将各抽取的样本子集分别与小类样本集组合成多个新的训练样本集。对多个新样本集的特征子集以集成学习的方式采用投票机制进行投票,数据集的最终特征子集以得票数目超过半数的特征共同组合而成。在UCI不平衡数据集上的实验结果显示,提出的方法表现出了较好的性能,是一种能够处理不平衡问题的有效特征选择方法。     

一种基于抽样与约简的集成学习算法

集成学习的一个重要目标是获得一组差异性大的基分类器来构建集成分类器。为实现这一目标,提出一种基于抽样与约简的集成学习算法ELSR。该算法采用多模态扰动策略来训练基分类器。首先,采用多次抽样策略从训练集中抽样产生k个抽样集;其次,使用粗糙集的属性约简技术对每个抽样集进行约简;第三,在每一个约简之后的抽样集上分别训练一个基分类器;最后,利用一个验证集对每个基分类器进行性能测试,并根据测试结果选择一组合适的基分类器来构建集成分类器。在UCI数据集上的实验表明:当采用KNN算法或者C4.5算法来训练基分类器时,ELSR的分类性能总是要优于现有的集成学习算法。     

一种用于不平衡数据的分类算法

为提高不平衡数据集中少数类的分类性能,本研究提出一种改进的AdaBoost算法(UnAdaBoost算法)来解决数据不平衡问题。该方法首先改进基分类器,使其在损失一定程度的多数类分类性能的情况下提高少数类的分类性能,而多数类分类性能的损失可通过后面的多个分类器集成弥补回来,这样既提高了少数类的分类性能又不会损失多数类的分类精度。本研究把改进的朴素贝叶斯方法作为基分类器,用改进投票权值的AdaBoost算法对基分类器进行融合。实验结果表明,与传统的Adaboost算法相比,该方法可以有效地提高不平衡数据的分类性能。     

基于适应加权非对称AdaBoost HMM的三维模型分类算法

针对三维模型的分类问题,提出了一种适应性加权非对称AdaBoost隐马尔克夫模型（HMM）分类算法.算法中提出了由三维模型表面的绝对法向量表示的两种新特征,将经过归一化和姿态调整的三维模型划分为若干部分,各部分对应HMM的一个状态,对各部分提取特征并用主成分分析（PCA）降维,对模型的4种特征对应的弱分类器使用非对称AdaBoost算法进行boosting. HMM的结构及参数初始值由模型姿势调整的可能形式及观测顺序确定,训练过程中参数用期望最大化方法计算,最后使用加权相似度计算对三维模型分类.分析及试验结果表明,与基于分布函数的分类算法相比,该算法明显提高了正确率.适应性加权后,分类正确率可进一步提高.     

一种改进的AdaBoost人脸检测算法

针对 AdaBoost算法忽略弱分类器之间的相关性导致强分类器的集成性能降低的缺陷,提出一种改进的 AdaBoost人脸检测算法。通过加入差异性度量进行相关性判定,并根据判定值剔除相似特征,以有效增加分类器的多样性。实验结果表明,相同条件下,改进的算法提高了人脸检测率,降低了错误检测数。     

基于AdaBoost的人脸检测算法

针对人脸检测的特点,深入分析了基于Haar-Like小波特征和AdaBoost算法构造强分类器的人脸检测算法,并将此算法应用于ORL人脸库.在Visual C++6.0平台下,首先利用AdaBoost算法训练得到用于人脸检测的强分类器H(x),然后利用该分类器进行人脸检测.实验表明,提出的算法在保证检测精度的同时,极大的提高了人脸检测速度,且受光照变化影响小.     

基于AdaBoost.ECOC的合成孔径雷达图像目标识别研究

为了提高合成孔径雷达图像目标识别系统的性能,提出了一种合成孔径雷达图像目标识别的新方法,结合纠错输出码对基本AdaBoost算法进行多类别推广,并将推广后的算法(AdaBoost.ECOC)应用于合成孔径雷达图像目标识别.用运动和静止目标获取与识别数据库中的三类地面军事目标进行识别实验,并将识别结果与其他识别方法进行比较.实验结果表明,提出的基于AdaBoost.ECOC的识别算法可以有效地应用于合成孔径雷达目标识别,并能显著提高目标识别系统的识别性能.     

基于AdaBoost和概率神经网络的入侵检测算法

将AdaBoost算法和概率神经网络结合,提出了一种新的概率神经网络模型ABPNN,基于此模型提出一种新的入侵检测算法.该算法对接收到的网络数据进行分析判断,实现入侵方式的自动分类,并且能对新的入侵行为进行分类和记忆.实验证明该算法在入侵检测系统的检测率和误报率方面都有优越的性能表现.     

基于AdaBoost RBF神经网络的火灾烟雾检测

为了解决大空间场所的火灾早期预警问题,减少环境变化对预报的影响,从烟雾的视觉特征角度探讨了视频火灾烟雾检测方法.该算法首先采用背景减除法获得差分图像,接着对差分图像进行二值化,并结合数学形态学提取可疑区域,然后从可疑区域提取颜色特征、运动特征和形状特征,最后使用基于AdaBoost的RBF神经网络进行识别,判断场景中是否有烟雾出现.试验表明,该方法能有效地检测出烟雾并且具有较好的抗干扰能力,提高了烟雾检测的准确率,具有较好的工程应用价值.     

结合场景运动模式的有向加权AdaBoost目标检测

针对现有检测算法对场景先验信息和群体运动规律考虑甚少这一局限性,提出一种结合场景运动模式的有向加权AdaBoost目标检测算法.该算法首先建立了一种基于速率加权方向直方图矩阵的场景运动模式模型,并在此基础上通过稀疏光流投票方法获取场景的运动模式信息.同时,针对该模型提出一种有向加权AdaBoost检测算法,通过建立多个有向AdaBoost分类过程,并利用局部区域的运动模式对分类过程加权,最终实现运动目标检测.通过交叉验证分类实验和视频检测实验验证,该算法在相同假阳性率条件下的查准率较传统AdaBoost检测器的高出约10%,充分验证了算法的有效性和优越性.