KSVM错分及拒分区域的分类信息增益权重分类器

为解决KSVM分类器错分及拒分区域问题,提出了一种新的结合分类信息增益权重的改进KSVM分类器(classifica-tion information gain weight KNN&&SVM,CIGWKSVM)。采用熵期望值度量训练样本的复杂程度、特征集针对分类的不确定性以计算特征集的分类信息增益值,并融合特征分布信息定义训练集样本各条件属性在分类过程中的CIGW权重。在此基础上,设计围绕加CIGW权的欧式距离测度进行聚类处理,并优化选择错分、拒分区K近邻代表点的CIGWKSVM分类器。从理论上比较分析了CIGWKSVM分类器的性能,仿真实验结果表明,CIGWKSVM分类器在保证效率的情况下,分类精度得到了极大的提高。     

Adaboost算法在图像型火灾探测中的应用研究

图像型火灾探测实际上是不平衡数据的二分类问题,现有方法在处理不平衡数据分类问题时常常会引入新的噪声点或丢掉很重要的信息,算法稳定性较差。根据Adaboost对样本分配不同权重的优势,和SVM在平衡数据条件下较好的分类性能,将Adaboost算法和支持向量机(SVM)相结合,提出Adaboost-SVM算法。把火焰疑似区域的特征值作为SVM分类器的输入参数,利用Adaboost算法重点标记错分样本,并对样本的权重设定阈值,采用一定的准则对少数样本进行再构造使正负样本达到平衡。最后在训练数据的同时,通过投票机制输出最终分类结果。实验结果表明,该算法提高了火灾在正负样本分布不平衡时的分类性能。     

基于概率阈值Bagging算法的不平衡数据分类方法

类别不平衡问题广泛存在于现实生活中,多数传统分类器假定类分布平衡或误分类代价相等,因此类别不平衡数据严重影响了传统分类器的分类性能。针对不平衡数据集的分类问题,提出了一种处理不平衡数据的概率阈值Bagging分类方法-PT Bagging。将阈值移动技术与Bagging集成算法结合起来,在训练阶段使用原始分布的训练集进行训练,在预测阶段引入决策阈值移动方法,利用校准的后验概率估计得到对不平衡数据分类的最大化性能测量。实验结果表明,PT Bagging算法具有更好的处理不平衡数据的分类优势。     

不平衡数据集的神经网络阈值优化方法

不平衡数据集分类为机器学习热点研究问题之一,近年来研究人员提出很多理论和算法以改进传统分类技术在不平衡数据集上的性能,其中用阈值判定标准确定神经网络中的阈值是重要的方法之一。常用的阈值判定标准存在一定缺点,如不能使少数类及多数类分类精度同时取得最好、过于偏好多数类的精度等。为此提出一种新的阈值判定标准,依据该标准能够使少数类及多数类分类精度同时取得最好而不受样例类别比例的影响。以神经网络与遗传算法相结合训练分类器,作为阈值选择条件和分类器的评价标准,新标准能够得到较好的结果。     

不平衡数据分类方法综述

随着信息技术的快速发展,各领域的数据正以前所未有的速度产生并被广泛收集和存储,如何实现数据的智能化处理从而利用数据中蕴含的有价值信息已成为理论和应用的研究热点.数据分类作为一种基础的数据处理方法,已广泛应用于数据的智能化处理.传统分类方法通常假设数据类别分布均衡且错分代价相等,然而,现实中的数据通常具有不平衡特性,即某一类的样本数量要小于其他类的样本数量,且少数类具有更高错分代价.当利用传统的分类算法处理不平衡数据时,由于多数类和少数类在数量上的倾斜,以总体分类精度最大为目标会使得分类模型偏向于多数类而忽略少数类,造成少数类的分类精度较低.如何针对不平衡数据分类问题设计分类算法,同时保证不平衡数据中多数类与少数类的分类精度,已成为机器学习领域的研究热点,并相继出现了一系列优秀的不平衡数据分类方法.鉴于此,对现有的不平衡数据分类方法给出较为全面的梳理,从数据预处理层面、特征层面和分类算法层面总结和比较现有的不平衡数据分类方法,并结合当下机器学习的研究热点,探讨不平衡数据分类方法存在的挑战.最后展望不平衡数据分类未来的研究方向.     

AUCRF算法在信用风险评价中的特征选择研究

目前基于随机森林算法的特征选择方法多以优化总体分类精度为目标。然而,信用风险评价过程中错分代价不对等的不平衡数据广泛存在。此时,用精度作分类性能评价指标不合适。采用ROC曲线下面积AUC值作二分类算法的分类性能指标,构造一个基于随机森林算法的特征选择算法AUCRF,并对UCI机器学习库中的澳大利亚信用数据进行实证分析。结果表明,基于AUCRF算法的模型能以较小的特征子集获得较高的分类性能,AUC=0.934 6。因此,AUCRF算法可用于错分代价不对等的信用风险特征选择。     

一种基于属性加权的代价敏感支持向量机算法

针对实际中存在的各类别样本错分造成不同危害程度的分类问题,提出了一种基于属性加权的代价敏感支持向量机分类算法,即在计算各个样本特征属性对分类的重要度之后,对相应的属性进行重要度加权,所得的数据用于训练和测试代价敏感支持向量机。数值实验的结果表明,该方法提高了误分代价高的类别的分类精度,同时属性重要度的引入提高了分类器的整体分类性能。该方法对错分代价不对称的数据分类问题具有重要的现实意义。     

新的基于代价敏感集成学习的非平衡数据集分类方法NIBoost

现实生活中存在大量的非平衡数据,大多数传统的分类算法假定类分布平衡或者样本的错分代价相同,因此在对这些非平衡数据进行分类时会出现少数类样本错分的问题。针对上述问题,在代价敏感的理论基础上,提出了一种新的基于代价敏感集成学习的非平衡数据分类算法--NIBoost（New Imbalanced Boost）。首先,在每次迭代过程中利用过采样算法新增一定数目的少数类样本来对数据集进行平衡,在该新数据集上训练分类器;其次,使用该分类器对数据集进行分类,并得到各样本的预测类标及该分类器的分类错误率;最后,根据分类错误率和预测的类标计算该分类器的权重系数及各样本新的权重。实验采用决策树、朴素贝叶斯作为弱分类器算法,在UCI数据集上的实验结果表明,当以决策树作为基分类器时,与RareBoost算法相比,F-value最高提高了5.91个百分点、G-mean最高提高了7.44个百分点、AUC最高提高了4.38个百分点;故该新算法在处理非平衡数据分类问题上具有一定的优势。     

基于邻域混合抽样和动态集成的不平衡数据分类方法

不平衡数据严重影响了传统分类算法的性能,导致少数类的识别率降低。提出一种基于邻域特征的混合抽样技术,该技术根据样本邻域中的类别分布特征来确定采样权重,进而采用混合抽样的方法来获得平衡的数据集;然后采用一种基于局部置信度的动态集成方法,通过分类学习生成基分类器,对于每个检验的样本,根据局部分类精度动态地选择最优的基分类器进行组合。通过UCI标准数据集上的实验表明,该方法能够同时提高不平衡数据中少数类和多数类的分类精度。     

新的AdaBoost算法评价体系

工程实际中,往往通过对比两个AdaBoost算法在相同弱分类器数量条件下的错分率来比较算法性能,这样就忽略了在弱分类器数量增加时,错分率的波动会造成对比不准确的问题。为此,分别针对分类器性能的分类准确率、收敛速度和稳定性,提出了稳态错分率、调节规模、振荡度三个量化指标,构成了一个相对完备的评价体系。实验表明,该评价体系能更全面反映AdaBoost的分类效果。     

不平衡数据多粒度集成分类算法研究

针对传统模型在解决不平衡数据分类问题时存在精度低、稳定性差、泛化能力弱等问题,提出基于序贯三支决策多粒度集成分类算法MGE-S3WD。采用二元关系实现粒层动态划分;根据代价矩阵计算阈值并构建多层次粒结构,将各粒层数据划分为正域、边界域和负域;将各粒层上的划分,按照正域与负域、正域与边界域、负域与边界域重新组合形成新的数据子集,并在各数据子集上构建基分类器,实现不平衡数据的集成分类。仿真结果表明,该算法能够有效降低数据子集的不平衡比,提升集成学习中基分类器的差异性,在G-mean和F-measure1 2个评价指标下,分类性能优于或部分优于其他集成分类算法,有效提高了分类模型的分类精度和稳定性,为不平衡数据集的集成学习提供了新的研究思路。     

基于地理加权的k-|NN高分辨率遥感影像分类算法改进

与中低分辨率相比,高分辨率遥感影像的信息比较丰富,在使用常规k-NN分类方法基于像元进行高分辨率遥感影像分类时会产生大量的“椒盐噪声”和地物类别错分。根据地理学第一定律,引入地统计模型,将地理权重加入到常规k-NN分类方法中,形成新的地理权重k-NN分类器(Geographically Weighted k-NN,GWk-NN)。该方法首先通过条件概率函数计算出训练样本数据的空间分布特征,然后通过地统计模型对空间分布特征进行拟合,为每种地物选择合适的权重模型,这样既保留了遥感影像中地物的光谱特征,又融入了地物的空间特征,在一定程度上减少甚至消除了“椒盐噪声”,提高了分类精度。GWk\|NN和常规k\|NN分类器分析对比表明：GWk-NN分类方法提高了高分辨率影像的分类精度。     

多任务学习的不平衡SVM+算法

处理不平衡数据分类时,传统支持向量机技术（SVM）对少数类样本识别率较低。鉴于SVM+技术能利用样本间隐藏信息的启发,提出了多任务学习的不平衡SVM+算法（MTL-IC-SVM+）。MTL-IC-SVM+基于SVM+将不平衡数据的分类表示为一个多任务的学习问题,并从纠正分类面的偏移出发,分别赋予多数类和少数类样本不同的错分惩罚因子,且设置少数类样本到分类面的距离大于多数类样本到分类面的距离。UCI数据集上的实验结果表明,MTL-IC-SVM+在不平衡数据分类问题上具有较高的分类精度。     

标记错分样本的AdaBoost算法

提出一种新的标记迭代过程中错分样本的AdaBoost算法(MWBoost),该算法通过在提升过程中,把上一个分类器错分的样本全部参入到下一个分类器的训练中,并在分类正确的样本中进行重采样,从而使得后一轮提升中分类器能够更快速地关注那些难以分类的样本.该算法在UCI的多个数据集上进行了测试,并且与传统的AdaBoost算法进行了比较,实验结果表明,新的算法具有更好的分类精度.     

基于特征间关系合成少数类样本的过采样算法

数据不平衡的现象在现实生活中非常普遍。为了提高整体分类精度,分类器有时会以错分少数类为代价。但在现实生活中,对少数类进行错误分类的后果非常严重。考虑到传统重采样算法容易忽略数据的空间分布和少数类样本特征之间的关系,提出一种基于特征关系的采样算法(SABRF)生成新的样本集。SABRF通过帕累托多目标特征选择保留不平衡数据集的关键区分特征,同时通过极端梯度提升(XGBoost)回归模型捕获少数类样本关键特征之间的关系。此外,还提出一个新的样本选择策略衡量新生成样本的质量。使用6个公开的UCI数据集和1个真实的骨科术后血栓数据集进行实验,结果表明,SABRF在受试者工作特征曲线下面积(AUC)、F1分数(F1＿score)和几何平均值(G＿mean)上均有较好的表现;此外,对使用基于多指标评价的样本选择策略挑选出的新样本进行分类,不平衡数据的分类结果也最好,验证了样本选择策略的有效性。     

基于Bagging-SVM的Android恶意软件检测模型

针对Android恶意软件检测中数据不平衡导致检出率低的问题,提出一种基于Bagging-SVM（支持向量机）集成算法的Android恶意软件检测模型。首先,提取AndroidManifest.xml文件中的权限信息、意图信息和组件信息作为特征;然后,提出IG-ReliefF混合筛选算法用于数据集降维,采用bootstrap抽样构造多个平衡数据集;最后,采用平衡数据集训练基于Bagging算法的SVM集成分类器,通过该分类器完成Android恶意软件检测。在分类检测实验中,当良性样本和恶意样本数量平衡时,Bagging-SVM和随机森林算法检出率均高达99.4%;当良性样本和恶意样本的数量比为4：1时,相比随机森林和AdaBoost算法,Bagging-SVM算法在检测精度不降低的条件下,检出率提高了6.6%。实验结果表明所提模型在数据不平衡时仍具有较高的检出率和分类精度,可检测出绝大多数恶意软件。     

优化的支持向量机集成分类器在非平衡数据集分类中的应用

传统的分类算法大都建立在平衡数据集的基础上,当样本数据不平衡时,这些学习算法的性能往往会明显下降.对于非平衡数据分类问题,提出了一种优化的支持向量机(SVM)集成分类器模型,采用KSMOTE和Bootstrap对非平衡数据进行预处理,生成相应的SVM模型并用复合形算法优化模型参数,最后利用优化的参数并行生成SVM集成分类器模型,采用投票机制得到分类结果.对5组UCI标准数据集进行实验,结果表明采用优化的SVM集成分类器模型较SVM模型、优化的SVM模型等分类精度有了明显的提升,同时验证了不同的bootNum取值对分类器性能效果的影响.     

一种基于聚类提升的不平衡数据分类算法

不平衡数据分类是机器学习研究领域中的一个热点问题。针对传统分类算法处理不平衡数据的少数类识别率过低问题,文章提出了一种基于聚类的改进AdaBoost分类算法。算法首先进行基于聚类的欠采样,在多数类样本上进行K均值聚类,之后提取聚类质心,与少数类样本数目一致的聚类质心和所有少数类样本组成新的平衡训练集。为了避免少数类样本数量过少而使训练集过小导致分类精度下降,采用少数过采样技术过采样结合聚类欠采样。然后,借鉴代价敏感学习思想,对AdaBoost算法的基分类器分类误差函数进行改进,赋予不同类别样本非对称错分损失。实验结果表明,算法使模型训练样本具有较高的代表性,在保证总体分类性能的同时提高了少数类的分类精度。     

基于信息熵的RVM-AdaBoost组合分类器

针对AdaBoost算法不能有效提高RVM分类性能的问题,提出一种基于信息熵的RVM与AdaBoost组合分类器。依据RVM输出的后验概率来定义样本的信息熵,信息熵越高的样本越容易错分。提出使用自适应信息熵阈值对数据进行筛选,筛选出的数据使用基于AdaBoost算法的集成分类器进行分类,样本的分类结果由RVM与集成分类器组合给出。把未筛选出且分类错误的极少样本作为噪声对待,增强了组合分类器的稳定性,避免了随着AdaBoost算法迭代次数增加集成分类器出现退化的现象。使用UCI数据集从分类正确率、分类效率和稳定性三方面对提出的组合分类器进行验证,实验结果表明了此分类器的有效性。     

基于Adaboost分类算法的优化研究与应用

针对数据采集过程中的数据分布不平衡的问题,对非平衡数据应用数据挖掘分类算法进行分类。传统的分类器在处理非平衡数据时分类结果往往倾向于样本数目较多的类。但Adaboost算法在处理非平衡数据过程中表现出了优势,主要是对Adaboost算法进行改进和应用,采用级联的Adaboost分类器并结合SVM算法构造出分类效率更高的分类器。最后通过具体数据验证改进后算法的有效性。