一种新的概率支持向量机方法

提出一个新的基于样本点概率估计的支持向量机,通过定义相应样本数据点的概率估计值,以及相应的数据样本点到超平面的距离,来形成新的线性和非线性情况下的支持向量机。最后通过实验证明,在数据集的训练上,新的支持向量机比以往传统的支持向量机有更好的分类性能,并且缩短了支持向量机数据样本的训练时间。     

基于距离排序的快速支持向量机分类算法

传统支持向量机算法由于时空复杂度较高,因此很难有效地处理大规模数据。为了降低支持向量机算法的时空复杂度,提出一种基于距离排序的快速支持向量机分类算法。该算法首先计算两类样本点的样本中心,然后对每一个样本计算它与另一类样本中心之间的距离,最后根据距离排序选择一定比例的小距离样本作为边界样本。由于边界样本集合很好地包含了支持向量,而且数目较原始样本集合少得多,因此算法可以在保证支持向量机学习精度的前提下,有效地缩短训练时间和节约存储空间。在UCI标准数据集和20-Newsgroups文本分类数据集上的实验说明算法较以往支持向量预选取算法而言可以更为快速准确地进行支持向量预选取。     

一种模糊加权的孪生支持向量机算法

虽然孪生支持向量机（Twin Support Vector Machine,TSVM）的处理速度优于传统的支持向量机,但其并没有考虑输入样本点对最优分类超平面所产生的不同影响。通过为每个训练样本赋予不同的样本重要性,以及减少样本点对非平行超平面的影响,提出了模糊加权孪生支持向量机（Fuzzy TSVM,FTSVM）。在UCI标准数据集上,对FTSVM进行了实验研究并与TSVM、FSVM和SVM方法进行了比较,实验结果表明FTSVM方法是有效的。     

基于可变隶属度的模糊双支持向量机研究

双支持向量机是一种新的非平行二分类算法。其处理速度比传统支持向量机快很多,但是双支持向量机没有考虑不同输入样本点会对最优分类超平面产生不同的贡献。在测试阶段测试点到两类超平面的距离相等时,双支持向量机也没有明确给出对这些等距点的处理方法。针对这些情况,提出一种可变隶属度的模糊双支持向量机。距离类中心较近的样本点隶属度由其到类中心的距离决定,距离类中心较远的样本点隶属度由其到类中心的距离和它的紧密度共同决定。在测试阶段出现等距点时,根据等距点与各类训练点的等价性比例进行分类。实验结果表明,与支持向量机、标准双支持向量机、双边界支持向量机、混合模糊双支持向量机相比,这种可变隶属度模糊双支持向量机分类精度最高。     

分布熵惩罚的支持向量数据描述

针对支持向量数据描述（SVDD）对惩罚参数相当敏感的问题,提出一种新颖的异常检测方法,称为分布熵惩罚的支持向量数据描述（DEP-SVDD）。首先,将正常样本作为数据的全局分布,并在高斯核空间中定义每个样本点与正常样本分布中心的距离度量;然后,基于该距离设计评估样本点属于正常或异常样本的概率;最后,利用此概率构造基于分布熵的惩罚度以对相应的样本进行惩罚。在9个真实数据集上,将所提方法与SVDD、密度权的支持向量数据描述 （DW-SVDD）、位置正则的支持向量数据描述（P-SVDD）、K最近邻（KNN）和孤立森林（iForest）算法进行对比实验,结果表明DEP-SVDD在6个数据集上获得了最高的分类精度,可见相较于多种异常检测方法,DEP-SVDD在异常检测中具有更好的性能优势。     

单类支持向量机的研究进展

单类支持向量机是一种用途广泛的分类器,它能够应用于负类样本难以收集的领域中,如入侵检测、故障检测与诊断和遥感数据分类等领域。因此无论在理论研究还是实际应用方面,单类支持向量机受到越来越多的关注。回顾单类支持向量机的两种主要方法,阐述各种关于单类支持向量机的改进,包括使用未标号数据、选择样本点以及修改优化目标。对单类支持向量机做了总结。     

面向不均衡分类的隶属度加权模糊支持向量机

针对不均衡分类问题,提出了一种基于隶属度加权的模糊支持向量机模型。使用传统支持向量机对样本进行训练,并通过样本点与所得分类超平面之间的距离构造模糊隶属度,这不仅能够消除噪点和野值点的影响,而且可以在一定程度上约减样本;利用正负类的平均隶属度和样本数量求得平衡调节因子,消除数据不平衡时造成的分类超平面的偏移现象;通过实验结果验证了该算法的可行性和有效性。实验结果表明,该算法能有效提高分类精度,特别是对不平衡数据效果更加明显,在训练速度和分类性能上比传统支持向量机和模糊支持向量机有进一步的提升。     

基于密度法的双隶属度模糊支持向量机

针对现实环境中样本集越来越大,并且往往含有大量噪声和野值,导致传统模糊支持向量机的训练时间和分类识别率降低的阃题,提出基于密度法的双隶属度模糊支持向量机,即靠近类中心的样本点隶属度由其到类中心的距离确定,远离类中心的样本点隶属度由其邻域内同类异类样本点数量的比例确定。从理论和实证两个方面分析文中方法与以往基于密度的模糊支持向量机（DFSVM）相比,该方法不但降低了算法的复杂度,并且提高了支持向量机的分类精度。     

基于不平衡数据分类的一种平衡模糊支持向量机

鉴于不平衡数据集中类不平衡比较大的分类问题,利用样本点的特性建立类不平衡调节因子和模糊隶属度,提出了平衡模糊支持向量机。首先计算样本协方差矩阵,求得类不平衡调节因子,然后计算各样本点的模糊隶属度,得到各样本对分类超平面的贡献率。类平衡调节因子和模糊隶属度同时对分类器的误差项产生影响。结果表明,这种平衡模糊支持向量机对类不平衡比较大的分类问题具有很好的分类效果。     

基于几何思想的快速支持向量机算法

为了快速地进行分类,根据几何思想来训练支持向量机,提出了一种快速而简单的支持向量机训练算法——几何快速算法。由于支持向量机的最优分类面只由支持向量决定,因此只要找出两类样本中所有支持向量,那么最优分类面就可以完全确定。该新的算法根据两类样本的几何分布,先从两类样本的最近点开始;然后通过不断地寻找违反KKT条件的样本点来找出支持向量;最后确定最优分类面。为了验证新算法的有效性,分别利用两个公共数据库,对新算法与SMO算法及DIRECTSVM算法进行了实验对比,实验结果显示,新算法的分类精度虽与其他两个方法相当,但新算法的运算速度明显比其他两个算法快。     

基于两阶段聚类的模糊支持向量机

为了提高模糊支持向量机在大数据集上的训练效率,提出一种基于两阶段聚类的模糊支持向量机算法。第1阶段为粗粒度聚类阶段,在每类训练样本上执行密度聚类算法,设置较大的邻域半径(给定邻域内最小点数),保证可能成为支持向量的样本点都被选取;第2阶段为自适应聚类阶段,在粗选的数据集合上,执行自适应密度聚类算法,根据各个点距离分类面的远近,自适应决定该点的邻域半径(给定邻域内最小点数)。这样可有效地减少远离分类面的聚类边缘点的数量,同时在分类面附近保持较多的样本点,试验结果表明,基于两阶段聚类模糊支持向量机算法,相比以往的方法,不仅提高了模糊支持向量机的训练效率,同时保持了较好的分类效果。     

基于混合模糊隶属度的模糊双支持向量机研究

双支持向量机是近年提出的一种新的支持向量机.在处理模式分类问题时,双支持向量机速度远远超过传统支持向量机,而且显示出较好的推广能力.但双支持向量机没有考虑不同输入样本点可能会对分类超平面的形成产生不同影响,在某些实际问题中具有局限性.为了克服这个缺点,提出了一种基于混合模糊隶属度的模糊双支持向量机.该算法设计了一种结合距离和紧密度的模糊隶属度函数,给不同的训练样本赋予不同的模糊隶属度,构建两个最优非平行超平面,最终实现二值分类.实验证明,该模糊双支持向量机的分类性能优于传统的双支持向量机.     

基于类内超平面的改进模糊支持向量机

基于类中心设计隶属度函数的模糊支持向量机能够有效地解决支持向量机对噪声、野值点敏感的问题。但是它对支持向量赋予较小的隶属度值,从而降低了其分类效果。因此,提出一种改进的隶属度函数设计方法,该方法降低了对样本几何分布的依赖,而且考虑到了支持向量机的本质特征。用类内超平面代替类中心,根据每类数据与其类内超平面的距离定义隶属度函数,以加大对容易被错分样本的惩罚,同时对离分类超平面较远且不可能成为支持向量的样本赋予较小的隶属度值。实验表明,改进的模糊支持向量机能够有效地提高分类精度。     

SVM-KNN分类算法研究

SVM-KNN分类算法是一种将支持向量机（SVM）分类和最近邻（NN）分类相结合的新分类方法。针对传统SVM分类器中存在的问题,该算法通过支持向量机的序列最小优化（SMO）训练算法对数据集进行训练,将距离差小于给定阈值的样本代入以每类所有的支持向量作为代表点的K近邻分类器中进行分类。在UCI数据集上的实验结果表明,该分类器的分类准确率比单纯使用SVM分类器要高,它在一定程度上不受核函数参数选择的影响,具有较好的稳健性。     

马氏距离法在支持向量机拒识区域中的应用

为克服传统多分类支持向量机中存在的拒识区域,提出一种基于马氏距离的拒识区域解决方案.该方法首先计算落入拒识区域中的样本点到每类样本集的马氏距离,然后选择较小的马氏距离对应的类为样本的所属类.标准数据实验结果表明,马氏距离法在实验数据上消除拒识区域,有效提高了算法的分类性能和泛化能力.     

一种新颖隶属度函数的模糊支持向量机

传统的支持向量机(SVM)训练含有外部点或噪音数据时,容易产生过拟合(over-fitting)。通过模糊隶属度函数来降低外部点或被污染数据的选择。本文提出了一种新的核隶属度函数,这种新的隶属度函数不仅依赖于每个样本点到类型中心的距离,还依赖于该样本点最邻近的K个其他样本点的距离。实验结果表明了具有该隶属度函数的模糊支持向量机的有效性。     

基于混合隶属度的模糊简约双支持向量机研究

双支持向量机是一种新的非平行二分类算法,其处理速度比传统支持向量机快很多,但是双支持向量机在训练之前要进行大量的复杂逆矩阵计算;在非线性情况下,它不能像传统支持向量机那样把核技巧直接运用到对偶优化问题中;并且双支持向量机没有考虑不同输入样本点会对最优分类超平面产生不同的影响。针对这些情况,提出了一种模糊简约双支持向量机。该模糊简约双支持向量机通过对二次规划函数和拉格朗日函数的改进,省略大量的逆矩阵计算,同时核技巧能直接运用到非线性分类情况下;对于混合模糊隶属度函数,不仅每个样本点到类中心的距离影响着该混合模糊隶属度,而且该样本点的邻域密度同样影响着该混合模糊隶属度。实验结果表明,与支持向量机、标准双支持向量机、双边界支持向量机、模糊双支持向量机相比,具有该混合模糊隶属度函数的简约双支持向量机不仅分类时间短,计算简单,而且分类精度高。     

一种构造模糊隶属度的新方法

传统的模糊支持向量机隶属度函数是基于样本点到类中心点的距离进行设计的,这对非规则形状分布数据很不合理.在基于粗糙集和支持向量机建立入侵检测模型里,使用粗糙集理论挖掘出各条件属性对决策属性的影响决策程度,提出基于样本点与类中心点属性比较加权的新隶属度函数构造方法.该方法用于此模型,可以有效降低隶属度函数对样本集几何形状的依赖,能够有效地区分样本点、噪音点以及孤立点.实验表明,与支持向量机和传统基于类中心距离的模糊支持向量机相比,新的基于属性相关的隶属度函数的模糊支持向量机达到最好的分类效果,而且新隶属度方法简单易行,运行速度快     

一种聚簇消减大规模数据的支持向量分类算法

针对支持向量分类机对大规模数据集训练速度慢的瓶颈,提出一种聚簇消减数据集方法.首先建立样本中心距离函数,计算聚簇集的比例半径,然后利用聚簇集镜像扫描样本点确定簇集类,同一类样本特性的聚簇集中只保留代表样本点,建立异类点删除矩阵,通过上述方法消减样本集.证明了这种簇消减算法有较低的时间复杂度,并利用实验说明了保留代表点的有效意义.最后通过随机数据和UCI标准数据库验证了算法在保证分类精度的同时提高了分类速度.     

一种基于过抽样技术的非平衡数据集分类方法

非平衡数据集的分类问题是机器学习领域的一个研究热点。针对非平衡数据集分类困难的问题,特别是由于非平衡分布引起的少数类识别能力低下的问题,提出了一种改进算法,AdaBoost-SVM-OBMS。该算法结合Boosting算法和基于错分样本产生新样本的过抽样技术。在新算法中,以支持向量机为元分类器,每次Boosting迭代中标记出错分的样本点,然后在错分样本点与其近邻间随机产生一定数量与错分样本同一类别的新样本点。新产生样本点加入原训练集中重新训练学习,以提高分类困难样本的识别能力。在AUC,F-value和G-mean 3个不同价格的评价指标下8个benchmark数据集上对AdaBoost-SVM-OBMS算法与AdaBoost-SVM算法和APLSC算法进行了对比实验,实验结果表明了AdaBoost-SVM-OBMS算法在非平衡数据集分类中的有效性。