多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

多类支持向量机文本分类方法

文本分类是数据挖掘的基础和核心,支持向量机（SVM）是解决文本分类问题的最好算法之一。传统的支持向量机是两类分类问题,如何有效地将其推广到多类分类问题仍是一项有待研究的课题。介绍了支持向量机的基本原理,对现有主要的多类支持向量机文本分类算法进行了讨论和比较。提出了多类支持向量机文本分类中存在的问题和今后的发展。     

一种新型的多元分类支持向量机

最小二乘支持向量机采用最小二乘线性系统代替传统的支持向量机采用二次规划方法解决模式识别问题。该文详细推理和分析了二元分类最小二乘支持向量机算法，构建了多元分类最小二乘支持向量机，并通过典型样本进行测试，结果表明采用多元分类最小二乘支持向量机进行模式识别是有效、可行的。     

一种改进的临近支持向量机

基于线性临近支持向量机,提出一种改进的分类器一直接支持向量机.该分类器与临近支持向量机相比,对线性分类二者相同;对于非线性分类,直接支持向量机的Lagrangian乘子求解公式和分类器的表达式都更加简单,计算复杂度降低一半,且通过替代核函数就可实现线性与非线性的统一,可使用相同的算法代码,改正了临近支持向量机的不足.数值实验表明,非线性分类时,直接支持向量机的训练速度比临近支持向量机要快一倍左右,而测试速度则快更多,且分类精度并没有降低.     

多类支持向量机在文本分类中的应用

传统的支持向量机（SVM）是两类分类问题,如何有效地将其推广到多类分类问题仍是一项有待研究的课题。本文在对现有主要的四种多类支持向量机分类算法讨论的基础上,结合文本分类的特点,详细介绍了决策树支持向量机和几种改进多类支持向量机方法在文本分类中的应用。     

基于混合模糊隶属度的模糊双支持向量机研究

双支持向量机是近年提出的一种新的支持向量机.在处理模式分类问题时,双支持向量机速度远远超过传统支持向量机,而且显示出较好的推广能力.但双支持向量机没有考虑不同输入样本点可能会对分类超平面的形成产生不同影响,在某些实际问题中具有局限性.为了克服这个缺点,提出了一种基于混合模糊隶属度的模糊双支持向量机.该算法设计了一种结合距离和紧密度的模糊隶属度函数,给不同的训练样本赋予不同的模糊隶属度,构建两个最优非平行超平面,最终实现二值分类.实验证明,该模糊双支持向量机的分类性能优于传统的双支持向量机.     

一种适合于增量学习的支持向量机的快速循环算法

当样本数量大到计算机内存中放不下时，常规支持向量机方法就失去了学习能力，为了解决这一问题，提高支持向量机的训练速度，文章分析了支持向量机分类的本质特征，根据支持向量机分类仅与支持向量有关的特点，提出了一种适合于支持向量机增量学习的快速循环算法(PFI-SVM)，提高了支持向量机的训练速度和大样本学习的能力，而支持向量机的分类能力不受任何影响，取得了较好的效果。     

用SVM和LS-SVM分析变压器故障诊断

介绍并比较了支持向量机分类器和最小二乘支持向量机分类器的算法,提出了基于支持向量机的二叉树多分类变压器故障诊断模型.将标准支持向量机(C-SVM)分类器和最小二乘支持向量机(LS-SVM)分类器分别用于变压器故障诊断,通过网格搜索和交叉验证法取得支持向量机的参数,准确率较高.试验结果表明,支持向量机和最小二乘支持向量机在变压器故障诊断中具有很大的应用潜力.     

基于SVM的Web文本快速增量分类算法*

针对基于支持向量机的Web文本分类效率低的问题,提出了一种基于支持向量机Web文本的快速增量分类FVI-SVM算法。算法保留增量训练集中违反KKT条件的Web文本特征向量,克服了Web文本训练集规模巨大,造成支持向量机训练效率低的缺点。算法通过计算支持向量的共享最近邻相似度,去除冗余支持向量,克服了在增量学习过程中不断加入相似文本特征向量而导致增量学习的训练时间消耗加大、分类效率下降的问题。实验结果表明,该方法在保证分类精度的前提下,有效提高了支持向量机的训练效率和分类效率。     

一种扩展的紧密度模糊支持向量机及其在文本分类中应用

采用模糊支持向量机时,隶属度函数的设计是整个算法的关键。详细阐述了已存在的隶属度函数,重点分析了目前应用较广的紧密度模糊支持向量机,针对紧密度模糊支持向量机的不足,提出了一种扩展的紧密度模糊支持向量机,并将其应用到文本分类领域。实验结果表明,与传统模糊支持向量机相比,该算法分类性能更好,抗噪能力更强。     

模糊分类系统的邻域原理设计算法

使用支持向量机算法直接求海量数据的模糊分类系统是相当困难的.为了解决这个问题,提出了基于邻域原理设计模糊分类系统的方法.将支持向量机的理论建立在距离空间上,设计出了计算支持向量的邻域算法;利用所求的支持向量,基于平分最近点方法设计出了求分类超平面的算法,求出模糊分类系统,该算法优于基于支持向量机直接求模糊分类系统的方法.实验结果说明,该方法可有效地解决对海量数据的模糊分类系统的设计问题.     

基于支持向量的单类分类方法综述

研究基于支持向量机理论和单类分类思想的2种支持向量域数据描述模型,即单分类支持向量机和支持向量描述模型,分析2类模型之间的区别和联系以及参数的优化设置,总结支持向量域单分类方法存在的缺点以及目前对这2类支持向量描述模型研究的改进方向。     

双隶属度模糊支持向量机算法

对现有的模糊支持向量机进行分析，提出一种改进的模糊支持向量机算法——双隶属度模糊支持向量机法（DM FSVM）。在传统的模糊支持向量机模型中，每一个训练样本的隶属函数中只有一个隶属度，而DM FSVM中每一个训练样本拥有两个隶属度。它既能保持传统模糊支持向量机的优点，又能充分利用有限样本，增加其分类推广能力。实验表明该算法较好地提高了分类精度。     

多项式光滑的支撑向量机

数据分类问题是数据挖掘研究的一个热门课题．它是根据对数据样本集合建模,得到最优的分类器,从而可以对未知数据进行分类．支撑向量机是二分类问题的一个分类模型,模型的结果表现为支撑向量．Lee和Mangasarian在2001年提出了使用Sigmoid函数的积分函数作光滑的支撑向量机模型SSVM．该文研究了用多项式函数作光滑的支撑向量机(PSSVM)模型,并提出了两个用于光滑多项式的函数．根据模型特点,应用BFGS方法以及Newton Armijo方法进行求解,数值实验结果表明PSSVM模型在分类性能上优于SSVM模型．     

以多类支持向量机为基础的小样本信息融合策略*

通过将多类支持向量机作为分类器,运用Dempster-Shafer理论等信息融合方法对分类结果进行融合,实现对小样本的分类。主要采用对多类支持向量机的分类结果进行求和后取最大值、Dempster-Shafer理论以及使用Dempster-Shafer理论后第二次使用支持向量机三种方式进行融合。由于支持向量机本身是适用于小样本的机器学习算法,Dempster-Shafer理论又可以较好地处理不确定性,两者的结合可以较好地处理小样本分类问题,并提高最终的分类精度。实验结果表明,提出的几种融合策略确实可以在小样     

基于核函数的支持向量机样本选取算法

使用支持向量机求解大规模数据分类需要较大内存来存储Hessian矩阵,而矩阵的大小则依赖于样本数1,因此在一定程度上导致支持向量机分类效率及质量难以提高.考虑到只有成为支持向量的样本才对决策函数起作用,为了减少训练样本时所需空间及时间开销,提高支持向量机分类效率与质量,提出了一种基于核函数的样本选取算法.该算法通过选取最大可能成为支持向量的样本,以达到减少训练时存储Hessian矩阵所需空间及时间开销的目的.实验结果表明,该算法所筛选出的样本不仅可以提高样本训练准确率,而且可以提高分类计算速度和减少存储空间开销.     

面向不均衡分类的隶属度加权模糊支持向量机

针对不均衡分类问题,提出了一种基于隶属度加权的模糊支持向量机模型。使用传统支持向量机对样本进行训练,并通过样本点与所得分类超平面之间的距离构造模糊隶属度,这不仅能够消除噪点和野值点的影响,而且可以在一定程度上约减样本;利用正负类的平均隶属度和样本数量求得平衡调节因子,消除数据不平衡时造成的分类超平面的偏移现象;通过实验结果验证了该算法的可行性和有效性。实验结果表明,该算法能有效提高分类精度,特别是对不平衡数据效果更加明显,在训练速度和分类性能上比传统支持向量机和模糊支持向量机有进一步的提升。     

基于混合隶属度的模糊简约双支持向量机研究

双支持向量机是一种新的非平行二分类算法,其处理速度比传统支持向量机快很多,但是双支持向量机在训练之前要进行大量的复杂逆矩阵计算;在非线性情况下,它不能像传统支持向量机那样把核技巧直接运用到对偶优化问题中;并且双支持向量机没有考虑不同输入样本点会对最优分类超平面产生不同的影响。针对这些情况,提出了一种模糊简约双支持向量机。该模糊简约双支持向量机通过对二次规划函数和拉格朗日函数的改进,省略大量的逆矩阵计算,同时核技巧能直接运用到非线性分类情况下;对于混合模糊隶属度函数,不仅每个样本点到类中心的距离影响着该混合模糊隶属度,而且该样本点的邻域密度同样影响着该混合模糊隶属度。实验结果表明,与支持向量机、标准双支持向量机、双边界支持向量机、模糊双支持向量机相比,具有该混合模糊隶属度函数的简约双支持向量机不仅分类时间短,计算简单,而且分类精度高。     

支持向量机在财务管理中的应用

针对财务管理中的数据量问题,提出使用监督性支持向量机（SVM）算法解决财务数据分类问题。首先,将财务数据按照不同的年份,不同的部门进行预处理,并将其标签化;其次,按照一定比例选择训练数据和验证数据,将训练数据输入到SVM中进行分类器的训练;最后利用最优分类器完成财务数据分类。实验结果表明：所提出的算法在财务管理中有较高的应用价值。     

基于模糊双支持向量机的遥感图像分类研究

遥感图像的分类是研究土地利用变化的基础。传统的遥感图像分类方法存在运算速度慢、精度比较低和难以收敛等问题。提出了一种基于模糊双支持向量机的多类分类方法,将模糊技术引入到双支持向量机中,赋予不同样本以不同的模糊隶属度,然后将模糊双支持向量机推广到多类分类中,最后将新方法应用到遥感图像分类中。实验表明,新方法比传统的支持向量机多类分类方法有较高的分类精度,并且有较强的抗噪声能力,在运行时间上也是可行的。模糊双支持向量机是一种有效的遥感图像分类方法。