基于主次原型超平面最接近支持向量机

基于广义特征值的最接近支持向量机GEPSVM是一种新的具有与SVM性能相当的两类分类方法,通过求解广义特征值来获得两个彼此不平行的拟合两类样本的超平面,其决策规则是将测试样本归为距其最近的超平面所在的类。然而,该规则在某些情形会导致较差的分类结果。对此,本文提出了在利用GEPSVM产生一个主原型超平面的基础上,再利用主原型超平面及它类样本的信息构造一个次原型超平面,形成一个由主次原型超平面共同决策的最接近支持向量机。该方法不仅简单且易于实现,而且具有较GEPSVM更优的分类性能。在UCI数据集上的实验验证了它的有效性。     

局部化的广义特征值最接近支持向量机

基于广义特征值的最接近支持向量机(Proximal Support Vector Machine via Generalized Eigenvalues,GEPSVM)是一种新的具有与SVM性能相当的两分类方法,通过求解广义特征值来获得两个彼此不平行的拟合两类样本的超平面.其决策是将测试样本归为距其最近的超平面所在的类.然而,该规则在某些情形会导致较差的分类结果.对此,在GEPSVM基础上,通过在类拟合超平面上寻找一个包含了所有训练样本投影的局部凸区域,来决定样本的类别.该局部方法不仅具有较GEPSVM更优的分类性能,同时还衍生出了求解超平面上凸壳的简单且易于核化的新算法.最后在人工和UCI数据集上获得了验证.     

权向量投影多平面支持向量机

提出一个多平面支持向量机算法——权向量多平面支持向量机(WMPSVM)。该方法利用差代替Rayleigh商问题,从而避免广义特征值的奇异问题。与传统分类器不同,该方法无需求解具体的超平面,仅求解两个权向量。其决策是将测试样本归为距样本投影均值距离最近的所在的类。从广义支持向量机(GEPSVM)求解目的出发,该方法在保证得到与GEPSVM相当的计算效率的前提下,能较好地求解异或问题以及一些复杂异或问题。最后在人工数据集和UCI数据集上显示,该方法的性能要好于GEPSVM。     

半监督型广义特征值最接近支持向量机

广义特征值最接近支持向量机(GEPSVM)是近年提出的一种两分类方法.本文结合GEPSVM的平面特点和流形学习,给出一类半监督学习算法SemiGEPSVM.该方法不仅仍保持对诸如XOR问题的分类能力,而且在每类仅有一个有标样本的极端情形下,仍具有适用性.当已标样本不能用于构建超平面时,本文采用k-近邻方法选择样本并标记类别.一旦已标样本的个数可构建超平面时,采用本文的选择方法标记样本.此外,本文还从理论上证明该算法存在全局最优解.最后,SemiGEPSVM算法的有效性在人工数据集和标准数据集上得到验证.     

最值间距支持向量机

GEPSVM(Proximal Support Vector Machine Classification via Generalized Eigenvalues)是近年提出来的一种新的二分类SVM,其核心思想是通过求解广义特征方程得到两个最优超平面,然后通过计算样本到超平面的距离来决定样本所属类别。与传统SVM相比,GEPSVM降低了时间复杂度,但仍存在奇异性等问题。提出了一种新的算法TDMSVM(Twin Distance of Minimum and Maximum Support Vector Machine),其通过求解标准特征方程得到两个最优超平面,使超平面满足到本类样例的平均距离最小化,同时到另一类样例的平均距离最大化。通过理论分析和实验证明,与GEPSVM相比,TDMSVM有以下优势:进一步降低了时间复杂度;不需引入正则项,从而提高了泛化性能;克服了奇异性。     

基于正则化技术的对支持向量机特征选择算法

对支持向量机(twin support vector machine,TWSVM)的优化思想源于基于广义特征值近似支持向量机(proxi mal SVMbased on generalized eigenvalues,GEPSVM),问题解归结为求解两个SVM型问题,因此,计算开销缩减到标准SVM的1/4.除了保留了GEPSVM优势外,在分类性能上TWSVM远优于GEPSVM,但仍需求解凸规划问题,并且,目前尚无有效的TWSVM的特征提取算法提出.首先,向TWSVM模型中引入正则项,提出了正则化TWSVM(RTWSVM).与TWSVM不同,RTWSVM保证了该问题为一个强凸规划问题.在此基础上,构造了TWSVM的特征提取算法(FRTWSVM).该分类器只需求解一个线性方程系统,无需任何凸规划软件包.在保证得到与TWSVM相当的分类性能以及较快的计算速度上,此方式还减少了输入空间的特征数.对于非线性问题,FRTWSVM可以减少核函数数目.     

基于中间分类超平面的SVM入侵检测

在网络入侵检测中,大规模数据集会导致支持向量机(SVM)方法训练时间长、检测速度慢。针对该问题,提出一种基于中间分类超平面的SVM入侵检测方法。通过对正常和攻击样本的聚类分析,定义聚类簇中心的边界面接近度因子,实现对标准SVM二次式的改进;用簇中心对其训练,获取一个接近最优超平面的中间分类超平面;确定距离阈值,以选取潜在支持向量,实现训练样本的缩减。在KDDCUP1999数据集上进行实验,结果表明,与聚类支持向量机方法相比,该方法能简化训练样本,提高SVM的训练和检测速度。     

适于P2P网络流量识别的SVM快速增量学习方法

针对标准支持向量机在P2P网络流量识别中不支持增量学习的问题．提出一种适于P2P网络流量识别的SVM快速增量学习方法。在对违背Karush—Kuhn—Tucker条件的新增正负样本集分别进行聚类分析基础上,运用聚类簇中心对支持向量机训练生成一个接近增量学习最优分类超平面的过渡超平面．并以此超平面为基准确定初始训练样本集上非支持向量和支持向量的互相转化．进而生成新的样本集实现SVM增量学习。理论分析和实验结果表明。该方法能有效简化增量学习的训练样本集．在不降低P2P网络流量识别精度的前提下．明显缩短SVM的增量学习时间和识别时间。     

一种改善非平衡分布数据SVM分类能力的新策略

支持向量机利用接近边界的少数向量来构造一个最优分类面。但是若两分类问题中的样本呈现非平衡分布时，即两类样本数目相差很大时，分类能力就会有所下降。提出分别使用重复数量少的一类样本、选择数量多的类样本以及引入类惩罚因子的三个方法来改善分类能力。实验表明，三种方法对不同类型数据集合，一定程度上都改善了支持向量的分类能力。     

广义特征值多类分类算法

提出了一个新的多类分类算法,该算法的目标是寻找[M]个相互不平行的超平面,使得第[m(m=1,2,?,M)]类的各点到第[m]个超平面的距离之和尽可能小,而其余类的所有点到该超平面的距离之和尽可能大。基于这个思想,寻求第[m]个超平面的优化模型最终可转化为一个广义特征值问题。该方法编程简单,易于实现。在数值试验部分,该算法与一些经典的基于支持向量机的多类分类算法进行比较,表明了该算法的优越性。     

一种基于混合二叉树结构的多类支持向量机分类算法

为提高多类支持向量机的分类效率,提出了一种基于混合二叉树结构的多类支持向量机分类算法。该混合二叉树中的每个内部结点对应一个分割超平面,该超平面通过计算两个距离最远的类的质心而获得,即该超平面为连接两质心线段的垂直平分线。每个终端结点(即决策结点)对应一个支持向量机,它的训练集不再是质心而是两类(组)样本集。该分类模型通常是超平面和支持向量机的混合结构,其中超平面实现训练早期的近似划分,以提升分类速度;而支持向量机完成最终的精确分类,以保证分类精度。实验结果表明,相比于经典的多类支持向量机方法,该算法在保证分类精度的前提下,能够有效缩短计算时间,提升分类效率。     

A decision based one-against-one method for multi-class support vector machine

The support vector machine (SVM) has a high generalisation ability to solve binary classification problems, but its extension to multi-class problems is still an ongoing research issue. Among the existing multi-class SVM methods, the one-against-one method is one of the most suitable methods for practical use. This paper presents a new multi-class SVM method that can reduce the number of hyperplanes of the one-against-one method and thus it returns fewer support vectors. The proposed algorithm works as follows. While producing the boundary of a class, no more hyperplanes are constructed if the discriminating hyperplanes of neighbouring classes happen to separate the rest of the classes. We present a large number of experiments that show that the training time of the proposed method is the least among the existing multi-class SVM methods. The experimental results also show that the testing time of the proposed method is less than that of the one-against-one method because of the reduction of hyperplanes and support vectors. The proposed method can resolve unclassifiable regions and alleviate the over-fitting problem in a much better way than the one-against-one method by reducing the number of hyperplanes. We also present a direct acyclic graph SVM (DAGSVM) based testing methodology that improves the testing time of the DAGSVM method.     

An overview on twin support vector machines

Twin support vector machines (TWSVM) is based on the idea of proximal SVM based on generalized eigenvalues (GEPSVM), which determines two nonparallel planes by solving two related SVM-type problems, so that its computing cost in the training phase is 1/4 of standard SVM. In addition to keeping the superior characteristics of GEPSVM, the classification performance of TWSVM significantly outperforms that of GEPSVM. However, the stand-alone method requires the solution of two smaller quadratic programming problems. This paper mainly reviews the research progress of TWSVM. Firstly, it analyzes the basic theory and the algorithm thought of TWSVM, then tracking describes the research progress of TWSVM including the learning model and specific applications in recent years, finally points out the research and development prospects.     

Localized twin SVM via convex minimization

Multisurface proximal support vector machine via generalized eigenvalues (GEPSVM), being an effective classification tool for supervised learning, tries to seek two nonparallel planes that are determined by solving two generalized eigenvalue problems (GEPs). The GEPs may lead to an instable classification performance, due to matrix singularity. Proximal support vector machine using local information (LIPSVM), as a variant of GEPSVM, attempts to avoid the above shortcoming through adopting a similar formulation to the Maximum Margin Criterion (MMC). The solution to an LIPSVM follows directly from solving two standard eigenvalue problems. Actually, an LIPSVM can be viewed as a reduced algorithm, because it uses the selectively generated points to train the classifier. A major advantage of an LIPSVM is that it is resistant to outliers. In this paper, following the geometric intuition of an LIPSVM, a novel multi-plane learning approach called Localized Twin SVM via Convex Minimization (LCTSVM) is proposed. This approach determines two nonparallel planes by solving two newly formed SVM-type problems. In addition to keeping the superior characteristics of an LIPSVM, an LCTSVM still has its additional edges: (1) it has similar or better classification capability compared to LIPSVM, TWSVM and LSTSVM; (2) each plane is generated from a quadratic programming problem (QPP) instead of a special convex difference optimization arising from an LIPSVM; (3) the solution can be reduced to solving two systems of linear equations, resulting in considerably lesser computational cost; and (4) it can find the global minimum. Experiments carried out on both toy and real-world problems disclose the effectiveness of an LCTSVM.     

多分类簇支持向量机方法

针对支持向量机的多分类问题,提出一种新颖的基于非平行超平面的多分类簇支持向量机。它针对k模式分类问题分别训练产生k个分割超平面,每个超平面尽量靠近自身类模式而远离剩余类模式;决策时,新样本的类别由它距离最近的超平面所属的类决定,克服了一对一（OAO）和一对多（OAA）等传统方法存在的“决策盲区”和“类别不平衡”等缺陷。基于UCI和HCL2000数据集的实验表明,新方法在处理多分类问题时,识别精度显著优于传统多分类支持向量机方法。