一种快速的支持向量机多类分类算法

提出了一种快速的支持向量机多类分类算法.首先用每类训练样本的样本数作为权值构造最优二叉树,然后对每个非叶子结点训练两类分类器.分类时,从二叉树根结点开始逐层向下分类,直到某一叶子结点,该结点对应的类别即为待分类样本的类别.在Reuters 21578标准数据集上进行的分类实验表明,该算法具有较好的性能,在一定程度上克服了现有的支持向量机多类分类算法分类速度较慢的缺点,尤其在类别数较多、各类样本规模相同的情况下,采用该算法能够较大幅度地提高分类速度.     

基于超球体多类支持向量数据描述的医学图像分类新方法

针对乳腺X光医学图像多分类问题中训练速度比较慢的问题,提出超球体多分类支持向量数据描述(HSMC-SVDD)分类算法,即把超球体单分类支持向量数据描述直接扩展到超球体多分类支持向量数据描述。通过对乳腺X光图像提取灰度共生矩阵特征;然后用核主成分分析(KPCA)对数据进行降维;最后用超球体多分类支持向量数据描述分类器进行分类。由于每一类样本只参与构造一个超球体的训练,因此训练速度明显提高。实验结果表明,这种超球体多分类支持向量数据描述分类器的平均训练时间为21.369s,训练时间比Wei等(WEI L Y, YANG Y Y, NISHIKAWA R M,et al.A study on several machine-learning methods for classification of malignant and benign clustered micro-calcifications. IEEE Transactions on Medical Imaging, 2005, 24(3): 371-380)提出的组合分类器（平均训练时间40.2s）减少了10~20s,分类精度最高达76.6929%,适合解决类别数较多的分类问题。     

支持向量机在多类分类问题中的推广

支持向量机(SVMs)最初是用以解决两类分类问题,不能直接用于多类分类,如何有效地将其推广到多类分类问题是一个正在研究的问题。该文总结了现有主要的支持向量机多类分类算法,系统地比较了各算法的训练速度、分类速度和推广能力,并分析它们的不足和有待解决的问题。     

基于超球体的二叉树SVM多分类算法的研究

针对现有的支持向量机在多类分类方法上存在的不足,提出了一种基于超球体的二叉树SVM多类分类算法。该算法利用球结构的SVM考虑了每个类的分布情况,能有效地处理不平衡样本数据,设计超球体支持向量机的树型模型,克服了差错积累问题。实验证明,与其它SVM多类分类方法相比,该方法具有较高的分类精度,提高了支持向量机在多类分类问题中的实验效果。     

一种新的多类支持向量机算法

提出了一种新的多类支持向量机算法OC-K-SVM.对k类分类问题,该方法构造了k个分类器,每一个分类器只对一类样本进行训练.使用Benchmark的数据集进行了初步的实验,实验结果验证了算法的有效性.     

基于小生境遗传算法的分类优化方法

对于多分类问题,大多是经二分类器组合进行训练的,在分类类别多、特征维数高时,存在识别准确率不高和训练速度较慢的问题。将超球支持向量机应用到多类问题,为每个类建立一个超球体模型,通过多个超球体划分样本空间。采用改进的基于排挤的小生境遗传算法(improved crowding niche genetic algorithm,ICNGA)进行特征选择,为不同的目标类别寻找最优的特征子集,优化超球支持向量机的输入。利用UCI标准数据集的数值实验表明,在分类数据类别较多、特征维数较高时,经过ICNGA特征选择之后的多超球支持向量机的识别准确度更好,非常适合解决类别数多、特征维数高的分类问题。     

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

一种改进的多类支持向量机超光谱图像分类方法

支持向量机(SVM)是建立在统计学理论基础上的一种机器学习方法,用于解决二类分类问题,如何有效地将其推广到多类分类问题是一个正在研究的课题.总结了现有的主要的支持向量机多类分类算法,并在1-a-1 SVM分类算法基础上提出一种二次分类的方法.改良了惩罚因子,提高了不易分的类别之间的可分程度.通过对超光谱图像进行分类实验,结果表明该方法具有较高的分类精度.     

基于对支持向量机的多类分类算法在入侵检测中的应用

针对基于传统支持向量机(SVM)的多类分类算法在处理大规模数据时训练速度上存在的弱势,提出了一种基于对支持向量机(TWSVM)的多类分类算法。该算法结合二叉树SVM多类分类思想,通过在二叉树节点处构造基于TWSVM的分类器来达到分类目的。为减少二叉树SVM的误差累积,算法分类前首先通过聚类算法得到各类的聚类中心,通过比较各聚类中心之间的距离来衡量样本的差异以决定二叉树节点处类别的分离顺序,最后将算法用于网络入侵检测。实验结果表明,该算法不仅保持了较高的检测精度,在训练速度上还表现了一定优势,尤其在处理稍大规模数据时,这种优势更为明显,是传统二叉树SVM多类分类算法训练速度的近两倍,为入侵检测领域大规模数据处理提供了有效参考价值。     

基于超球支持向量机的类增量学习算法研究

提出了一种超球支持向量机类增量学习算法.对每一类样本,利用超球支持向量机在特征空间中求得包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.类增量学习过程中,只对新增类样本进行训练,使得该算法在很小的样本集、很小的空间代价下实现了类增量学习,大大降低了训练时间,同时保留了历史训练结果.分类过程中,通过计算待分类样本到各超球球心的距离判定其所属类别,分类简单快捷.实验结果证明,该算法不仅具有较高的训练速度,而且具有较高的分类速度和分类精度.     

基于OC-SVM的大型数据集分类方法

支持向量机是最有效的分类技术之一,具有很高的分类精度和良好的泛化能力,但其应用于大型数据集时的训练过程还是非常复杂。对此提出了一种基于单类支持向量机的分类方法。采用随机选择算法来约简训练集,以达到提高训练速度的目的;同时,通过恢复超球体交集中样本在原始数据中的邻域来保证支持向量机的分类精度。实验证明,该方法能在较大程度上减小计算复杂度,从而提高大型数据集中的训练速度。     

A Novel and Principled Multiclass Support Vector Machine

Support vector machines (SVMs) have been demonstrated very efficient for binary classification problems; however, computationally efficient and effective multiclass SVMs are still missing. Most existing multiclass SVM classifiers are constructed either by combining multiple binary SVM classifiers, which often perform moderately for some problems, or by converting multiclass problems into one single optimization problem, which is unfortunately computationally expensive. To address these issues, a novel and principled multiclass SVM based on geometric properties of hyperspheres, termed SVMGH, is proposed in this paper. Different from existing SVM‐based methods that seek a cutting hyperplane between two classes, SVMGH draws the discriminative information of each class by constructing a minimum hypersphere containing all class members, and then defines a label function based on the geometric properties of the minimum hyperspheres. We prove theoretically the geometric properties of the minimum hyperspheres to guarantee the validation of SVMGH. The computational efficiency is enhanced by a data reduction strategy as well as a fast training method. Experimental results demonstrate that the proposed SVMGH shows better performance and higher computational efficiency than the state of the art on multiclassification problems while maintaining comparable performance and efficiency on binary classification problems.     

基于二叉树的多分类SVM算法在电子邮件过滤中的应用

目前性能较好的多分类算法有1-v-r支持向量机（SVM）、1-1-1SVM、DDAG SVM等，但存在大量不可分区域且训练时间较长的问题。提出一种基于二叉树的多分类SVM算法用于电子邮件的分类与过滤，通过构建二叉树将多分类转化为二值分类，算法采用先聚类再分类的思想，计算测试样本与子类中心的最大相似度和子类间的分离度，以构造决策节点的最优分类超平面。对于C类分类只需C-1个决策函数，从而可节省训练时间。实验表明，该算法得到了较高的查全率、查准率。     

支持向量机(SVM)的研究进展

介绍了基于分解思想的支持向量机的训练算法,主要有两大类:块算法和固定工作样本集算法及其对应的快速算法SVM-light、SMO、BSVM和LIBSVM;介绍了支持向量机的变形算法、多类分类算法及模型选择问题;并且对近年来支持向量机在实际中的应用做了简要介绍,最后讨论了支持向量机亟待解决的问题并对其发展进行了展望.     

A cluster-assumption based batch mode active learning technique

In this paper, we propose an active learning technique for solving multiclass problems with support vector machine (SVM) classifiers. The technique is based on both uncertainty and diversity criteria. The uncertainty criterion is implemented by analyzing the one-dimensional output space of the SVM classifier. A simple histogram thresholding algorithm is used to find out the low density region in the SVM output space to identify the most uncertain samples. Then the diversity criterion exploits the kernel k-means clustering algorithm to select uncorrelated informative samples among the selected uncertain samples. To assess the effectiveness of the proposed method we compared it with other batch mode active learning techniques presented in the literature using one toy data set and three real data sets. Experimental results confirmed that the proposed technique provided a very good tradeoff among robustness to biased initial training samples, classification accuracy, computational complexity, and number of new labeled samples necessary to reach the convergence.     

基于支持向量机和距离度量的管道内表面图像分类方法研究

针对管道内表面图像的分类问题，提出了一种将支持向量机和距离度量相结合，构成组合分类器的分类方法。分类时先采用距离度量进行前级分类，符合条件则给出分类结果，否则拒识并转入SVM分类器进行分类。该方法充分利用了SVM识别率高和距离度量速度快的优点，并且利用距离度量的结果去指导SVM的训练和测试。实验表明本方法具有较高的效率和识别精度，进一步提高了系统的识别率和容噪性能。     

基于超球和ASSRFOA的多生支持向量机

支持向量机(support vector machine, SVM)是一种基于结构风险最小化的机器学习方法, 能够有效解决分类问题. 但随着研究问题的复杂化, 现实的分类问题往往是多分类问题, 而SVM仅能用于处理二分类任务. 针对这个问题, 一对多策略的多生支持向量机(multiple birth support vector machine, MBSVM)能够以较低的复杂度实现多分类, 但缺点在于分类精度较低. 本文对MBSVM进行改进, 提出了一种新的SVM多分类算法: 基于超球(hypersphere)和自适应缩小步长果蝇优化算法(fruit fly optimization algorithm with adaptive step size reduction, ASSRFOA)的MBSVM, 简称HA-MBSVM. 通过拟合超球得到的信息, 先进行类别划分再构建分类器, 并引入约束距离调节因子来适当提高分类器的差异性, 同时采用ASSRFOA求解二次规划问题, HA-MBSVM可以更好地解决多分类问题. 我们采用6个数据集评估HA-MBSVM的性能, 实验结果表明HA-MBSVM的整体性能优于各对比算法.     

基于支持向量机和距离度量的纹理分类

针对图象纹理分类问题，提出了一种将支持向量机和距离度量相结合，以构成两级组合分类器的分类方法，用该方法分类时，先采用距离度量进行前级分类，然后根据图象的纹理统计特征，采用欧氏距离来度量图象之间的相似性，若符合条件，则给出分类结果，否则拒识，并转入后级分类器，而后级分类器则采用一种新的模式分类方法－支持向量机进行分类，该组合分类方法不仅充分利用了支持向量机识别率高和距离度量速度快的优点，并且还利用距离度量的结果去指导支持向量机的训练和测试，由纹理图象分类的实验表明，该算法具有较高的效率和识别精度，同时也对推动支持向量机这一新的模式分类方法的实际应用具有积极意义。     

基于球结构的完全二叉树SVM多类分类算法*

针对一般的SVM方法不能有效地处理不平衡样本数据及现有的偏二叉树结构SVM分类器速度慢的这两个问题,提出了一种基于球结构的完全二叉树SVM多分类算法。该算法利用球结构的SVM考虑了每个类的分布情况,能有效地处理不平衡样本数据;构建完全二叉树结构,使得同层节点所代表的SVM分类器可以并行工作,能提高其训练和分类速度,分类速度相当于折半查找。实例验证两者结合后的算法可实现准确且高效的多类分类。