支持向量机多分类算法的研究

支持向量机（support vector machine,SVM）是在统计学习理论基础上发展起来的一种新的数据挖掘方法,并已广泛应用于模式识别与回归分析等领域。本文重点阐述了一些典型的支持向量机多分类算法及支持向量机多标注算法。最后指出了进一步研究和亟待解决的一些问题。     

支持向量机在多类分类问题中的推广

支持向量机(SVMs)最初是用以解决两类分类问题,不能直接用于多类分类,如何有效地将其推广到多类分类问题是一个正在研究的问题。该文总结了现有主要的支持向量机多类分类算法,系统地比较了各算法的训练速度、分类速度和推广能力,并分析它们的不足和有待解决的问题。     

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

支持向量机多值分类器的研究

在阐述二值支持向量机分类器的基础上,针对M类问题重点讨论了一对多与一对一分类器组合求解方案。对于纽合方案中出现的不可分类问题,论述了引入模糊隶属函数、构造有向非循环图等相关的解决思路,针对标准数据库分类问题比较了不同组合方案的分类性能。     

支持向量机多类分类算法研究

提出一种新的基于二叉树结构的支持向量(SVM)多类分类算法.该算法解决了现有主要算法所存在的不可分区域问题.为了获得较高的推广能力,必须让样本分布广的类处于二叉树的上层节点,才能获得更大的划分空间.所以,该算法采用最小超立方体和最小超球体类包含作为二叉树的生成算法.实验结果表明,该算法具有一定的优越性.     

支持向量机解决多分类问题研究

支持向量机(SVM)是建立在统计学习理论基础上的一种小样本机器学习方法,用于解决二分类问题。但在解决实际问题中遇到的多为多分类问题,通过研究现有提出的一些支持向量机多分类的方法,并进行分析比较,在一对一分类方法基础上提出具有容噪声的分类方法,通过标准数据集实验加以验证。     

基于证据理论的多类分类支持向量机集成

针对多类分类问题,研究支持向量机集成中的分类器组合架构与方法.分析已有的多类级和两类级支持向量机集成架构的不足后,提出两层的集成架构.在此基础上,研究基于证据理论的支持向量机度量层输出信息融合方法,针对一对多与一对一两种多类扩展策略,分别定义基本概率分配函数,并根据证据冲突程度采用不同的证据组合规则.在一对多策略下,采用经典的Dempster规则;在一对一策略下则提出一条新的规则,以组合冲突严重的证据.实验表明,两层架构优于多类级架构,证据理论方法能有效地利用两类支持向量机的度量层输出信息,取得了满意的结果.     

支持向量机在文本分类上的研究

该文是对当前支持向量机在文本分类上的应用进行研究。先介绍了支持向量机的基本方法．再通过对不同方法的支持向量札分类算法的比较,进行一个总体酌描述和概括开对未来发展发向做了一个预测。     

支持向量机多类分类方法

支持向量机本身是一个两类问题的判别方法,不能直接应用于多类问题。当前针对多类问题的支持向量机分类方法主要有5种：一类对余类法（OVR）,一对一法（OVO）,二叉树法（BT）,纠错输出编码法和有向非循环图法。本文对这些方法进行了简单的介绍,通过对其原理和实现方法的分析,从速度和精度两方面对这些方法的优缺点进行了归纳和总结,给出了比较意见,并通过实验进行了验证,最后提出了一些改进建议。     

多类支持向量机在文本分类中的应用

传统的支持向量机（SVM）是两类分类问题,如何有效地将其推广到多类分类问题仍是一项有待研究的课题。本文在对现有主要的四种多类支持向量机分类算法讨论的基础上,结合文本分类的特点,详细介绍了决策树支持向量机和几种改进多类支持向量机方法在文本分类中的应用。     

模糊支持向量分类机

研究了当训练点的输出为模糊数时支持向量分类机的构建问题。对于线性模糊分类问题,首先将其转化为模糊系数规划。利用模糊系数规划的λ-最优规划,求解模糊系数规划得到模糊最优解（模糊集合）以及模糊最优分类函数集（取值为最优分类函数而隶属度为λ（0≤λ≤1）的模糊集合）,从而构造线性模糊支持向量分类机。对于非线性模糊分类问题,引入核函数,类似干线性模糊分类问题得到非线性模糊支持向量分类机。最后构造显示模糊支持向量分类机特点的模糊支持向量集（取值为模糊训练点,隶属度为λ（0≤λ≤1）的模糊集合）。模糊支持向量分类机较好地解决了支持向量机中含有模糊信息的分类问题。     

基于神经网络和层次SVM的多姿态人脸识别

提出了一种基于神经网络和层次支持向量机的多姿态人脸识别方法。该方法在训练阶段先利用神经网络把姿态人脸图像特征向准标准人脸图像特征映射，再根据聚类结果来训练支持向量机。识别阶段是利用神经网络变换得到待识别图像所对应的准标准图像的特征，再让层次支持向量机初步判断待识别图像最可能所属的人，最后利用否定算法对待识别的人脸图像进行确认。实验表明该算法效果较佳。     

基于约束投影的支持向量机选择性集成

提出两种基于约束投影的支持向量机选择性集成算法。首先利用随机选取的must-link和cannot-link成对约束集确定投影矩阵,将原始训练样本投影到不同的低维空间训练一组基分类器;然后,分别采用遗传优化和最小化偏离度误差两种选择性集成技术对基分类器进行组合。基于UCI数据的实验表明,提出的两种集成算法均能有效提高支持向量机的泛化性能,显著优于Bagging,Boosting,特征Bagging及LoBag等集成算法。     

基于连续小波和支持向量机分类音乐类型

音乐类型分类主要包括两个阶段：特征提取和分类。文中在研究小波变换理论基础上,采用连续小波分析方法提取音乐特征参数。支持向量机是专门针对有限样本情况下的一种分类方法。它是建立在统计学习理论的VC维理论和结构风险最小原理基础上,根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷,以期获得最好的推广能力。采用指数径向基函数（脚）内核,分类正确率可达85％,比传统的混合高斯模型和K近邻分类器,分类性能分别提高了21％和23％。实验结果表明,采用小波和支持向量机方法是一种相当有效的音乐类型分类方法。     

Recursive Update Algorithm for Least Squares Support Vector Machines

In this Letter an efficient recursive update algorithm for least squares support vector machines (LSSVMs) is developed. Using the previous solution and some matrix equations, the algorithm completely avoids training the LSSVM all over again whenever new training sample is available. The gain in speed using the recursive update algorithm is illustrated on four data sets from UCI repository: the Statlog Australian credit, the Pima Indians diabetes, the Wisconsin breast cancer, and the adult income data sets.     

A Simple Decomposition Method for Support Vector Machines

The decomposition method is currently one of the major methods for solving support vector machines. An important issue of this method is the selection of working sets. In this paper through the design of decomposition methods for bound-constrained SVM formulations we demonstrate that the working set selection is not a trivial task. Then from the experimental analysis we propose a simple selection of the working set which leads to faster convergences for difficult cases. Numerical experiments on different types of problems are conducted to demonstrate the viability of the proposed method.     

一种基于支持向量机的空间数据分类方法

支持向量机是基于小样本统计理论的一种新的机器学习方法,主要解决两分类问题。目前已成为机器学习领域的研究热点,但其应用方面的研究刚刚开始,在文本分类,图像分类、生物序列分析等方面得到成功应用。文章根据空间数据分类数据海量特点将SVM分类算法应用到炮阵地地形分析中,使得识别率大大提高。     

关于支持向量机几何算法的研究

支持向量机是一种新的机器学习方法。它以统计学习理论为基础,从结构风险最小化原则出发,具有很好的泛化及推广能力。传统的SVM训练算法都是把原问题转化为对偶的二次规划问题进行求解。但对偶优化问题求解存在着计算量大、速度慢等问题。几何算法利用了训练集中的几何信息,从SVM的几何意义出发求解问题,并具有直观、计算精度高等优点,易于应用。在对支持向量分类机进行理论分析基础上,对其几何算法进行了初步研究并分析了其优缺点。