多类支持向量机文本分类方法

文本分类是数据挖掘的基础和核心,支持向量机（SVM）是解决文本分类问题的最好算法之一。传统的支持向量机是两类分类问题,如何有效地将其推广到多类分类问题仍是一项有待研究的课题。介绍了支持向量机的基本原理,对现有主要的多类支持向量机文本分类算法进行了讨论和比较。提出了多类支持向量机文本分类中存在的问题和今后的发展。     

支持向量机多类分类算法研究

提出一种新的基于二叉树结构的支持向量(SVM)多类分类算法.该算法解决了现有主要算法所存在的不可分区域问题.为了获得较高的推广能力,必须让样本分布广的类处于二叉树的上层节点,才能获得更大的划分空间.所以,该算法采用最小超立方体和最小超球体类包含作为二叉树的生成算法.实验结果表明,该算法具有一定的优越性.     

支持向量机在多类分类问题中的推广

支持向量机(SVMs)最初是用以解决两类分类问题,不能直接用于多类分类,如何有效地将其推广到多类分类问题是一个正在研究的问题。该文总结了现有主要的支持向量机多类分类算法,系统地比较了各算法的训练速度、分类速度和推广能力,并分析它们的不足和有待解决的问题。     

多类支持向量机文本分类方法

文本分类是数据挖掘的基础和核心,支持向量机(SVM)是解决文本分类问题的最好算法之一.传统的支持向量机是两类分类问题,如何有效地将其推广到多类分类问题仍是一项有待研究的课题.介绍了支持向量机的基本原理,对现有主要的多类支持向量机文本分类算法进行了讨论和比较.提出了多类支持向量机文本分类中存在的问题和今后的发展.     

基于支持向量机理论的多类分类算法

支持向量机是由V．Vapnik等提出一种学习技术,借助于最优化方法解决机器学习问题的新工具,近几年得到了广泛的研究并广泛应用于模式识别等领域。本文主要介绍并比较了基于支持向量机的多类分类算法：“一对一”方法、“一对多”方法以及决策有向无环图方法,通过实验数据可以得知决策有向无环图方法具有较好的分类效果。在不同的情况下,可以采用不同的算法以达到最好的分类效果。     

多类支持向量机在文本分类中的应用

传统的支持向量机（SVM）是两类分类问题,如何有效地将其推广到多类分类问题仍是一项有待研究的课题。本文在对现有主要的四种多类支持向量机分类算法讨论的基础上,结合文本分类的特点,详细介绍了决策树支持向量机和几种改进多类支持向量机方法在文本分类中的应用。     

一种改进的多类支持向量机超光谱图像分类方法

支持向量机(SVM)是建立在统计学理论基础上的一种机器学习方法,用于解决二类分类问题,如何有效地将其推广到多类分类问题是一个正在研究的课题.总结了现有的主要的支持向量机多类分类算法,并在1-a-1 SVM分类算法基础上提出一种二次分类的方法.改良了惩罚因子,提高了不易分的类别之间的可分程度.通过对超光谱图像进行分类实验,结果表明该方法具有较高的分类精度.     

支持向量机多类分类算法新研究

支持向量机最初是针对两类分类问题提出的,如何将其推广至多类分类问题是当前SVM研究中的热点问题之一。主要针对支持向量机多类分类方法中的分解重构法进行了深入分析,详细讨论了影响分类器性能的两个关键因素：分解策略和组合策略,并通过实验验证了该观点。最后,通过实验对比了包括M-ary 支持向量机和模糊支持向量机的SVM多类分类方法。     

快速的支持向量机多类分类研究

研究了支持向量机多类算法DAGSVM（Direct Acyclic Graph SVM）的速度优势,提出了结合DAGSVM和简化支持向量技术的一种快速支持向量机多类分类方法。该方法一方面减少了一次分类所需的两类支持向量机的数量,另一方面减少了支持向量的数量。实验采用UCI和Statlog数据库的多类数据,并和四种多类方法进行比较,结果表明该方法能有效地加快分类速度。     

一种快速的支持向量机多类分类算法

提出了一种快速的支持向量机多类分类算法.首先用每类训练样本的样本数作为权值构造最优二叉树,然后对每个非叶子结点训练两类分类器.分类时,从二叉树根结点开始逐层向下分类,直到某一叶子结点,该结点对应的类别即为待分类样本的类别.在Reuters 21578标准数据集上进行的分类实验表明,该算法具有较好的性能,在一定程度上克服了现有的支持向量机多类分类算法分类速度较慢的缺点,尤其在类别数较多、各类样本规模相同的情况下,采用该算法能够较大幅度地提高分类速度.     

二叉树多类SVM在网络入侵检测中的应用

本文在考察现有多类分类支持向量机(SVM)算法后,提出了一种基于二叉树结构的多分类器融合思想,融合过程充分考虑了类别之间的区分度,从而建立一颗相对优化的二叉树SVM的多类分类算法,并把改进后的多类SVM应用于入侵检测中以提高系统性能。在KDDCUP1999数据集上的实验结果表明了本方法的有效性。     

基于证据理论的多类分类支持向量机集成

针对多类分类问题,研究支持向量机集成中的分类器组合架构与方法.分析已有的多类级和两类级支持向量机集成架构的不足后,提出两层的集成架构.在此基础上,研究基于证据理论的支持向量机度量层输出信息融合方法,针对一对多与一对一两种多类扩展策略,分别定义基本概率分配函数,并根据证据冲突程度采用不同的证据组合规则.在一对多策略下,采用经典的Dempster规则;在一对一策略下则提出一条新的规则,以组合冲突严重的证据.实验表明,两层架构优于多类级架构,证据理论方法能有效地利用两类支持向量机的度量层输出信息,取得了满意的结果.     

基于支持向量机集成的水下目标自动识别系统

针对水下目标信号复杂、样本获取难度大、样本数目偏少的问题,提出了多类支持向量机集成算法,并且以此算法为核心构建了水下目标自动识别系统.通过对4类实测水下目标的识别实验,证明了所提出的水下目标自动识别系统可以用于水下目标识别,并且具有很好的推广能力.     

A primal perspective for indefinite kernel SVM problem

Indefinite kernel support vector machine(IKSVM)has recently attracted increasing attentions in machine learning.Since IKSVM essentially is a non-convex problem,existing algorithms either change the spectrum of indefinite kernel directly but risking losing some valuable information or solve the dual form of IKSVM whereas suffering from a dual gap problem.In this paper,we propose a primal perspective for solving the problem.That is,we directly focus on the primal form of IKSVM and present a novel algorithm termed as IKSVM-DC for binary and multi-class classification.Concretely,according to the characteristics of the spectrum for the indefinite kernel matrix,IKSVM-DC decomposes the primal function into the subtraction of two convex functions as a difference of convex functions(DC)programming.To accelerate convergence rate,IKSVM-DC combines the classical DC algorithm with a line search step along the descent direction at each iteration.Furthermore,we construct a multi-class IKSVM model which can classify multiple classes in a unified form.A theoretical analysis is then presented to validate that IKSVM-DC can converge to a local minimum.Finally,we conduct experiments on both binary and multi-class datasets and the experimental results show that IKSVM-DC is superior to other state-of-the-art IKSVM algorithms.     

基于自适应步长的支持向量机快速训练算法*

支持向量机训练问题实质上是求解一个凸二次规划问题。当训练样本数量非常多时, 常规训练算法便失去了学习能力。为了解决该问题并提高支持向量机训练速度,分析了支持向量机的本质特征,提出了一种基于自适应步长的支持向量机快速训练算法。在保证不损失训练精度的前提下,使训练速度有较大提高。在UCI标准数据集上进行的实验表明,该算法具有较好的性能,在一定程度上克服了常规支持向量机训练速度较慢的缺点、尤其在大规模训练集的情况下,采用该算法能够较大幅度地减小计算复杂度,提高训练速度。     

一种新的基于ART的支持向量机多类分类方法

基于支持向量机的二值分类原理，提出了一种由自适应共振理论方法与支持向量机相结合的改进型多类分类方法,此方法改进了传统支持向量机的一对一多类分类方法；对于每个二值分类器的结果进行决策时没有采用投票原则，而是采用自适应共振理论网络融合二值分类器的输出信息，从而克服了当分类器输出结果接近于O时投票法容易出现决策错误和票数相同时无法决策的不足．此算法已应用于玻璃的分类．仿真实验证明，此方法具有较好的分类效果．     

基于隶属度分离测度SVM决策树层次结构设计方法

从样本的类空间分布和随机测试样本对每个类别的隶属度两方面考虑,对现有的分离测度进行了改进,并给出了一种基于隶属度分离测度的SVM决策树多类分类算法.实验表明,对于随机测试样本属于每个类别的概率均不相同的多类分类问题,基于隶属度分离测度的SVM决策树在与传统的SVM决策树有着基本相同的分类精度情况下,具有更快的分类速度.     

模糊多类支持向量机及其在入侵检测中的应用

针对支持向量机理论中现存的问题：多类分类问题和对于噪音数据的敏感性,提出了一种模糊多类支持向量机算法．该算法是在Weston等人提出的多类SVM分类器的直接构造方法中引入模糊成员函数,针对每个输入数据对分类结果的不同影响,该模糊成员函数得到相应的值,由此可以得到不同的惩罚值,并且在构造分类超平面时,可以忽略那些对分类结果影响很小的数据．在充分的数值实验基础上,将文中提出的方法应用于当前一个重要的应用领域——计算机网络入侵检测问题,并得到了较好的实验结果．理论分析与数值实验都表明,该算法是切实可行的,并具有良好的鲁棒性。     

基于支持向量机的中文文本分类模型研究

支持向量机是在统计学习理论基础上发展起来的新一代学习算法,适宜构造高维有限样本模型,具有很好的分类精度和泛化性能。文中介绍了中文文本分类过程,将支持向量机应用于中文文本分类模型中,对分类器参数选择进行了分析和讨论。实验分析表明,该系统在较小训练集条件下可以取得较好的分类效果。     

一种改进的球结构偏二叉树SVM多分类算法

针对支持向量机分类方法在处理不平衡样本数据时出现的问题,通过对类间样本距离、类内样本分布及该类所占区域3个方面的改进,提出了一种处理不平衡样本数据的计算方法。将该方法与偏二叉树支持向量机结合,提出了一种改进球结构偏二叉树支持向量机多分类方法。选取UCI数据库中的数据,将该方法与球结构偏二叉树支持向量机、欧氏距离偏二叉树支持向量机、加权欧氏距离偏二叉树支持向量机方法进行比较,实例验证了该方法的有效性。