基于原型超平面的多类最接近支持向量机

基于广义特征值的最接近支持向量机（proximal support vector machine via generalized eigenvalues,GEPSVM）摒弃了传统意义下支持向量机典型平面的平行约束,代之以通过优化使每类原型平面尽可能接近本类样本,同时尽可能远离它类样本的准则来解析获得原型平面;从而避免了SVM的二次规划,其分类性能达到甚至超过了SVM．但GEPSVM仍存在如下不足：①仅对两分类问题而提出,无法直接求解多分类问题;②存在正则化因子的选择问题;③求解原型平面的广义特征值问题中所涉及的矩阵一般仅为半正定,容易导致奇异性问题．通过定义新的准则,构建了一个能直接求解多个原型超平面的多分类方法,称之为基于原型超平面的多类最接近支持向量机,较之GEPSVM,该方法优势在于：①无正则化因子选择的困扰;②可同时求解多个超平面,对两分类问题,分类性能达到甚至优于GEPSVM;③超平面的选择问题转化为简单特征值而非广义特征值求解问题;④原型平面的选择只依赖于本类样本,故不必考虑多分类情形时的数据不平衡问题．     

A comparison of methods for multiclass support vector machines

Support vector machines (SVMs) were originally designed for binary classification. How to effectively extend it for multiclass classification is still an ongoing research issue. Several methods have been proposed where typically we construct a multiclass classifier by combining several binary classifiers. Some authors also proposed methods that consider all classes at once. As it is computationally more expensive to solve multiclass problems, comparisons of these methods using large-scale problems have not been seriously conducted. Especially for methods solving multiclass SVM in one step, a much larger optimization problem is required so up to now experiments are limited to small data sets. In this paper we give decomposition implementations for two such "all-together" methods. We then compare their performance with three methods based on binary classifications: "one-against-all," "one-against-one," and directed acyclic graph SVM (DAGSVM). Our experiments indicate that the "one-against-one" and DAG methods are more suitable for practical use than the other methods. Results also show that for large problems methods by considering all data at once in general need fewer support vectors.     

基于多类支持向量机的棉花异性纤维分类方法

提出一种基于多类支持向量机的棉花异性纤维分类方法,以期解决棉花异性纤维的在线分类难题。该方法首先对异性纤维目标图像进行颜色、形状和纹理特征提取,形成用于精确描述异性纤维目标的特征向量;然后分别构建3种不同体系结构的多类支持向量机用于棉花异性纤维的分类;最后采用交叉验证法对所构建的3种多类支持向量机进行测试。测试结果表明,基于有向无环图的一对一多类支持向量机在分类精度和分类速度上更适合用于棉花异性纤维在线分类。     

一种新的基于SVM的多层分类方法

本文提出了一种新的基于SVM多类问题的策略Half-Against-Half,用该方法训练的基本思想是从多个类别中选择相近或相似的类别,相近的类别放在一个子集里,把多个类别分成两个子集,一直递归地使用这种思想,用类似决策树的思想构造,直到通过多个二分SVM分类器能把每个类别分开。从理论上看,该方法在训练时间、速度、训练集大小等方面比传统的方法OVA、OVO、DAG有一定的优势,并在实践方面得到了实验数据的支持。     

快速的支持向量机多类分类研究

研究了支持向量机多类算法DAGSVM（Direct Acyclic Graph SVM）的速度优势,提出了结合DAGSVM和简化支持向量技术的一种快速支持向量机多类分类方法。该方法一方面减少了一次分类所需的两类支持向量机的数量,另一方面减少了支持向量的数量。实验采用UCI和Statlog数据库的多类数据,并和四种多类方法进行比较,结果表明该方法能有效地加快分类速度。     

二叉树多类SVM在网络入侵检测中的应用

本文在考察现有多类分类支持向量机(SVM)算法后,提出了一种基于二叉树结构的多分类器融合思想,融合过程充分考虑了类别之间的区分度,从而建立一颗相对优化的二叉树SVM的多类分类算法,并把改进后的多类SVM应用于入侵检测中以提高系统性能。在KDDCUP1999数据集上的实验结果表明了本方法的有效性。     

A new maximal-margin spherical-structured multi-class support vector machine

Support vector machines (SVMs), initially proposed for two-class classification problems, have been very successful in pattern recognition problems. For multi-class classification problems, the standard hyperplane-based SVMs are made by constructing and combining several maximal-margin hyperplanes, and each class of data is confined into a certain area constructed by those hyperplanes. Instead of using hyperplanes, hyperspheres that tightly enclosed the data of each class can be used. Since the class-specific hyperspheres are constructed for each class separately, the spherical-structured SVMs can be used to deal with the multi-class classification problem easily. In addition, the center and radius of the class-specific hypersphere characterize the distribution of examples from that class, and may be useful for dealing with imbalance problems. In this paper, we incorporate the concept of maximal margin into the spherical-structured SVMs. Besides, the proposed approach has the advantage of using a new parameter on controlling the number of support vectors. Experimental results show that the proposed method performs well on both artificial and benchmark datasets.     

基于小波包能量谱和M-ary SVM的功率变换器故障诊断

针对功率变换器的故障诊断问题,提出一种基于小波包能量谱和M-ary支持向量机的故障诊断方法。首先,通过小波包分解得到故障信号能量谱特征向量,并结合傅里叶变换分析故障信号主要频率特征点,实现故障特征向量的降维;然后,基于M-ary支持向量机的分类模型诊断出功率变换器多故障模式。实验结果表明,相比于传统的BP神经网络和一对一支持向量机故障诊断方法,本文方法诊断精度高,需要的子分类器数目少,诊断速度快,适用于在线故障诊断。      

A new fast algorithm for multiclass hyperspectral image classification with SVM

The support vector machine (SVM) has been a dominant machine-learning technique in the last decade and has demonstrated its efficiency in many applications. Research on classification of hyperspectral images have shown the efficiency of this method to overcome the Hughes phenomenon for classification of such images. A major drawback of classification by SVM is that this classifier was originally developed to solve binary problems, and the algorithms for multiclass problems usually have a high-computational load. In this article, a new and fast method for multiclass problems is proposed. This method has two stages. In the first stage, samples are classified by a maximum likelihood (ML) classifier, and in the second stage, SVM selects the final label of a sample among high-probability classes for that sample by a tree structure. So, for each sample, only some classes must be searched by SVM to find its label. The uncertainty of ML classification for a sample is obtained by the entropy of probabilities, and the number of classes that must be searched by SVM for a sample is obtained based on the uncertainty of that sample in the primary ML classification. This approach is compared with two widely used multiclass algorithms: one-against-one (OAO) and directed acyclic graph (DAGSVM). The obtained results on real data from the Airborne Visible/Infrared Imaging Spectrometer (AVIRIS) revealed less computational time and better accuracy compared to these multiclass algorithms.     

A novel fuzzy compensation multi-class support vector machine

This paper presents a novel fuzzy compensation multi-class support vector machine (FCM-SVM) to improve the outlier and noise sensitivity problem of traditional support vector machine (SVM) for multi-class data classification. The basic idea is to give the dual effects to penalty term through treating every data point as both positive and negative classes, but with different memberships. We fuzzify penalty term, compensate weight to classification, reconstruct the optimization problem and its restrictions, reconstruct {Lagrangian} formula, and present the theoretic deduction. By this way the new fuzzy compensation multi-class support vector machine is expected to have more generalization ability while preserving the merit of insensitive to outliers. Experimental results on benchmark data set and real data set show that the proposed method reduces the effect of noise data and yields higher classification rate than traditional multi-class SVM does.     

基于多分类支持向量机的入侵检测方法

网络入侵检测所处理的数据由多类攻击数据和正常数据构成,基于此对多分类支持向量机在网络入侵检测中的应用进行了研究,采用一对一方法构造了多分类支持向量机分类器,用KDD99入侵检测数据对所提出的多分类支持向量机分类器进行了测试评估,将实验结果和BP神经网络方法进行了比较。实验表明提出的方法是可行的、高效的。     

一种新的基于ART的支持向量机多类分类方法

基于支持向量机的二值分类原理，提出了一种由自适应共振理论方法与支持向量机相结合的改进型多类分类方法,此方法改进了传统支持向量机的一对一多类分类方法；对于每个二值分类器的结果进行决策时没有采用投票原则，而是采用自适应共振理论网络融合二值分类器的输出信息，从而克服了当分类器输出结果接近于O时投票法容易出现决策错误和票数相同时无法决策的不足．此算法已应用于玻璃的分类．仿真实验证明，此方法具有较好的分类效果．     

采用PCA/ICA特征和SVM分类的人脸识别

人脸识别过程中，首先在主成分分析基础上进一步做独立成分分析，来提取更加有利于分类的面部特征的主要独立成分；然后采用一种分阶段淘汰的支持向量机分类机制进行识别．该方法扩展了支持向量机处理多类问题的能力，它基于1-1差别策略，根据各判别函数VC置信范围的差异进行排序，同时利用判别函数间的冗余来降低识别误差．对两组人脸图像库的测试结果表明，文中方法在识别率和识别时间等方面都取得了较好的效果。     

基于DAGSVM的高炉故障诊断研究

针对高炉故障诊断智能化程度低，对操作人员技术水平要求高等不足，提出了基于支持向量机的多类分类故障诊断方法．根据统计学原理，使用核函数将样本映射到高维空间进行训练．综合各种核函数的测试准确率，得到解决该问题的最佳核函数．通过比较不同的多类分类算法，提出了基于DAGSVM的诊断模型．实验结果表明该算法具有较高的识别准确率．     

一种基于FCOWA-ER 的SVM多分类方法

支持向量机(SVM) 在处理多分类问题时, 需要综合利用多个二分类SVM, 以获得多分类判决结果. 传统多分类拓展方法使用的是SVM的硬输出, 在一定程度上造成了信息的丢失. 为了更加充分地利用信息, 提出一种基于证据推理-多属性决策方法的SVM多分类算法, 将多分类问题视为一个多属性决策问题, 使用证据推理-模糊谨慎有序加权平均方法(FCOWA-ER) 实现SVM的多分类判决. 实验结果表明, 所提出方法可以获得更高的分类精度.

     

用于多分类问题的最小二乘支持向量分类-回归机

基于支持向量机(SVM)的三分类方法是处理多分类问题的一类方法。提出了最小二乘支持向量分类〖CD*2〗回归机(LSSVCR)算法,通过最小二乘目标函数充分考虑所有样本点对分类的影响,使得训练集中即使有个别样本点被标错类别,对分类结果也不会产生太大的影响,从而提高分类的准确性。该方法能够提高分类的准确率和分类速度,同时算法对于不同类别间样本数目差异较大的情况也有很好的分类效果。数值实验结果表明所提算法是可行的,且与已有的三分类算法相比在分类准确性上平均提高了2.57%,在运算速度上也有了较大的提高。     

一种基于混合二叉树结构的多类支持向量机分类算法

为提高多类支持向量机的分类效率,提出了一种基于混合二叉树结构的多类支持向量机分类算法。该混合二叉树中的每个内部结点对应一个分割超平面,该超平面通过计算两个距离最远的类的质心而获得,即该超平面为连接两质心线段的垂直平分线。每个终端结点(即决策结点)对应一个支持向量机,它的训练集不再是质心而是两类(组)样本集。该分类模型通常是超平面和支持向量机的混合结构,其中超平面实现训练早期的近似划分,以提升分类速度;而支持向量机完成最终的精确分类,以保证分类精度。实验结果表明,相比于经典的多类支持向量机方法,该算法在保证分类精度的前提下,能够有效缩短计算时间,提升分类效率。     

一种新的基于二叉树的SVM多类分类方法

介绍了几种常用的支持向量机多类分类方法,分析其存在的问题及缺点。提出了一种基于二叉树的支持向量机多类分类方法（BT SVM）,并将基于核的自组织映射引入进行聚类。结果表明,采用该方法进行多类分类比1 v r SVMs和1 v 1 SVMs具有更高的分类精度。     

基于几何分析的支持向量机快速训练与分类算法

当支持向量机中存在相互混叠的海量训练样本时,不但支持向量求取困难,且支持向量数目巨大,这两个问题已成为限制其应用的瓶颈问题。该文通过对支持向量几何意义的分析,首先研究了支持向量的分布特性,并提出了基于几何分析的支持向量机快速算法,该算法首先从训练样本中选择出部分近邻向量,然后在进行混叠度分析的基础上,选择真实的边界向量样本子空间用来代替全部训练集,这样既大大减少了训练样本数目,同时去除了混叠严重的奇异样本的影响,并大大减少了支持向量的数目。实验结果表明:该算法在不影响分类性能的条件下,可以加快支持向量机的训练速度和分类速度。     

基于最优DAGSVM的服务机器人交互手势识别

针对目前服务机器人手势交互方法在输入方式自然性和识别方法可靠性方面的不足,提出采用结合人脸和人手的姿态作为输入方式,实现了一个基于最优有向无环图支持向量机(DAGSVM)的手势识别系统。系统采用分步细化特征检测过程,即先粗检肤色,然后分别利用人眼Gabor特征和人手边缘小波矩特征检测脸和手部,可克服背景中的肤色干扰,并显著提高特征提取的可靠性;综合利用脸手区域不变矩和手的位置信息组成混合特征向量,采用优化拓扑排序策略组织多个两分类支持向量机(SVM),构成最优DAGSVM多分类器,达到比普通DAGSVM更高的多分类准确率。实验验证了该方法的有效性和可靠性,并用于实现一种自然友好的人机交互方式。