一种新的二叉树多类支持向量机算法

采用二叉树结构对多个二值支持向量机(SVM)子分类器组合,可实现多类问题的分类,并且还可克服传统多类SVM算法存在的不可分区域的情况。针对现有二叉树多类SVM方法未采用有效的二叉树生成算法,该文采用聚类分析中的类距离思想,提出了一种新的基于二叉树的多类SVM分类方法。实验结果表明,新算法具有较高的推广性能。     

一种新的模糊支持向量机多分类算法

在模糊多分类问题中,由于训练样本在训练过程中所起的作用不同,对所有数据包括异常数据赋予一个隶属度。针对模糊支持向量机（fuzzy support vector machines,FSVM）的第一种形式,引入类中心的概念,结合一对多1-a-a(one-against-all)组合分类方法,提出了一种基于一对多组合的模糊支持向量机多分类算法,并与1-a-1(one-against-one)组合和1-a-a组合的分类算法比较。数值实验表明,该算法是有效的,有较高的分类准确率,有更好的泛化能力。     

支持向量机多类分类算法研究

提出一种新的基于二叉树结构的支持向量(SVM)多类分类算法.该算法解决了现有主要算法所存在的不可分区域问题.为了获得较高的推广能力,必须让样本分布广的类处于二叉树的上层节点,才能获得更大的划分空间.所以,该算法采用最小超立方体和最小超球体类包含作为二叉树的生成算法.实验结果表明,该算法具有一定的优越性.     

一种新的二叉树多类支持向量机算法

采用聚类分析中的类距离思想,在特征空间中,计算各类别间的最短距离,以最短距离计算该类与其它类的平均距离,提出了一种新的二叉树生成算法.在算法中,利用对称矩阵的特点,简化计算,同时实现了对先分离出来的类的类距离的有效舍弃,实验结果表明该算法具有一定的优越性.     

一种快速的支持向量机多类分类算法

提出了一种快速的支持向量机多类分类算法.首先用每类训练样本的样本数作为权值构造最优二叉树,然后对每个非叶子结点训练两类分类器.分类时,从二叉树根结点开始逐层向下分类,直到某一叶子结点,该结点对应的类别即为待分类样本的类别.在Reuters 21578标准数据集上进行的分类实验表明,该算法具有较好的性能,在一定程度上克服了现有的支持向量机多类分类算法分类速度较慢的缺点,尤其在类别数较多、各类样本规模相同的情况下,采用该算法能够较大幅度地提高分类速度.     

一种新的模糊补偿多类支持向量机

支持向量机是Vapnik等学者在统计学习理论的基础上提出的一种新的机器学习方法。针对支持向量机理论中的多类分类问题和对于噪音数据的敏感性,本文提出了一种模糊补偿多类支持向量机算法FC-SVM。该算法是在Weston等人提出的多类SVM分类器的直接构造方法中引入模糊补偿函数,针对每个输入数据对分类结果的两方面影响,将目标函数中的惩罚项不仅进行了模糊化,而且对于分类情况进行了加权补偿,并重构了优化问题及其约束条件,然后重构了Lagrange公式,给出了理论推导。在充分的数值实验基础上,将文中提出的方法应用于建设银行个人房贷的信用评估系统中,得到了较好的实验结果。     

多类支持向量机算法综述

传统的支持向量机是基于两类问题提出的,如何将其有效的推广至多类问题仍是一个有待研究的问题。本文中作者致力于对现有的几种较有成效的多类支持向量机做一介绍,并比较其优劣,以期对研究者以后的研究能有所启发。     

多类支持向量机推广性能分析

为了分析多类支持向量机(Multi-category support vector machines,M-SVMs)的推广性能,对常用的M-SVMs算法加以概述,推导、总结了理论推广误差公式.对于给定的样本集,可以设计合理的编码来提高ECOCSVMs的推广性能,通过构造合理的层次结构来提高H-SVMs推广性能,其余M-SVMs算法的推广性能均取决于样本空间.研究结果为有效使用M-SVMs提供了依据,为改进M-SVMs指明了方向.     

支持向量机多类分类方法

支持向量机本身是一个两类问题的判别方法,不能直接应用于多类问题。当前针对多类问题的支持向量机分类方法主要有5种：一类对余类法（OVR）,一对一法（OVO）,二叉树法（BT）,纠错输出编码法和有向非循环图法。本文对这些方法进行了简单的介绍,通过对其原理和实现方法的分析,从速度和精度两方面对这些方法的优缺点进行了归纳和总结,给出了比较意见,并通过实验进行了验证,最后提出了一些改进建议。     

一种多类支持向量机概率建模新方法

在支持向量机多类分类问题输出概率建模中,提出了一种直接求解后验概率的概率建模新方法。在对多个两类支持向量机分类器的输出概率进行组合时,该方法充分考虑了各个两类支持向量机分类器的差异,并以后验概率作为各个两类支持向量机分类器的权系数。仿真图像的实验结果表明,该文提出的直接求解后验概率方法与投票法及Pairwise Coupling方法相比,不仅具有较好的分类性能,而且得到的后验概率具有较好的概率分布形态。     

基于核聚类的SVM多类分类方法

对支持向量机的多类分类问题进行研究，提出了一种基于核聚类的多类分类方法。利用核聚类方法将原始样本特征映射到高维特征进行聚类分组，对每一组使用一个支持向量机二值分类器进行分类，并用这些二值分类器组成决策树的节点，构成了一个决策分类树。给出决策树的生成算法，提出了利用交叠系数来控制交叠，从而克服错分积累，提高分类准确率。实验结果表明，采用该方法，手写体汉字识别速度和正确率都达到了实用的要求。     

基于遗传算法和支持向量机的玉米品种识别

提出了一种基于遗传算法（GA）和支持向量机（SVM）的玉米种子的图像特征选择和分类识别的新方法。该方法首先用遗传算法对采集到的玉米种子图像的特征进行优化,而后采用决策二叉树的支持向量机分类算法对玉米品种进行识别。该分类算法将分类器分布在各个结点上,构成多类支持向量机,减少了分类器的数量和重复训练样本的数量。实验结果表明该方法能选出适合于识别的玉米种子特征并能对玉米种子进行正确地识别。     

基于pinball损失的结构模糊多分类支持向量机算法

针对多分类支持向量机（MSVM）对噪声较强的敏感性、对重采样数据的不稳定性以及泛化性能低等缺陷,将pinball损失函数、样本模糊隶属度以及样本结构信息引入到简化的多分类支持向量机（SimMSVM）算法中,构建了基于pinball损失的结构模糊多分类支持向量机算法Pin-SFSimMSVM。在人工数据集、UCI数据集以及添加不同比例噪声的UCI数据集上的实验结果显示：所提出的Pin-SFSimMSVM算法与SimMSVM算法相比,准确率均提升了0~5.25个百分点;所提出的算法不仅具有避免多类数据存在不可分区域和计算速度快的优点,而且具有对噪声较好的不敏感性以及对重采样数据的稳定性,同时考虑了不同数据样本在分类时扮演不同角色的事实以及数据中包含的重要先验知识,从而使分类器训练更准确。     

基于对支持向量机的多类分类算法在入侵检测中的应用

针对基于传统支持向量机(SVM)的多类分类算法在处理大规模数据时训练速度上存在的弱势,提出了一种基于对支持向量机(TWSVM)的多类分类算法。该算法结合二叉树SVM多类分类思想,通过在二叉树节点处构造基于TWSVM的分类器来达到分类目的。为减少二叉树SVM的误差累积,算法分类前首先通过聚类算法得到各类的聚类中心,通过比较各聚类中心之间的距离来衡量样本的差异以决定二叉树节点处类别的分离顺序,最后将算法用于网络入侵检测。实验结果表明,该算法不仅保持了较高的检测精度,在训练速度上还表现了一定优势,尤其在处理稍大规模数据时,这种优势更为明显,是传统二叉树SVM多类分类算法训练速度的近两倍,为入侵检测领域大规模数据处理提供了有效参考价值。     

一种2_a_2支持向量机多类分类新方法

提出一种2_a_2支持向量机多类分类新方法,它的优点是充分利用了每个子分类器的识别结果,将最少数量的子分类器组合在一起,实现多类分类。通过对CMU表情库4种不同表情图像的分类识别实验表明,该算法能明显提高识别速率。将该方法应用于解决更多类的分类问题时,同样体现出优越性。     

基于支持向量机多分类的眼电辅助肌电的人机交互

针对单一肌电信号在控制系统中正确识别率不高问题,设计并实现了一种基于支持向量机(SVM)多分类的眼电(EOG)辅助肌电(EMG)的人机交互(HCI)系统。该系统采用改进小波包算法和阈值法分别对EMG信号和EOG信号进行特征提取,并对特征向量融合;然后提取特征参数作为SVM的输入来识别EMG信号和EOG信号动作模式,根据分类结果生成控制命令。实验证明,该系统比单一肌电控制系统更便于操作,稳定性好,正确识别率高。     

改进的AdaBoost算法与SVM的组合分类器

提出了一种改进的AdaBoost算法与支持向量机组合的分类方法,用来处理多类别分类。采用规则抽样来解决支持向量机分类中正负样本的不平衡性,改进AdaBoost算法,使其在初始化时考虑样本分布稀疏的重要性,有利于稀有类样本的正确划分。实验结果表明,此方法与标准支持向量机分类器相比,泛化性能有一定程度的提高。     

集成Logistic与SVM的二分类算法

对Logistic回归的输出结果通过概率分析划分为四个连续的区间,计算各个区间内训练样本的正确分类频率,由此将Logistic回归与支持向量机对样本的输出结果进行比较,构造了一种集成判别规则的二分类算法。实证分析表明提出的集成算法具有较好的分类效果。     

支持增量学习的文本单类别分类算法

目前的文本单类别分类算法在进行增量学习时需要进行大量的重复计算,提出了一种新的用于文本的单类别分类算法,在不降低分类效果的同时,有效地减少了加入新样本学习时所需的计算量,从而比较适合于需要进行增量学习的情况。该方法已进行了测试实验,获得了较好的实验结果。     

基于局部密度的加权一类支持向量机算法及其在涡轴发动机故障检测中的应用

针对基于数据的涡轴发动机故障检测算法的分类性能较差、鲁棒性不强的问题,提出一种改进的加权一类支持向量机（WOCSVM）算法——基于局部密度的WOCSVM （LD-WOCSVM）算法。首先,对于每个训练样本,选取以该样本为中心,以全体训练样本中心到距离最远样本之间马氏距离的百分之二为半径的球体内所包含的k个近邻样本;其次,以该样本到选定的k个训练样本的中心的距离大小来评估该样本为故障样本的可能性,并以此为依据,使用经过归一化的距离来计算对应样本的权重。针对目前算法不能很好地反映样本分布特点的问题,提出了一种基于快速聚类的权重计算方法并将其命名为FCLD-WOCSVM。该算法通过求取每个训练样本的局部密度和该样本到高局部密度的距离两个参数,来确定该样本的分布位置,并利用求得的两个参数来计算该样本的权重。两种算法都是通过对可能的故障样本分配较小的权重来增强算法的分类性能。为了验证算法的有效性,分别在4个UCI数据集和T700涡轴发动机上进行仿真实验。实验结果表明,与自适应WOCSVM （A-WOCSVM）算法相比,LD-WOCSVM算法在AUC值上提高了0.5%,FCLD-WOCSVM算法在G-mean上提高了12.1%,两种算法可以作为涡轴发动机故障检测候选算法。