基于模糊支持向量机的多分类算法研究

针对支持向量机理论中的多分类问题以及SVM对噪声数据的敏感性问题,提出了一种基于二叉树的模糊支持向量机多分类算法。该算法是在基于二叉树的支持向量机多分类算法的基础上引入模糊隶属度函数,根据每个样本数据对分类结果的不同影响,通过基于KNN的模糊隶属度的度量方法计算出相应的值,由此得到不同的惩罚值,这样在构造分类超平面时,就可以忽略对分类结果不重要的数据。通过实验证明,该算法有较好的抗干扰能力和分类效果。     

一种新的模糊支持向量机多分类算法

在模糊多分类问题中,由于训练样本在训练过程中所起的作用不同,对所有数据包括异常数据赋予一个隶属度。针对模糊支持向量机（fuzzy support vector machines,FSVM）的第一种形式,引入类中心的概念,结合一对多1-a-a(one-against-all)组合分类方法,提出了一种基于一对多组合的模糊支持向量机多分类算法,并与1-a-1(one-against-one)组合和1-a-a组合的分类算法比较。数值实验表明,该算法是有效的,有较高的分类准确率,有更好的泛化能力。     

双隶属度模糊支持向量机算法

对现有的模糊支持向量机进行分析，提出一种改进的模糊支持向量机算法——双隶属度模糊支持向量机法（DM FSVM）。在传统的模糊支持向量机模型中，每一个训练样本的隶属函数中只有一个隶属度，而DM FSVM中每一个训练样本拥有两个隶属度。它既能保持传统模糊支持向量机的优点，又能充分利用有限样本，增加其分类推广能力。实验表明该算法较好地提高了分类精度。     

一种改进的模糊支持向量机算法

模糊隶属度函数设计是模糊支持向量机中的关键步骤.Lin & Wang提出的基于类中心距离的模糊隶属度设计方法,不能从样本集中有效区分噪声或野值点,而且可能降低支持向量的隶属度.针对上述不足,提出一种改进的隶属度函数设计方法.通过引入一个半径控制因子,充分利用样本间的信息,更加合理地设计样本的模糊隶属度.与基于类中心的隶属度方法相比,该方法在不增加时间复杂度的情况下,通过数值实验表明了方法的优势,大大提高了模糊支持向量机的分类精度.     

基于边界向量提取的模糊支持向量机方法

针对支持向量机对训练样本中的噪声和孤立点特别敏感的问题,提出一种基于边界向量提取的模糊支持向量机方法.在特征空间中寻找能够分别包住两类样本点的两个最小超球,并选择可能成为支持向量的边界向量作为新样本,减少参与训练的样本数目,提高训练速度.样本的隶属度根据边界样本和噪声点与所在超球球心的距离分别确定,既减弱孤立点和噪声的影响,又增强支持向量对支持向量机分类的作用.实验结果表明,与传统的支持向量机方法和基于样本与类中心之间关系的模糊支持向量机相比,本文方法具有更快的学习速度和更好的泛化能力.     

模糊临近支持向量机

临近支持向量机(ProximalSupportVectorMachine)是近年提出的一种新的支持向量机。尽管在处理模式分类问题中速度远远超过传统支持向量机,临近支持向量机理论没有考虑不同输入样本点可能会对最优分类超平面的形成产生不同影响。文章给不同的训练样本赋予不同的模糊隶属度,以此来改进临近支持向量机。实验证明这种改进后的模糊临近支持向量机拥有一些临近支持向量机所没有的性能。     

基于模糊支持向量机的图像分类方法

电子技术和成像技术的发展导致数字图像迅速增长,依靠先进的技术识别和分类海量的图像数据正是当前各行业急需解决的问题.为此提出了一种基于模糊支持向量机的图像分类方法,通过定义模糊隶属度函数弥补了传统支持向量机在多分类问题中的不足,解决了图像分类中的语义模糊问题.使用Internet上的六类自然图像进行测试,实验结果表明,与传统的支持向量机方法相比,分类性能显著提高.     

支持向量机多分类算法的研究

支持向量机（support vector machine,SVM）是在统计学习理论基础上发展起来的一种新的数据挖掘方法,并已广泛应用于模式识别与回归分析等领域。本文重点阐述了一些典型的支持向量机多分类算法及支持向量机多标注算法。最后指出了进一步研究和亟待解决的一些问题。     

一种改进的鲁棒模糊孪生支持向量机算法

针对模糊孪生支持向量机算法（FTSVM）对噪声仍然敏感,容易过拟合以及不能有效区分支持向量和离群值等问题,提出了一种改进的鲁棒模糊孪生支持向量机算法（IRFTSVM）。将改进的k近邻隶属度函数和基于类内超平面的隶属度函数结合,构造了一种新的混合隶属度函数;在FTSVM算法的目标函数中引入正则化项和额外的约束条件,实现了结构风险最小化,避免了逆矩阵运算,且非线性问题可以像经典的SVM算法一样直接从线性问题扩展而来;将铰链损失函数替换为pinball损失函数,以此降低对噪声的敏感性。此外,在UCI数据集和人工数据集上对该算法进行评估,并与SVM、TWSVM、FTSVM、PTSVM和TBSVM五个算法进行比较。实验结果表明,该算法的分类结果是令人满意的。     

基于类内超平面的模糊支持向量机

分析基于样本与类中心距离设计模糊支持向量机隶属度函数的缺点,使用类内超平面代替类中心,提出基于样本到超平面距离的隶属度函数设计方法.该方法降低隶属度函数对样本集几何形状的依赖,提高模糊支持向量机的泛化能力.最后数值实验表明,与传统的支持向量机和现有的3种不同隶属度函数的模糊支持向量机相比,新隶属度函数可达到最好的分类效果而且速度快.     

基于对支持向量机的多类分类算法在入侵检测中的应用

针对基于传统支持向量机(SVM)的多类分类算法在处理大规模数据时训练速度上存在的弱势,提出了一种基于对支持向量机(TWSVM)的多类分类算法。该算法结合二叉树SVM多类分类思想,通过在二叉树节点处构造基于TWSVM的分类器来达到分类目的。为减少二叉树SVM的误差累积,算法分类前首先通过聚类算法得到各类的聚类中心,通过比较各聚类中心之间的距离来衡量样本的差异以决定二叉树节点处类别的分离顺序,最后将算法用于网络入侵检测。实验结果表明,该算法不仅保持了较高的检测精度,在训练速度上还表现了一定优势,尤其在处理稍大规模数据时,这种优势更为明显,是传统二叉树SVM多类分类算法训练速度的近两倍,为入侵检测领域大规模数据处理提供了有效参考价值。     

基于支持向量机多分类的眼电辅助肌电的人机交互

针对单一肌电信号在控制系统中正确识别率不高问题,设计并实现了一种基于支持向量机(SVM)多分类的眼电(EOG)辅助肌电(EMG)的人机交互(HCI)系统。该系统采用改进小波包算法和阈值法分别对EMG信号和EOG信号进行特征提取,并对特征向量融合;然后提取特征参数作为SVM的输入来识别EMG信号和EOG信号动作模式,根据分类结果生成控制命令。实验证明,该系统比单一肌电控制系统更便于操作,稳定性好,正确识别率高。     

一种新的多类支持向量机算法

提出了一种新的多类支持向量机算法OC-K-SVM.对k类分类问题,该方法构造了k个分类器,每一个分类器只对一类样本进行训练.使用Benchmark的数据集进行了初步的实验,实验结果验证了算法的有效性.     

多分类光滑支持向量机的人脸识别方法

提出一种新的三阶分段光滑函数,构造三阶光滑支持向量机模型( TPSSVM)。理论证明新三阶分段光滑函数对正号函数的逼近程度更高。在处理多类问题时,提出一种基于编码方式的一对多光滑支持向量机分类方法。对于人脸识别问题,通过主成分分析( PCA)进行特征提取,并利用多分类光滑支持向量机对人脸特征图像进行训练和测试。应用于ORL人脸库和FERET人脸库的测试结果表明,多分类光滑支持向量机比传统的识别方法有更高的识别率。     

基于熵的二叉树多类支持向量机的漏洞分类

为了有效提高漏洞分类的准确性,针对基于二叉树多类支持向量机分类算法的分类复杂性和分类结果依赖二叉树的结构等缺点,提出了一种基于熵的二叉树多类支持向量机的漏洞分类算法。根据定义最小超球体进行漏洞样本空间的分类,有效地通过熵的计算来描述漏洞之间的混杂程度,使得漏洞分类的计算过程被简化且能够有效减少分类结果对二叉树结构的依赖。采用公共漏洞枚举(CWE)漏洞分类体系在收集到的3000个漏洞样本上进行大量仿真实验,漏洞分类的平均准确率和平均召回率达93.3%和93.25%,高于基于二叉树多类支持向量机分类算法和K-近邻(KNN)分类算法得到的平均值。实验结果表明所提算法有效可行,能精确地实现漏洞的分类。     

基于Rescaled Hinge损失函数的多子支持向量机

针对多分类学习模型性能会受异常值影响的问题,提出基于Rescaled Hinge损失函数的多子支持向量机（RHMBSVM）。首先,该方法通过引入有界、非凸的Rescaled Hinge损失函数来构建相应的优化问题;然后,利用共轭函数理论将优化问题作等价变换;最后,使用变量交替策略形成一个迭代算法来求解非凸优化问题,该方法在求解的过程中可自动调节每个样本点的惩罚权重,从而削弱了异常值对K个超平面的影响,增强了鲁棒性。使用5折交叉验证的方法进行数值实验,实验结果表明,在数据集无异常值的情况下,该方法的正确率比多子支持向量机（MBSVM）提升了1.11个百分点,比基于Rescaled Hinge损失函数的鲁棒支持向量机（RSVM-RHHQ）提升了0.74个百分点;在数据集有异常值的情况下,该方法的正确率比MBSVM提升了2.10个百分点,比RSVM-RHHQ提升了1.47个百分点。实验结果证明了所提方法在解决有异常值的多分类问题上的鲁棒性。     

一类直接构造的模糊多类支持向量分类器

针对直接多类分类方法,提出了一种新的基于直接构造多类SVM分类器的模糊多类支持向量机算法FCS-SVM。在算法中,重构了优化问题及其约束条件,以及Lagrange公式,并进行了推导。通过在标准数据集上的几个实验,对这些算法进行了比较分析。实验结果表明提出的算法可以得到比较理想的分类精度。     

一种基于重复训练的支持向量机方法

针对支持向量机中存在的对噪音和野值敏感的问题,提出了一种基于重复训练的支持向量机方法。该方法选取重复训练后会对分类面有影响的样本,根据其类别隶属度,重复训练相应的次数,以此来改变样本的权值,减小噪音和野值的影响。将该算法应用于文本分类中,实验结果表明,该方法在适度增加了训练时间的情况下,不仅比标准支持向量机方法具有更好的抗噪音和野值的能力,而且提高了分类性能。     

基于支持向量回归的单步多分类算法

分析了利用支持向量回归求解多分类问题的思想,提出了一种基于局部密度比权重设置模型的加权最小二乘支持向量回归模型来单步求解多分类问题：该方法先分别对类样本中每类样本利用局部密度比权重设置模型求出每个样本的权重隶属因子,然后运用加权最小二乘支持向量回归算法对所有样本进行训练,获得回归分类器。为验证算法的有效性,对UCI三个标准数据集以及一个随机生成的数据集进行实验,对比了多种单步求解多分类问题的算法,结果表明,提出的模型分类精度高,具有良好的鲁棒性和泛化性能。     

求解双边加权模糊支持向量机的序贯最小优化算法

高的计算复杂度限制了双边加权模糊支持向量机在实际分类问题中的应用。为了降低计算复杂度,提出了应用序贯最小优化算法（SMO）解该模型,该模型首先将整个二次规划问题分解成一系列规模为2的二次规划子问题,然后求解这些二次规划子问题。为了测试SMO算法的性能,在三个真实数据集和两个人工数据集上进行了数值实验。结果表明：与传统的内点算法相比,在不损失测试精度的情况下,SMO算法明显地降低了模型的计算复杂度,使其在实际中的应用成为可能。