无参数鲁棒线性规划支持向量机分类的牛顿法

Mangasarian最近提出的用于分类的无参数鲁棒线性规划支持向量机克服了标准支持向最机的一些缺点，而且模型简单，容易实现。该文讨论了这种新型支持向最机的线性规划问题的最小2-范数解，在此基础上给出了一个快速的牛顿算法。     

广义最大间隔球形支持向量机

针对多类分类问题,提出一种超球支持向量机算法——广义最大间隔球形支持向量机,该算法利用两同心超球将正负类样本分隔开来,最大化两超球半径的差异,从而挖掘正负类样本的鉴别信息,同时对超球类支持向量机算法判决规则进行改进,引入模糊隶属度补充判决,弥补二类分类器投票决策的缺陷.理论分析了算法的相关性质,通过仿真实验验证了该算法的有效性.     

最大间隔最小体积球形支持向量机

结合支持向量机（ＳＶＭ）类间最大分类间隔和支持向量数据描述（ＳＶＤＤ）类内最小描述体积思想,提出一种新的学习机器模型———最大间隔最小体积球形支持向量机（ＭＭＨＳＶＭ）．模型建立两个大小不一的同心超球,将正负类样本分别映射到小超球内和大超球外,模型目标函数最大化两超球间隔,实现正负类类间间隔的最大化和各类类内体积的最小化,提高了模型的分类能力．理论分析和实验结果表明该算法是有效的．     

随机梯度下降优化的量子多分类支持向量机

为改善大规模数据在经典机器学习多分类任务中的计算负担,本文提出了一种基于随机梯度下降优化的量子多分类支持向量机(SGD-MQSVM)算法。通过采用量子随机梯度下降法获得训练参数,并采用全对多分类支持向量机的量子方法进行多分类。算法的时间复杂性可将单次迭代的时间复杂度从经典多项式级降低到对数级。     

基于参数间隔孪生支持向量机的增量学习算法

针对处理大量时间序列数据或数据流时,参数间隔孪生支持向量机（TPMSVM）分类训练速度依然较慢的问题．本文证明了样本满足TPMSVM的KKT条件所对应的数值条件,并根据结论提出一种适用于TPMSVM的增量学习算法用于处理时间序列数据．该算法选取新增数据中违背广义KKT条件和部分满足条件的原始数据,参加分类器训练．实验证明：本文提出的增量算法在保持一定分类精度的同时提高了TPMSVM的训练速度．     

鲁棒r-支持向量回归机中参数r 的选择研究

为使r-支持向量回归机更具鲁棒性．研究了r-支持向量回归机r-SVR中参数r与输入噪声之间的关系．将r-SVR的优化问题转换成最大后验估计问题．推导出r-SVR后验估计最大化的条件．得出了输入噪声为高斯分布时r-SVR中参数r与σ之间的近似线性反比关系．为已知输入高斯噪声方差σ时合理选择r提供了理论依据．     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

双隶属度模糊粗糙支持向量机

针对支持向量机方法处理不确定信息系统时存在的两个问题：一方面支持向量机训练对噪声样本敏感,另一方面支持向量机训练未考虑信息系统的不一致,利用模糊理论与粗糙集方法分别计算得到两种隶属度：模糊隶属度与粗糙隶属度,并将两种隶属度引入到标准支持向量机中得到一个新的支持向量机模型——双隶属度模糊粗糙支持向量机（DM-FRSVM）。分析该模型对于不确定问题的解决思路并进行对比研究,实验结果表明,在对于含有不确定信息的样本集进行分类时,DM-FRSVM表现出更好的推广性能。     

基于混合梯度下降算法的支持向量机参数优化

在解决有限样本、非线性和高维度问题中,建立在统计学习理论和结构风险最小化原则上的支持向量机表现出良好的性能和独特的优势。然而,支持向量机参数对模型的识别精度和泛化能力有很大影响,基于这样的事实,运用混合梯度下降算法对支持向量机的参数进行优化选择,结合量子遗传算法出色的全局优化能力和梯度下降法局部寻优能力,较好地解决了传统的支持向量机中参数优化的难题。最后,用实例验证了该算法的有效性。     

一种新的软间隔支持向量机分类算法

软间隔支持向量机（SVM）分类算法是目前最具有代表性的模式分类算法之一,它在应用中的一个主要困难是确定控制参数C.提出一种新的软间隔SVM分类算法,通过松弛变量改变约束条件,允许数据点进入分离区域但不越过分类超平面,从而避免了参数C的确定问题.计算机实验和故障诊断实例表明,基于新算法的SVM分类器有较高的分类准确性和较好的泛化性能,能够实际应用于模式分类.     

孪生支持向量机综述

孪生支持向量机(Twin Support Vector Machine,TWSVM)是在支持向量机(Support Vector Machine,SVM)的基础上发展而来的一种新的机器学习方法。作为一种二分类的分类器,其基本思想为寻找两个超平面,使得每一个分类面靠近本类样本点而远离另一类样本点。作为一种新兴的机器学习方法,孪生支持向量机自提出以来便引起了国内外学者的广泛关注,已经成为机器学习领域的研究热点。对孪生支持向量机的最新研究进展进行综述,首先介绍了孪生支持向量机的基本概念与基本模型;然后对近几年来新型的孪生支持向量机模型与研究进展进行了总结,并对其代表算法进行了优缺点分析和实验比较;最后对将来的研究工作进行了展望。     

基于模糊双支持向量机的遥感图像分类研究

遥感图像的分类是研究土地利用变化的基础。传统的遥感图像分类方法存在运算速度慢、精度比较低和难以收敛等问题。提出了一种基于模糊双支持向量机的多类分类方法,将模糊技术引入到双支持向量机中,赋予不同样本以不同的模糊隶属度,然后将模糊双支持向量机推广到多类分类中,最后将新方法应用到遥感图像分类中。实验表明,新方法比传统的支持向量机多类分类方法有较高的分类精度,并且有较强的抗噪声能力,在运行时间上也是可行的。模糊双支持向量机是一种有效的遥感图像分类方法。     

基于马氏距离的孪生多分类支持向量机

孪生支持向量机(TWSVM)的研究是近来机器学习领域的一个热点。TWSVM具有分类精度高、训练速度快等优点,但训练时没有充分利用样本的统计信息。作为TWSVM的改进算法,基于马氏距离的孪生支持向量机(TMSVM)在分类过程中考虑了各类样本的协方差信息,在许多实际问题中有着很好的应用效果。然而TMSVM的训练速度有待提高,并且仅适用于二分类问题。针对这两个问题,将最小二乘思想引入TMSVM,用等式约束取代TMSVM中的不等式约束,将二次规划问题的求解简化为求解两个线性方程组,得到基于马氏距离的最小二乘孪生支持向量机(LSTMSVM),并结合有向无环图策略(DAG)设计出基于马氏距离的最小二乘孪生多分类支持向量机。为了减少DAG结构的误差累积,构造了基于马氏距离的类间可分性度量。人工数据集和UCI数据集上的实验均表明,所提算法不仅有效,而且相对于传统多分类SVM,其分类性能有明显提高。     

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

一种改进的鲁棒模糊孪生支持向量机算法

针对模糊孪生支持向量机算法（FTSVM）对噪声仍然敏感,容易过拟合以及不能有效区分支持向量和离群值等问题,提出了一种改进的鲁棒模糊孪生支持向量机算法（IRFTSVM）。将改进的k近邻隶属度函数和基于类内超平面的隶属度函数结合,构造了一种新的混合隶属度函数;在FTSVM算法的目标函数中引入正则化项和额外的约束条件,实现了结构风险最小化,避免了逆矩阵运算,且非线性问题可以像经典的SVM算法一样直接从线性问题扩展而来;将铰链损失函数替换为pinball损失函数,以此降低对噪声的敏感性。此外,在UCI数据集和人工数据集上对该算法进行评估,并与SVM、TWSVM、FTSVM、PTSVM和TBSVM五个算法进行比较。实验结果表明,该算法的分类结果是令人满意的。     

基于核函数的支持向量机分类方法

支持向量机是目前正在兴起的一种新的数据挖掘分类方法,阐述了支持向量机的理论基础及核函数,阐明了支持向量机分类的基本思想,分析了支持向量机的优缺点,对支持向量机在海量数据分类中的应用前景进行了展望。     

一种基于支持向量机的空间数据分类方法

支持向量机是基于小样本统计理论的一种新的机器学习方法,主要解决两分类问题。目前已成为机器学习领域的研究热点,但其应用方面的研究刚刚开始,在文本分类,图像分类、生物序列分析等方面得到成功应用。文章根据空间数据分类数据海量特点将SVM分类算法应用到炮阵地地形分析中,使得识别率大大提高。     

Robust Parametric Twin Support Vector Machine for Pattern Classification

In this paper, we propose a robust parametric twin support vector machine (RPTWSVM) classifier based on Parametric-\(\nu \)-Support Vector Machine (Par-\(\nu \)-SVM) and twin support vector machine. In order to capture heteroscedastic noise present in the training data, RPTWSVM finds a pair of parametric margin hyperplanes that automatically adjusts the parametric insensitive margin to incorporate the structural information of data. The proposed model of RPTWSVM is not only useful in controlling the heteroscedastic noise but also has much faster training speed when compared to Par-\(\nu \)-SVM. Experimental results on several machine learning benchmark datasets show the advantages of RPTWSVM both in terms of generalization ability and training speed over other related models.     

鲁棒最小二乘孪生支持向量机及其稀疏算法

最小二乘孪生支持向量机通过求解两个线性规划问题来代替求解复杂的二次规划问题,具有计算简单和训练速度快的优势。然而,最小二乘孪生支持向量机得到的超平面易受异常点影响且解缺乏稀疏性。针对这一问题,基于截断最小二乘损失提出了一种鲁棒最小二乘孪生支持向量机模型,并从理论上验证了模型对异常点具有鲁棒性。为使模型可处理大规模数据,基于表示定理和不完全Cholesky分解得到了新模型的稀疏解,并提出了适合处理带异常点的大规模数据的稀疏鲁棒最小二乘孪生支持向量机算法。数值实验表明,新算法比已有算法分类准确率、稀疏性、收敛速度分别提高了1.97%~37.7%、26~199倍和6.6~2 027.4倍。