基于主次原型超平面最接近支持向量机

基于广义特征值的最接近支持向量机GEPSVM是一种新的具有与SVM性能相当的两类分类方法,通过求解广义特征值来获得两个彼此不平行的拟合两类样本的超平面,其决策规则是将测试样本归为距其最近的超平面所在的类。然而,该规则在某些情形会导致较差的分类结果。对此,本文提出了在利用GEPSVM产生一个主原型超平面的基础上,再利用主原型超平面及它类样本的信息构造一个次原型超平面,形成一个由主次原型超平面共同决策的最接近支持向量机。该方法不仅简单且易于实现,而且具有较GEPSVM更优的分类性能。在UCI数据集上的实验验证了它的有效性。     

基于原型超平面的多类最接近支持向量机

基于广义特征值的最接近支持向量机（proximal support vector machine via generalized eigenvalues,GEPSVM）摒弃了传统意义下支持向量机典型平面的平行约束,代之以通过优化使每类原型平面尽可能接近本类样本,同时尽可能远离它类样本的准则来解析获得原型平面;从而避免了SVM的二次规划,其分类性能达到甚至超过了SVM．但GEPSVM仍存在如下不足：①仅对两分类问题而提出,无法直接求解多分类问题;②存在正则化因子的选择问题;③求解原型平面的广义特征值问题中所涉及的矩阵一般仅为半正定,容易导致奇异性问题．通过定义新的准则,构建了一个能直接求解多个原型超平面的多分类方法,称之为基于原型超平面的多类最接近支持向量机,较之GEPSVM,该方法优势在于：①无正则化因子选择的困扰;②可同时求解多个超平面,对两分类问题,分类性能达到甚至优于GEPSVM;③超平面的选择问题转化为简单特征值而非广义特征值求解问题;④原型平面的选择只依赖于本类样本,故不必考虑多分类情形时的数据不平衡问题．     

用于在线数据分类的半监督最接近支持向量机

为了解决当已分类完未标号样本,又有新的未标号样本的半监督学习问题,提出了能用于在线数据分类的半监督最接近支持向量机。在人工数据和UCI数据集上的实验显示,不因标号数据的增多而提高分类性能,未标号数据基本上不降低其分类性能,因此算法可在线使用。     

半监督型广义特征值最接近支持向量机

广义特征值最接近支持向量机(GEPSVM)是近年提出的一种两分类方法.本文结合GEPSVM的平面特点和流形学习,给出一类半监督学习算法SemiGEPSVM.该方法不仅仍保持对诸如XOR问题的分类能力,而且在每类仅有一个有标样本的极端情形下,仍具有适用性.当已标样本不能用于构建超平面时,本文采用k-近邻方法选择样本并标记类别.一旦已标样本的个数可构建超平面时,采用本文的选择方法标记样本.此外,本文还从理论上证明该算法存在全局最优解.最后,SemiGEPSVM算法的有效性在人工数据集和标准数据集上得到验证.     

广义特征值多类分类算法

提出了一个新的多类分类算法,该算法的目标是寻找[M]个相互不平行的超平面,使得第[m(m=1,2,?,M)]类的各点到第[m]个超平面的距离之和尽可能小,而其余类的所有点到该超平面的距离之和尽可能大。基于这个思想,寻求第[m]个超平面的优化模型最终可转化为一个广义特征值问题。该方法编程简单,易于实现。在数值试验部分,该算法与一些经典的基于支持向量机的多类分类算法进行比较,表明了该算法的优越性。     

局部支持向量机的研究进展

支持向量机是一种用途广泛的分类器,标准的支持向量机在预测每个样本点的类别时使用了训练集中所有的样本信息(即全局信息),然而这种全局化的方法并不蕴含一致性。局部支持向量机的提出符合"一致性蕴含局部性"的思路。首先回顾局部支持向量机的主要思想,然后阐述各种关于局部支持向量机的改进,并提出基于协同聚类的局部支持向量机用于大规模数据集,最后对局部支持向量机进行总结。     

广义支持向量机的多项式光滑函数法

为了求解广义支持向量机（GSVM）的优化问题,将带有不等式约束的原始优化问题转化为无约束优化问题,由于此无约束优化问题的目标函数不光滑,所以引入一族多项式光滑函数进行逼近,实验中可以根据不同的精度要求选择不同的逼近函数。用BFGS算法求解。实验结果表明,该算法和已有的GSVM的求解算法相比,更快地获得了更高的测试精度,更适合大规模数据集的训练。因此给出的GSVM的求解算法是有效的。     

基于特征值分解的最大间隔支持向量回归机

广义特征值中心支持向量回归机(GEPSVR) 是一种有效的核回归算法, 但其在求解优化问题时易导致奇异 性问题. 为此, 提出一种基于特征值分解的支持向量回归机, 简称IGEPSVR. 与GEPSVR 相比, IGEPSVR 的主要优势 有: 结合最大间隔准则和GEPSVR 几何思想给出了新的距离度量准则; 在优化模型中引入Tikhonov 正则项, 克服了 可能产生的奇异性问题; IGEPSVR 仅需求解两个标准特征值, 降低了计算复杂度. 实验结果表明, 较GEPSVR 算法, IGEPSVR 不仅提高了学习能力, 而且缩短了训练时间.

     

一种改进的局部支持向量机算法

局部支持向量机是一种用途广泛的分类器,无论在理论研究还是实际应用方面,局部支持向量机都受到越来越多的关注。目前,许多传统的局部支持向量机算法都存在一个问题,即模型中样本比例失衡,导致无法提高分类精度。在加权支持向量机的启发下,提出了将加权思想应用在局部支持向量机Falk-SVM中的WFalk-SVM算法,并通过实验分析验证了WFalk-SVM的可行性及其有效性,最后对WFalk-SVM算法进行分析总结。     

改进的多面最临近支持向量机

基于泛化特征值问题的多面PSVM(GEPSVM)被O.L.Mangasarian证实是一种有效、简单、训练速度快的方法,但其仅对维数不高、样本数目也不大的数据集在实验中进行了比较和说明,而对上千维,甚至上万维人脸数据库,即小样本的、多类的问题并没有给出解决方法。文章把原算法加以改进,即把求解最小优化问题变成了求解最大优化问题,解决了因数据维数高、样本数较小而产生的奇异值问题,同时也实现了其多类算法,并用原GEPSVM算法和改进的算法来分别对这三个人脸数据库进行分类比较,从而使识别率和所用的处理时间两方面都得到了极大的改进。     

Multicategory Proximal Support Vector Machine Classifiers

Given a dataset, each element of which labeled by one of k labels, we construct by a very fast algorithm, a k-category proximal support vector machine (PSVM) classifier. Proximal support vector machines and related approaches (Fung & Mangasarian, 2001; Suykens & Vandewalle, 1999) can be interpreted as ridge regression applied to classification problems (Evgeniou, Pontil, & Poggio, 2000). Extensive computational results have shown the effectiveness of PSVM for two-class classification problems where the separating plane is constructed in time that can be as little as two orders of magnitude shorter than that of conventional support vector machines. When PSVM is applied to problems with more than two classes, the well known one-from-the-rest approach is a natural choice in order to take advantage of its fast performance. However, there is a drawback associated with this one-from-the-rest approach. The resulting two-class problems are often very unbalanced, leading in some cases to poor performance. We propose balancing the k classes and a novel Newton refinement modification to PSVM in order to deal with this problem. Computational results indicate that these two modifications preserve the speed of PSVM while often leading to significant test set improvement over a plain PSVM one-from-the-rest application. The modified approach is considerably faster than other one-from-the-rest methods that use conventional SVM formulations, while still giving comparable test set correctness.Editor Shai Ben-David     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

一种改进的临近支持向量机

基于线性临近支持向量机,提出一种改进的分类器一直接支持向量机.该分类器与临近支持向量机相比,对线性分类二者相同;对于非线性分类,直接支持向量机的Lagrangian乘子求解公式和分类器的表达式都更加简单,计算复杂度降低一半,且通过替代核函数就可实现线性与非线性的统一,可使用相同的算法代码,改正了临近支持向量机的不足.数值实验表明,非线性分类时,直接支持向量机的训练速度比临近支持向量机要快一倍左右,而测试速度则快更多,且分类精度并没有降低.     

广义超球面SVM研究

超球面支撑向量机是不均衡样本分类的一种重要方法.然而,目前引入间隔的超球面支撑向量机中,当一类样本集中不存在支撑向量时,两类样本之间的间隔解是不确定的;在两类样本均存在正常支撑向量的情况下,两类样本之间的间隔为零.间隔不确定或为零在很大程度上影响分类器的推广性能.为此提出了一种广义的超球面支撑向量机算法,通过引入参数n和b,理论推导得出n>b,这样可以保证获得不为零的间隔解.理论分析和实验结果表明,所提供算法在具有较小经验风险的同时,可获得较好的推广性能.     

增量密度加权近似支持向量机

近似支持向量机((PSVM)是一个正则化最小二乘问题,有解析解,但是它失去了支持向量机(SVM)的稀疏 性,使得所有的训练样例都成为支持向量。为了有效地控制近似支持向量机的稀疏性,提出了增量密度加权近似支持 向量机(mWPSVM),它在训练集中选取最基本的支持向量。实验表明,IvWPSVM方法与SVM, PSVM和DWPS- VM方法相比,其精度相似,收敛速度快,可有效地控制近似支持向量机的稀疏性。     

增量式最小二乘法分类器与增量式支持向量机的对比

在处理大规模数据时,近似支持向量机及其增量式版本(ISVM)是一种比传统支持向量机更加简单而有效的分类器.但在处理高维数据时,由于ISVM通过计算矩阵的逆来更新模型参数,这使得其计算效果有待提高.针对上述问题,本文提出了基于最小二乘法的增量式方法.该增量式方法通过对矩阵运算的恒等推导,把矩阵求逆问题转变成了除法运算,得到了简单的模型参数更新公式,从而获得了和ISVM同样的预测精度,且在处理高维数据时运行效率更高.在合成数据及图像和生物数据上的试验表明该增量式方法优于ISVM方法.     

孪生支持向量机综述

孪生支持向量机(Twin Support Vector Machine,TWSVM)是在支持向量机(Support Vector Machine,SVM)的基础上发展而来的一种新的机器学习方法。作为一种二分类的分类器,其基本思想为寻找两个超平面,使得每一个分类面靠近本类样本点而远离另一类样本点。作为一种新兴的机器学习方法,孪生支持向量机自提出以来便引起了国内外学者的广泛关注,已经成为机器学习领域的研究热点。对孪生支持向量机的最新研究进展进行综述,首先介绍了孪生支持向量机的基本概念与基本模型;然后对近几年来新型的孪生支持向量机模型与研究进展进行了总结,并对其代表算法进行了优缺点分析和实验比较;最后对将来的研究工作进行了展望。