基于原型超平面的多类最接近支持向量机

基于广义特征值的最接近支持向量机（proximal support vector machine via generalized eigenvalues,GEPSVM）摒弃了传统意义下支持向量机典型平面的平行约束,代之以通过优化使每类原型平面尽可能接近本类样本,同时尽可能远离它类样本的准则来解析获得原型平面;从而避免了SVM的二次规划,其分类性能达到甚至超过了SVM．但GEPSVM仍存在如下不足：①仅对两分类问题而提出,无法直接求解多分类问题;②存在正则化因子的选择问题;③求解原型平面的广义特征值问题中所涉及的矩阵一般仅为半正定,容易导致奇异性问题．通过定义新的准则,构建了一个能直接求解多个原型超平面的多分类方法,称之为基于原型超平面的多类最接近支持向量机,较之GEPSVM,该方法优势在于：①无正则化因子选择的困扰;②可同时求解多个超平面,对两分类问题,分类性能达到甚至优于GEPSVM;③超平面的选择问题转化为简单特征值而非广义特征值求解问题;④原型平面的选择只依赖于本类样本,故不必考虑多分类情形时的数据不平衡问题．     

半监督型广义特征值最接近支持向量机

广义特征值最接近支持向量机(GEPSVM)是近年提出的一种两分类方法.本文结合GEPSVM的平面特点和流形学习,给出一类半监督学习算法SemiGEPSVM.该方法不仅仍保持对诸如XOR问题的分类能力,而且在每类仅有一个有标样本的极端情形下,仍具有适用性.当已标样本不能用于构建超平面时,本文采用k-近邻方法选择样本并标记类别.一旦已标样本的个数可构建超平面时,采用本文的选择方法标记样本.此外,本文还从理论上证明该算法存在全局最优解.最后,SemiGEPSVM算法的有效性在人工数据集和标准数据集上得到验证.     

基于主次原型超平面最接近支持向量机

基于广义特征值的最接近支持向量机GEPSVM是一种新的具有与SVM性能相当的两类分类方法,通过求解广义特征值来获得两个彼此不平行的拟合两类样本的超平面,其决策规则是将测试样本归为距其最近的超平面所在的类。然而,该规则在某些情形会导致较差的分类结果。对此,本文提出了在利用GEPSVM产生一个主原型超平面的基础上,再利用主原型超平面及它类样本的信息构造一个次原型超平面,形成一个由主次原型超平面共同决策的最接近支持向量机。该方法不仅简单且易于实现,而且具有较GEPSVM更优的分类性能。在UCI数据集上的实验验证了它的有效性。     

局部化的广义特征值最接近支持向量机

基于广义特征值的最接近支持向量机(Proximal Support Vector Machine via Generalized Eigenvalues,GEPSVM)是一种新的具有与SVM性能相当的两分类方法,通过求解广义特征值来获得两个彼此不平行的拟合两类样本的超平面.其决策是将测试样本归为距其最近的超平面所在的类.然而,该规则在某些情形会导致较差的分类结果.对此,在GEPSVM基础上,通过在类拟合超平面上寻找一个包含了所有训练样本投影的局部凸区域,来决定样本的类别.该局部方法不仅具有较GEPSVM更优的分类性能,同时还衍生出了求解超平面上凸壳的简单且易于核化的新算法.最后在人工和UCI数据集上获得了验证.     

基于自适应边界向量提取的多尺度v-支持向量机建模

针对v-支持向量机(v-SVM)用于大规模、多峰样本建模时易出现训练速度慢和回归精度低的问题,提出基于边界向量提取的多尺度v-SVM建模方法.该方法采用一种自适应边界向量提取算法,从训练样本中预提取出包含全部支持向量的边界向量集,以缩减训练样本规模,并通过求解多尺度v-SVM二次规划问题获取全局最优回归模型,从多个尺度上对复杂分布样本进行逼近.仿真结果表明,基于边界向量提取的多尺度v-SVM比v-SVM具有更好的回归结果.     

一种半监督支持向量机优化方法

针对半监督支持向量机在采用间隔最大化思想对有标签样本和无标签样本进行分类时面临的非凸优化问题,提出了一种采用分布估计算法进行半监督支持向量机优化的方法EDA_S3VM。该方法把无标签样本的标签作为需要优化的参数,从而得到一个在标准支持向量机上的组合优化问题,利用分布估计算法通过概率模型的学习和采样来对问题进行求解。在人工数据集和公共数据集上的实验结果表明,EDA_S3VM与其它一些半监督支持向量机算法相比有更高的分类准确率。     

稀疏Tikhonov正则化多分类支持向量机

Tikhonov正则化多分类支持向量机是一种将多分类问题简化为单个优化问题的新型支持向量机.由于Tikhonov正则化多分类支持向量机利用全部类别数据样本构建核函数矩阵,因此不适合大规模数据集的模式分类问题,鉴于该原因,一种稀疏Tikhonov正则化多分类支持量机被建立,其训练算法首先构建样本重要性评价标准,在标准下通过迭代学习获取约简集,最后利用约简集构建核函数矩阵并训练支持向量机.仿真实验结果表明稀疏Tikhonov正则化多分类支持向量机在训练速度和稀疏性方面具有很大的优越性.     

基于支持向量回归的单步多分类算法

分析了利用支持向量回归求解多分类问题的思想,提出了一种基于局部密度比权重设置模型的加权最小二乘支持向量回归模型来单步求解多分类问题：该方法先分别对类样本中每类样本利用局部密度比权重设置模型求出每个样本的权重隶属因子,然后运用加权最小二乘支持向量回归算法对所有样本进行训练,获得回归分类器。为验证算法的有效性,对UCI三个标准数据集以及一个随机生成的数据集进行实验,对比了多种单步求解多分类问题的算法,结果表明,提出的模型分类精度高,具有良好的鲁棒性和泛化性能。     

改进向量投影的支持向量预选取方法

针对基于向量投影的支持向量预选取方法选取投影直线过于简单粗糙,导致需要选取较多的边界向量才能包含原始问题的支持向量的问题,提出了一种新的支持向量预选取方法.该方法通过定义好的投影直线具备的3个必要特征,提出:对于线性可分情况,利用Fisher线性判别算法来获取最佳的投影直线;对于非线性可分情况,利用特征空间中心向量所在直线作为相应的投影直线.由于该方法确定的投影直线可以更好地对样本投影进行分离,因此,与基于向量投影的支持向量预选取方法相比,该方法可用更少的原始样本来构造边界向量集合,可有效降低支持向量机算法的时空复杂度.在两个人工数据集和一个现实数据集上的实验表明,所提方法不仅可以达到以往各种实用的支持向量机算法分类精度,而且更为高效.     

局部保持对支持向量机

多面支持向量机(multiple surface support vector machine,MSSVM)分类方法作为传统支持向量机(support vector machine,SVM)的拓展在模式识别领域成为新的研究热点之一,然而已有的MSSVM方法并没有充分考虑到训练样本之间的局部几何结构以及所蕴含的判别信息.因此将保局投影(locality preserving projections,LPP)的基本思想引入到MSSVM中,提出局部保持对支持向量机(locality preserving twin support vector machine,LPTSVM).LPTSVM方法不但继承了MSSVM方法具有的异或(XOR)问题处理能力,而且充分考虑样本间的局部几何结构,体现样本间所蕴含的局部判别信息,从而在一定程度上提高了分类精度.主成分分析(principal component analysis,PCA)方法克服了LPTSVM奇异性问题,保证了LPTSVM方法的有效性.非线性情况下,通过经验核映射方法构造了非线性LPTSVM.在人造数据集和真实数据集上的测试表明LPTSVM方法具有较好的泛化性能.     

Localized twin SVM via convex minimization

Multisurface proximal support vector machine via generalized eigenvalues (GEPSVM), being an effective classification tool for supervised learning, tries to seek two nonparallel planes that are determined by solving two generalized eigenvalue problems (GEPs). The GEPs may lead to an instable classification performance, due to matrix singularity. Proximal support vector machine using local information (LIPSVM), as a variant of GEPSVM, attempts to avoid the above shortcoming through adopting a similar formulation to the Maximum Margin Criterion (MMC). The solution to an LIPSVM follows directly from solving two standard eigenvalue problems. Actually, an LIPSVM can be viewed as a reduced algorithm, because it uses the selectively generated points to train the classifier. A major advantage of an LIPSVM is that it is resistant to outliers. In this paper, following the geometric intuition of an LIPSVM, a novel multi-plane learning approach called Localized Twin SVM via Convex Minimization (LCTSVM) is proposed. This approach determines two nonparallel planes by solving two newly formed SVM-type problems. In addition to keeping the superior characteristics of an LIPSVM, an LCTSVM still has its additional edges: (1) it has similar or better classification capability compared to LIPSVM, TWSVM and LSTSVM; (2) each plane is generated from a quadratic programming problem (QPP) instead of a special convex difference optimization arising from an LIPSVM; (3) the solution can be reduced to solving two systems of linear equations, resulting in considerably lesser computational cost; and (4) it can find the global minimum. Experiments carried out on both toy and real-world problems disclose the effectiveness of an LCTSVM.     

基于正则化技术的对支持向量机特征选择算法

对支持向量机(twin support vector machine,TWSVM)的优化思想源于基于广义特征值近似支持向量机(proxi mal SVMbased on generalized eigenvalues,GEPSVM),问题解归结为求解两个SVM型问题,因此,计算开销缩减到标准SVM的1/4.除了保留了GEPSVM优势外,在分类性能上TWSVM远优于GEPSVM,但仍需求解凸规划问题,并且,目前尚无有效的TWSVM的特征提取算法提出.首先,向TWSVM模型中引入正则项,提出了正则化TWSVM(RTWSVM).与TWSVM不同,RTWSVM保证了该问题为一个强凸规划问题.在此基础上,构造了TWSVM的特征提取算法(FRTWSVM).该分类器只需求解一个线性方程系统,无需任何凸规划软件包.在保证得到与TWSVM相当的分类性能以及较快的计算速度上,此方式还减少了输入空间的特征数.对于非线性问题,FRTWSVM可以减少核函数数目.     

基于支持向量机的中文分词

中文分词是中文信息处理的基础,也是很多中文应用首先要面对的问题。目前效果最好的分词模型是词位标注法,该方法需要使用一个分类器对每个汉字的位置进行判定。基于统计学习理论的支持向量机较好地解决小样本、非线性、高维数和局部极小点等实际问题,被公认为是优秀的机器学习方法和分类算法。实现一个基于支持向量机的中文分词系统,并在实验中取得较好的结果,证明支持向量机适用于中文分词时的词位标注问题。     

一种模糊加权的孪生支持向量机算法

虽然孪生支持向量机（Twin Support Vector Machine,TSVM）的处理速度优于传统的支持向量机,但其并没有考虑输入样本点对最优分类超平面所产生的不同影响。通过为每个训练样本赋予不同的样本重要性,以及减少样本点对非平行超平面的影响,提出了模糊加权孪生支持向量机（Fuzzy TSVM,FTSVM）。在UCI标准数据集上,对FTSVM进行了实验研究并与TSVM、FSVM和SVM方法进行了比较,实验结果表明FTSVM方法是有效的。     

基于支持向量机的中文分词

中文分词是中文信息处理的基础,也是很多中文应用首先要面对的问题。目前效果最好的分词模型是词位标注法,该方法需要使用一个分类器对每个汉字的位置进行判定。基于统计学习理论的支持向量机较好地解决小样本、非线性、高维数和局部极小点等实际问题,被公认为是优秀的机器学习方法和分类算法。实现一个基于支持向量机的中文分词系统,并在实验中取得较好的结果,证明支持向量机适用于中文分词时的词位标注问题。     

基于向量投影的支持向量机增量算法

提出一种新的基于向量投影的支持向量机增量式学习算法.该算法根据支持向量的几何分布特点,采用向量投影的方法对初始样本及增量样本在有效地避免预选取失效情况下进行预选取.选取最有可能成为支持向量的样本形成边界向量集,并在其上进行支持向量机训练.通过对初始样本是否满足新增样本集KKT条件的判断,解决非支持向量向支持向量转化的问题,有效地处理历史数据.实验表明,基于向量投影的支持向量机增量算法可以有效地减少训练样本数,积累历史信息,提高训练的速度,从而具有更好的推广能力.     

基于线性规划支持向量回归的混沌系统预测

支持向量机是一种基于统计学习理论的新颖的机器学习方法,该方法已经广泛用于解决分类与回归问题。标准的支持向量机算法需要解一个二次规划问题,当训练样本较多时,其运算速度一般很慢。为了提高运算速度,介绍了一种基于线性规划的支持向量回归算法,并由此提出几种新的回归模型,同时将它们应用到混沌时间序列预测中,并比较了它们的预测性能。在实际应用中,可以根据具体情况灵活地选择所需模型。