基于超球支持向量机的多主题文本分类算法

针时标准支持向量机多分类算法不能解决多主题文本分类问题,提出了一种基于超球支持向量机的多主题文本分类算法.该算法用超球支持向量机训练得到每个超球,计算待分类文本到每个超球球心的距离,依据距离得到隶属度向量,最后根据隶属度向量判定该文本所属的主题.实验结果表明,该算法具有更好的召回率,准确率和F1值.     

基于超球支持向量机的类增量学习算法研究

提出了一种超球支持向量机类增量学习算法.对每一类样本,利用超球支持向量机在特征空间中求得包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.类增量学习过程中,只对新增类样本进行训练,使得该算法在很小的样本集、很小的空间代价下实现了类增量学习,大大降低了训练时间,同时保留了历史训练结果.分类过程中,通过计算待分类样本到各超球球心的距离判定其所属类别,分类简单快捷.实验结果证明,该算法不仅具有较高的训练速度,而且具有较高的分类速度和分类精度.     

基于支持向量数据描述的闭合超球面机

为提高支持向量数据描述的训练精度,提出一种闭合超球面机.在训练阶段利用目标类样本构造最小包围超球,利用非目标类样本调整描述边界;在测试阶段计算待测样本与最小包围超球球心的距离,根据其与超球半径的大小关系设计分类规则.不同规模和不同平衡度的数据集上的仿真结果表明,该算法分类精度高,训练时间短,将支持向量机和光滑支持向量机的运行时间降低为原来的17.17％和29.06％,将支持向量数据描述分类器的精度提高12.98％且具有较好的鲁棒性.     

实现兼类样本类增量学习的一种算法

针对兼类样本,提出一种类增量学习算法.利用超球支持向量机,对每类样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.增量学习时,对新增样本以及旧样本集中的支持向量和超球附近的非支持向量进行训练,使得算法在很小的空闻代价下实现兼类样本类增量学习.分类过程中,根据待分类样本到各超球球心的距离判定其所属类别.实验结果表明,该算法具有较快的训练、分类速度和较高的分类精度.     

基于最大间隔最小体积超球支持向量机的多主题分类算法

针对多主题分类,结合最大间隔最小体积超球支持向量机和模糊理论,提出一种多主题最大间隔最小体积超球支持向量机来实现多主题分类.该算法首先基于最大间隔最小体积超球支持向量机,采用1-a-r方法训练子分类器,通过子分类器得到待分类样本的隶属度向量,再依据隶属度向量判定该待分类样本所属类别.实验结果表明,该算法具有较好的准确率、召回率、F1值.     

基于超球支持向量机的兼类文本分类算法研究

针对兼类文本,提出了一种分类算法。对属于同一类别的文本,利用超球支持向量机在特征空间中求得一个能包围该类尽可能多文本的最小超球,使各类文本之间通过超球分隔开,达到分类效果。对待分类文本,计算它到各超球球心的距离,根据距离判定该文本所属的类别。实验结果证明,该算法不仅具有较快的分类速度,而且具有较高的分类精度。     

模糊大间隔最小超球模型*

针对当前异常检测方法面临的分类性能有限以及分类结果易受噪声影响等问题,在分析当前异常检测方法的基础上,提出模糊大间隔最小超球模型FMHM。该模型引入模糊理论,在一定程度上减少噪声对分类结果的影响;正常样本与奇异样本之间的间隔最大化确保错分率最小。标准UCI数据集上的比较实验表明,较之单类支持向量机OCSVM、支持向量数据描述SVDD、K近邻KNN等算法,本文所提方法FMHM在异常检测方面具有一定优势。     

实现兼类样本增量学习的一种算法

针对兼类样本,提出一种增量学习算法.利用超球支持向量机,在特征空间对属于同一类别的样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.增量学习过程中,只对新增样本以及与新增样本具有相同兼类的旧样本集中的支持向量进行训练,且每次训练只针对一类样本,使得算法在很小的样本集、很小的空间代价下实现兼类样本增量学习,同时保留了与新增样本类别无关的历史训练结果.分类过程中,通过计算待分类样本到各超球球心的距离判定其所属类别,分类准确快捷.实验结果证明了该算法的有效性.     

基于小生境遗传算法的分类优化方法

对于多分类问题,大多是经二分类器组合进行训练的,在分类类别多、特征维数高时,存在识别准确率不高和训练速度较慢的问题。将超球支持向量机应用到多类问题,为每个类建立一个超球体模型,通过多个超球体划分样本空间。采用改进的基于排挤的小生境遗传算法(improved crowding niche genetic algorithm,ICNGA)进行特征选择,为不同的目标类别寻找最优的特征子集,优化超球支持向量机的输入。利用UCI标准数据集的数值实验表明,在分类数据类别较多、特征维数较高时,经过ICNGA特征选择之后的多超球支持向量机的识别准确度更好,非常适合解决类别数多、特征维数高的分类问题。     

一种改进的DDAGSVM多类分类方法

支持向量机最初是针对两类分类问题提出的,如何有效地将其推广到多类分类问题仍是一项有待研究的课题。本文介绍了现有的具有代表性的多类支持向量机分类算法,并在分析决策导向非循环图支持向量机分类器生成顺序随机化的基础上,引入类内的分散度,以基于样本分布的类间分离程度作为类别的划分顺序,最终构成了一种分类间隔较大的决策导向非循环图支持向量机分类算法。实验结果表明了本文方法具有更高的分类精度。     

Applying a novel decision rule to the sphere-structured support vector machines algorithm

The traditional sphere-structured support vector machines algorithm is one of the learning methods. It can partition the training samples space by means of constructing the spheres with the minimum volume covering all training samples of each pattern class in high-dimensional feature space. However, the decision rule of the traditional sphere-structured support vector machines cannot assign ambiguous sample points such as some encircled by more than two spheres to valid class labels. Therefore, the traditional sphere-structured support vector machines is insufficient for obtaining the better classification performance. In this article, we propose a novel decision rule applied to the traditional sphere-structured support vector machines. This new decision rule significantly improves the performance of labeling ambiguous points. Experimental results of seven real datasets show the traditional sphere-structured support vector machines based on this new decision rule can not only acquire the better classification accuracies than the traditional sphere-structured support vector machines but also achieve the comparable performance to the classical support vector machines. An erratum to this article can be found at     

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

多类支持向量机在文本分类中的应用

传统的支持向量机（SVM）是两类分类问题,如何有效地将其推广到多类分类问题仍是一项有待研究的课题。本文在对现有主要的四种多类支持向量机分类算法讨论的基础上,结合文本分类的特点,详细介绍了决策树支持向量机和几种改进多类支持向量机方法在文本分类中的应用。     

基于聚类的大样本支持向量机研究

针对大样本支持向量机内存开销大、训练速度慢的缺点,本文提出了基于聚类支持向量机,运用k-mean对样本聚类,压缩样本量,构造初始超平面,筛选出靠近超平面的支持粪和可能支持向量,重新构造决策超平面。实验表明,在保持泛化精度基本一致前提下,改进算法的训练速度明显提高。     

边界邻近支持向量机

针对训练大样本支持向量机内存开销大、训练速度慢的缺点,提出了一种改进的算法—边界邻近支持向量机。实验表明在分类效果相同情况下,改进算法训练速度明显提高。     

Multi-view Laplacian twin support vector machines

Twin support vector machines are a recently proposed learning method for pattern classification. They learn two hyperplanes rather than one as in usual support vector machines and often bring performance improvements. Semi-supervised learning has attracted great attention in machine learning in the last decade. Laplacian support vector machines and Laplacian twin support vector machines have been proposed in the semi-supervised learning framework. In this paper, inspired by the recent success of multi-view learning we propose multi-view Laplacian twin support vector machines, whose dual optimization problems are quadratic programming problems. We further extend them to kernel multi-view Laplacian twin support vector machines. Experimental results demonstrate that our proposed methods are effective.     

线性支持向量机优化问题的极大熵方法

支特向量机是一种新的机器学习方法，已成功地应用于模式分类、回归分析和密度估计等问题中．本文依据统计学习理论和最优化理论建立了线性支特向量机的无约束优化模型，并给出了一种有效的近似解法一极大熵方法,为求解支持向量机优化问题提供了一种新途径,本文方法特别易于计算机实现。数值实验结果表明了模型和算法的可行性和有效性．     

基于Gabor小波变换和支持向量机的人脸识别

将Gabor小波变换和支持向量机分类方法结合起来进行人脸识别。通过由Gabor小波变换系数表示的若干个人脸模板和人脸图像之间的匹配来确定特征点的近似位置；在所有的特征点位置计算Gabor小波变换系数并将其串联成表示人脸图像的向量；采用一种层次分解的支持向量机二叉决策树进行分类识别。实验结果表明了该方法的可行性。     

基于统计学习理论的支持向量机的分类方法

支持向量机是一种新型机器学习方法,由于其出色的学习性能,该技术已成为机器学习领域新的研究热点。介绍用于分类的支持向量机的统计学习理论基础,在此基础上提出了支持向量机的分类算法,讨论了支持向量机存在的问题,对用于分类的支持向量机的应用前景进行了展望。