软间隔模糊粗糙支持向量机

分析了硬间隔模糊粗糙支持向量机(FRSVMs)的优点与不足。FRSVMs通过修改硬间隔支持向量机(SVMs)的约束条件提高了泛化能力;FRSVMs虽然将训练样例的条件属性与决策属性之间的不一致性考虑在内,但是在寻找最优超平面时仍然要求将训练集完全正确地分开,因此对噪音具有敏感性。针对FRSVMs的这个缺点,提出了软间隔模糊粗糙支持向量机(C-FRSVMs)。它使用高斯核函数作为模糊相似关系,将数据集中样例的条件属性与决策标签之间的不一致程度考虑在内;在训练寻找最优超平面的过程中允许存在错分点,并对原始最优化问题中训练样例的错分程度进行惩罚;既考虑了间隔最大,又考虑了训练误差最小,从而降低了对噪音的敏感性。实验表明:针对一些数据集,无论其是否存在异常点,C-FRSVMs在测试精度上都可以同时优于硬间隔SVMs、软间隔支持向量机(C-SVMs)和FRSVMs,从而进一步提高了FRSVMs的泛化能力。     

基于不平衡数据分类的一种平衡模糊支持向量机

鉴于不平衡数据集中类不平衡比较大的分类问题,利用样本点的特性建立类不平衡调节因子和模糊隶属度,提出了平衡模糊支持向量机。首先计算样本协方差矩阵,求得类不平衡调节因子,然后计算各样本点的模糊隶属度,得到各样本对分类超平面的贡献率。类平衡调节因子和模糊隶属度同时对分类器的误差项产生影响。结果表明,这种平衡模糊支持向量机对类不平衡比较大的分类问题具有很好的分类效果。     

粗糙one-class支持向量机

粗糙集理论是处理不确定性和不完备信息的重要方法之一.通过将粗糙集理论引入到one-class支持向量机,提出了一种新颖的粗糙one-class支持向量机.通过定义上近似超平面和下近似超平面,使得训练样本能根据在粗糙间隔中的位置,自适应地对决策超平面产生影响.并且,outlier样本由于距离上近似超平面较近并产生较小的间隔误差,不会导致决策超平面对它们产生明显的过拟合.实验结果表明,粗糙one-class支持向量机的泛化性能优异,识别率和误识率均优于传统的one-class支持向量机.     

模糊支持向量机的训练算法研究

支持向量机(support vector machine,SVM)是在统计学习理论基础上发展起来的一种新的数据挖掘方法,并已广泛应用于模式识别与回归分析等领域.并且传统的支持向量机由于噪音教据的存在而易出现过学习现象,因而有必要消除噪音的影响.基于以上考虑,提出了一种模糊支持向量机模型.本论文主要针对该类型的模糊支持向量机进行研究.     

支持向量机多分类算法的研究

支持向量机（support vector machine,SVM）是在统计学习理论基础上发展起来的一种新的数据挖掘方法,并已广泛应用于模式识别与回归分析等领域。本文重点阐述了一些典型的支持向量机多分类算法及支持向量机多标注算法。最后指出了进一步研究和亟待解决的一些问题。     

支持向量机研究进展

基于统计学习理论的支持向量机((Support vector machines, SVM)以其优秀的学习能力受到广泛的关注。但传统支持向量机在处理大规模二次规划问题时会出现训练时间长、效率低下等问题。对SVM训练算法的最新研究成果进行了综述,对主要算法进行了比较深入的分析和比较,指出了各自的优点及其存在的问题,并且着重介绍了目前研究的新进展—模糊SVM和粒度SVM。接着论述了SVM主要的两方面应用—分类和回归。最后给出了今后SVM研究方向的预见。     

一种支持向量机粗糙神经网络的构造与分类决策

本文根据支持向量机可以解决小样本学习问题的优势，再结合粗集理论对不确定性问题分析的特点，提出一种支持向量机的粗糙神经网络的构造方法．该方法引入多个类似于支持向量机的子神经网络，并将网络中的隐层单元设计成由多组粗糙神经元构成的网络单元．这种新型神经网络具有结构确定、可解释性好、计算简单、收敛速度快等特点．最后，以某型歼击机的飞机舵面故障判决为例，用仿真结果证明，本文方法是行之有效的．     

双隶属度模糊粗糙支持向量机

针对支持向量机方法处理不确定信息系统时存在的两个问题：一方面支持向量机训练对噪声样本敏感,另一方面支持向量机训练未考虑信息系统的不一致,利用模糊理论与粗糙集方法分别计算得到两种隶属度：模糊隶属度与粗糙隶属度,并将两种隶属度引入到标准支持向量机中得到一个新的支持向量机模型——双隶属度模糊粗糙支持向量机（DM-FRSVM）。分析该模型对于不确定问题的解决思路并进行对比研究,实验结果表明,在对于含有不确定信息的样本集进行分类时,DM-FRSVM表现出更好的推广性能。     

不确定的中心支持向量机

在一般支持向量机中,训练集的每个元素（x_i,y_i）,i=1,2,…,l,对输入x_i有确定的类别标号y_i 。而在许多实际问题中,x_i的类别往往是不确定的,常常是以概率z_i⁺属于正类的概率z_i^-属于负类。针对这种实际情况,改造训练集,把原来的y_i,用z_i⁺,z_i^-代替,然后建立分类最优先模型,构建不确定中心支持向量机。     

面向不均衡分类的隶属度加权模糊支持向量机

针对不均衡分类问题,提出了一种基于隶属度加权的模糊支持向量机模型。使用传统支持向量机对样本进行训练,并通过样本点与所得分类超平面之间的距离构造模糊隶属度,这不仅能够消除噪点和野值点的影响,而且可以在一定程度上约减样本;利用正负类的平均隶属度和样本数量求得平衡调节因子,消除数据不平衡时造成的分类超平面的偏移现象;通过实验结果验证了该算法的可行性和有效性。实验结果表明,该算法能有效提高分类精度,特别是对不平衡数据效果更加明显,在训练速度和分类性能上比传统支持向量机和模糊支持向量机有进一步的提升。     

模糊支持向量分类机

研究了当训练点的输出为模糊数时支持向量分类机的构建问题。对于线性模糊分类问题,首先将其转化为模糊系数规划。利用模糊系数规划的λ-最优规划,求解模糊系数规划得到模糊最优解（模糊集合）以及模糊最优分类函数集（取值为最优分类函数而隶属度为λ（0≤λ≤1）的模糊集合）,从而构造线性模糊支持向量分类机。对于非线性模糊分类问题,引入核函数,类似干线性模糊分类问题得到非线性模糊支持向量分类机。最后构造显示模糊支持向量分类机特点的模糊支持向量集（取值为模糊训练点,隶属度为λ（0≤λ≤1）的模糊集合）。模糊支持向量分类机较好地解决了支持向量机中含有模糊信息的分类问题。     

Pruning Support Vector Machines Without Altering Performances

Support vector machines (SV machines, SVMs) have many merits that distinguish themselves from many other machine-learning algorithms, such as the nonexistence of local minima, the possession of the largest distance from the separating hyperplane to the SVs, and a solid theoretical foundation. However, SVM training algorithms such as the efficient sequential minimal optimization (SMO) often produce many SVs. Some scholars have found that the kernel outputs are frequently of similar levels, which insinuate the redundancy of SVs. By analyzing the overlapped information of kernel outputs, a succinct separating-hyperplane-securing method for pruning the dispensable SVs based on crosswise propagation (CP) is systematically developed. The method also circumvents the problem of explicitly discerning SVs in feature space as the SVM formulation does. Experiments with the famous SMO-based software LibSVM reveal that all typical kernels with different parameters on the data sets contribute the dispensable SVs. Some 1% ~ 9% (in some scenarios, more than 50%) dispensable SVs are found. Furthermore, the experimental results also verify that the pruning method does not alter the SVMs' performances at all. As a corollary, this paper further contributes in theory a new lower upper bound on the number of SVs in the high-dimensional feature space.     

Two ellipsoid Support Vector Machines

In classification problems classes usually have different geometrical structure and therefore it seems natural for each class to have its own margin type. Existing methods using this principle lead to the construction of the different (from SVM) optimization problems. Although they outperform the standard model, they also prevent the utilization of existing SVM libraries. We propose an approach, named 2eSVM, which allows use of such method within the classical SVM framework.This enables to perform a detailed comparison with the standard SVM. It occurs that classes in the resulting feature space are geometrically easier to separate and the trained model has better generalization properties. Moreover, based on evaluation on standard datasets, 2eSVM brings considerable profit for the linear classification process in terms of training time and quality.We also construct the 2eSVM kernelization and perform the evaluation on the 5-HT_2A ligand activity prediction problem (real, fingerprint based data from the cheminformatic domain) which shows increased classification quality, reduced training time as well as resulting model’s complexity.     

基于支持向量机的Web分类

Web分类是在分析了网页的内容后,按照一定的规则将它分到一个或者多个合适的类别中去.支持向量机是在统计学习理论基础上发展起来的一种新的非常有效的机器学习方法.由于其出色的学习性能,该技术已成为分类领域新的研究热点.将支持向量机的理论应用到Web分类中,首先对网页进行了预处理,然后对网页文本进行特征提取和向量表示,最后将二叉树多分类支持向量机应用到Web分类中.通过实验对算法进行了验证,结果表明取得了良好的分类效果.     

支持向量机在分类中的应用

通过引入结构风险最小化原则和最优分类面的概念,介绍了支持向量机及其用于非线性分类的基本原理和训练算法,并选用不同的核函数及参数对一组线性不可分的两类样本进行了划分识别,得到了较好的效果,并对结果进行了分析说明,展望了支持向量机的发展趋势。     

一种基于支持向量机的空间数据分类方法

支持向量机是基于小样本统计理论的一种新的机器学习方法,主要解决两分类问题。目前已成为机器学习领域的研究热点,但其应用方面的研究刚刚开始,在文本分类,图像分类、生物序列分析等方面得到成功应用。文章根据空间数据分类数据海量特点将SVM分类算法应用到炮阵地地形分析中,使得识别率大大提高。     

一种基于支持向量机的空间数据分类方法

支持向量机是基于小样本统计理论的一种新的机器学习方法,主要解决两分类问题.目前已成为机器学习领域的研究热点,但其应用方面的研究刚刚开始,在文本分类,图像分类、生物序列分析等方面得到成功应用.文章根据空间数据分类数据海量特点将SVM分类算法应用到炮阵地地形分析中,使得识别率大大提高.     

基于模糊支持向量机的多主题文本分类算法研究

多主题是文本的一个自然属性,即一些文本不是确定的属于单一主题,而是多个主题.对于这种情况,标准SVM多分类算法不能解决.本文提出一种基于模糊支持向量机的多主题文本分类算法.用1-a-1方法训练子分类器,对于待分类样本,通过子分类器得到对应其隶属度矩阵,依据隶属度矩阵每行元素和判定该文本所属主题.实验结果表明,该算法具有较好的准确率、召回率和F1值.     

一种快速支持向量机分类算法的研究

提出一种快速的支持向量机分类算法——FCSVM,对支持向量集采用变换的方式,用少量的支持向量代替全部支持向量进行分类计算,在保证不损失分类精度的前提下使得分类速度有较大提高．在UCI标准数据集上进行的分类实验以及在FERET标准人脸库上进行的人脸识别实验都表明该算法具有较好的性能,在一定程度上克服了传统的支持向量机分类速度较慢的缺点、尤其在训练集规模庞大、支持向量数量较多的情况下,采用该算法能够较大幅度地减小计算复杂度,提高分类速度．     

一种快速的支持向量机多类分类算法

提出了一种快速的支持向量机多类分类算法.首先用每类训练样本的样本数作为权值构造最优二叉树,然后对每个非叶子结点训练两类分类器.分类时,从二叉树根结点开始逐层向下分类,直到某一叶子结点,该结点对应的类别即为待分类样本的类别.在Reuters 21578标准数据集上进行的分类实验表明,该算法具有较好的性能,在一定程度上克服了现有的支持向量机多类分类算法分类速度较慢的缺点,尤其在类别数较多、各类样本规模相同的情况下,采用该算法能够较大幅度地提高分类速度.