基于一类分类的非线性回归算法

一类支持向量机是只有正类样本的一类分类算法,该算法已经在孤立点检测、经济预警中有了广泛的应用。根据一类分类方法,本文提出一种非线性回归算法,该算法揭示了一类分类、二类分类以及回归之间的关系。该方法首先对训练数据的响应变量向上和向下移动ε,进而获得两个样本集合;然后应用核映射方法在高维特征空间中分别求包含两个集合的最小超球体中心;最后,通过求平分两个中心的间隔最大超平面获得回归函数。两个仿真实验结果验证了所给算法的有效性和可行性。     

基于最大间隔最小体积超球支持向量机的多主题分类算法

针对多主题分类,结合最大间隔最小体积超球支持向量机和模糊理论,提出一种多主题最大间隔最小体积超球支持向量机来实现多主题分类.该算法首先基于最大间隔最小体积超球支持向量机,采用1-a-r方法训练子分类器,通过子分类器得到待分类样本的隶属度向量,再依据隶属度向量判定该待分类样本所属类别.实验结果表明,该算法具有较好的准确率、召回率、F1值.     

基于超球支持向量机的类增量学习算法研究

提出了一种超球支持向量机类增量学习算法.对每一类样本,利用超球支持向量机在特征空间中求得包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.类增量学习过程中,只对新增类样本进行训练,使得该算法在很小的样本集、很小的空间代价下实现了类增量学习,大大降低了训练时间,同时保留了历史训练结果.分类过程中,通过计算待分类样本到各超球球心的距离判定其所属类别,分类简单快捷.实验结果证明,该算法不仅具有较高的训练速度,而且具有较高的分类速度和分类精度.     

实现兼类样本类增量学习的一种算法

针对兼类样本,提出一种类增量学习算法.利用超球支持向量机,对每类样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.增量学习时,对新增样本以及旧样本集中的支持向量和超球附近的非支持向量进行训练,使得算法在很小的空闻代价下实现兼类样本类增量学习.分类过程中,根据待分类样本到各超球球心的距离判定其所属类别.实验结果表明,该算法具有较快的训练、分类速度和较高的分类精度.     

最大间隔最小体积球形支持向量机

结合支持向量机（ＳＶＭ）类间最大分类间隔和支持向量数据描述（ＳＶＤＤ）类内最小描述体积思想,提出一种新的学习机器模型———最大间隔最小体积球形支持向量机（ＭＭＨＳＶＭ）．模型建立两个大小不一的同心超球,将正负类样本分别映射到小超球内和大超球外,模型目标函数最大化两超球间隔,实现正负类类间间隔的最大化和各类类内体积的最小化,提高了模型的分类能力．理论分析和实验结果表明该算法是有效的．     

实现兼类样本增量学习的一种算法

针对兼类样本,提出一种增量学习算法.利用超球支持向量机,在特征空间对属于同一类别的样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.增量学习过程中,只对新增样本以及与新增样本具有相同兼类的旧样本集中的支持向量进行训练,且每次训练只针对一类样本,使得算法在很小的样本集、很小的空间代价下实现兼类样本增量学习,同时保留了与新增样本类别无关的历史训练结果.分类过程中,通过计算待分类样本到各超球球心的距离判定其所属类别,分类准确快捷.实验结果证明了该算法的有效性.     

基于最大分类间隔SVDD的电子装备状态监测模型研究

电子装备状态监测技术是装备健康管理的关键技术之一,为了对电子装备的健康状态进行有效监测,首先对模型性能评价指标进行了分析;然后对传统SVDD模型进行了研究,针对该模型只对目标类样本建模而导致分类准确率较低的问题,提出了一种基于最大分类间隔的SVDD监测模型;该模型在保证最小化包裹目标类样本数据超球体的同时,使得目标类样本和非目标类样本之间的类间间隔最大,提高了模型的泛化能力;最后以某型装备滤波电路为例进行了仿真分析,分析结果表明,该模型无论是在精度、召回率还是F值上均要优于传统SVDD模型。     

实现兼类样本类增量学习的一种算法

针对兼类样本,提出一种类增量学习算法.利用超球支持向量机,对每类样本求得一个能包围该类尽可能多样本的最小超球,使各类样本之间通过超球隔开.增量学习时"对新增样本以及旧样本集中的支持向量和超球附近的非支持向量进行训练,使得算法在很小的空间代价下实现兼类样本类增量学习.分类过程中,根据待分类样本到各超球球心的距离判定其所属类别.实验结果表明,该算法具有较快的训练,分类速度和较高的分类精度.

     

广义最大间隔球形支持向量机

针对多类分类问题,提出一种超球支持向量机算法——广义最大间隔球形支持向量机,该算法利用两同心超球将正负类样本分隔开来,最大化两超球半径的差异,从而挖掘正负类样本的鉴别信息,同时对超球类支持向量机算法判决规则进行改进,引入模糊隶属度补充判决,弥补二类分类器投票决策的缺陷.理论分析了算法的相关性质,通过仿真实验验证了该算法的有效性.     

最大间隔椭球形多类分类算法

针对多类分类问题中现有算法精度不高的问题,基于一类分类马氏椭球学习机,提出一种最大间隔椭球形多类分类算法,将每一类数据用超椭球来界定,数据空间由若干个超椭球组成,每个超椭球包围一类样本点,并以最大间隔排除不属于该类的样本点,该算法同时考虑了不同类样本点的协方差矩阵,即分布信息。真实数据上的实验结果表明该方法能提高分类精度。     

模糊最小包含球支持向量机

为提高支持向量机的模式分类性能,综合模糊支持向量机和球形支持向量机等方法,提出一种模糊最小包含球(FMEB)支持向量机,对于模式分类问题,通过引入模糊隶属度,寻找2个分别包含二类模式的同心最小包含球,使类间间隔最大化,同时二类模式类内分布最小化,从而增强泛化性和鲁棒性。实验结果证明FMEB的模式分类性能优于其他方法。     

生物信息学.基于少量异常数据的最大间隔新奇检测方法*

传统的新奇检测算法,往往仅利用占样本大多数的正常实例来构造分类器,少量的负类样本基本不能发挥作用。针对此问题,本文提出一种基于少量负类样本的最大间隔方法,基本思想是：先构造一个超球面,让它包含尽可能多的正常实例,同时,球表面到正常实例之间的间隔越大越好,从而得到一个围绕正常实例的闭合而又紧贴异常实例的分类边界。去建立这样的超球面,我们只需要去解决一个凸的最优化问题,而这个最优化问题可以通过对传统支持向量机模型的稍加改变来实现。本文在机器故障检测,医疗诊断,阿拉伯数字识别等数据集上进行了仿真实验,实验结果表明该方法能够有效的提高检测率,降低误报率;同时五倍交叉验证训方法新提高了检测的稳定性。     

基于闭凸包收缩的最大边缘线性分类器

SVM(support vector machines)是一种基于结构风险最小化原理的分类技术.给出实现结构风险最小化原理(最大边缘)的另一种方法.对线性可分情形,提出一种精确意义下的最大边缘算法,并通过闭凸包收缩的概念,将线性不可分的情形转化为线性可分情形.该算法与SVM算法及其Cortes软边缘算法异曲同工,但理论体系简单、严谨,其中的优化问题几何意义清楚、明确.     

基于相似压缩的近似线性SVM

为了解决模式识别中的近似线性可分问题,提出了一种新的近似线性支持向量机(SVM).首先对近似线性分类中的训练集所形成的两类凸壳进行了相似压缩,使压缩后的凸壳线性可分;基于压缩后线性可分的凸壳,再用平分最近点和最大间隔法求出最优的分划超平面.然后再通过求解最大间隔法的对偶问题,得到基于相似压缩的近似线性SVM.最后,从理论和实证分析两个方面,将该方法与线性可分SVM及推广的平分最近点法进行了对比分析,说明了该方法的优越性与合理性.     

Variant of Gaussian kernel and parameter setting method for nonlinear SVM

The classification problem by the nonlinear support vector machine (SVM) with kernel function is discussed in this paper. Firstly, the stretching ratio is defined to analyze the performance of the kernel function, and a new type of kernel function is introduced by modifying the Gaussian kernel. The new kernel function has many properties as good as or better than Gaussian kernel: such as its stretching ratio is always lager than 1, and its implicit kernel map magnifies the distance between the vectors in local but without enlarging the radius of the circumscribed hypersphere that includes the whole mapping vectors in feature space, which maybe gets a bigger margin. Secondly, two aspects are considered to choose a good spread parameter for a given kernel function approximately and easily. One is the distance criterion which minimizes the sum-square distance between the labeled training sample and its own center and maximizes the sum-square distance between the training sample and the other labeled-center, which is equivalent to the famous Fisher ratio. The other is the angle criterion which minimizes the angle between the kernel matrix and the target matrix. Then a better criterion is given by combined those aspects. Finally, some experiments show that our methods are efficient.     

Large-margin nearest neighbor classifiers via sample weight learning

The nearest neighbor classification is a simple and yet effective technique for pattern recognition. Performance of this technique depends significantly on the distance function used to compute similarity between examples. Some techniques were developed to learn weights of features for changing the distance structure of samples in nearest neighbor classification. In this paper, we propose an approach to learning sample weights for enlarging margin by using a gradient descent algorithm to minimize margin based classification loss. Experimental analysis shows that the distances trained in this way reduce the loss of the margin and enlarge the hypothesis margin on several datasets. Moreover, the proposed approach consistently outperforms nearest neighbor classification and some other state-of-the-art methods.     

基于后验概率的支持向量机

在支持向量机(support vector machines,SVM)中,训练样本总是具有明确的类别信息,而对于一些不确定性问题并不恰当．受贝叶斯决策规则的启发,利用样本的后验概率来表示这种不确定性．将贝叶斯决策规则与SVM相结合,建立后验概率支持向量机(posteriori probability support vector machine,PPSVM)的体系框架．并详细讨论线性可分性、间隔、最优超平面以及软间隔算法,得到了一个新的优化问题,同时给出了一个支持向量的新定义．实际上,后验概率支持向量机是建立于统计学习理论(statistical learning theory)基础之上,是标准SVM的扩展．针对数据,还提出了一个确定后验概率的经验性方法．实验也证明了后验概率支持向量机的合理性、有效性．