KSVDD及其在拒识判别中的应用

为提高支持向量域分类器(SVDC)的分类精度和鲁棒性,提出基于K近邻(KNN)和支持向量域描述(SVDD)的分类器KNN-SVDD (KSVDD)。该分类器对单类内部的样本采用SVDD的判别准则,对类交叉区域及描述边界外的样本采用KNN的判别准则。通过拒绝描述边界外的样本,KSVDD可应用于拒识判别。UCI数据集上的数值实验表明,KSVDD分类精度与支持向量机(SVM)相当且均比SVDC高,训练时间比SVM短,鲁棒性强,在拒识判别中有良好表现。     

单类支持向量机的研究进展

单类支持向量机是一种用途广泛的分类器,它能够应用于负类样本难以收集的领域中,如入侵检测、故障检测与诊断和遥感数据分类等领域。因此无论在理论研究还是实际应用方面,单类支持向量机受到越来越多的关注。回顾单类支持向量机的两种主要方法,阐述各种关于单类支持向量机的改进,包括使用未标号数据、选择样本点以及修改优化目标。对单类支持向量机做了总结。     

最大间隔最小体积球形支持向量机

结合支持向量机（ＳＶＭ）类间最大分类间隔和支持向量数据描述（ＳＶＤＤ）类内最小描述体积思想,提出一种新的学习机器模型———最大间隔最小体积球形支持向量机（ＭＭＨＳＶＭ）．模型建立两个大小不一的同心超球,将正负类样本分别映射到小超球内和大超球外,模型目标函数最大化两超球间隔,实现正负类类间间隔的最大化和各类类内体积的最小化,提高了模型的分类能力．理论分析和实验结果表明该算法是有效的．     

超球体多类支持向量机理论

目前的多类分类器大多是经二分类器组合而成的,存在训练速度较慢的问题,在分类类别多的时候,会遇到很大困难,超球体多类支持向量机将超球体单类支持向量机扩展到多类问题,由于每类样本只参与一个超球体支持向量机的训练.因此,这是一种直接多类分类器,训练效率明显提高.为了有效训练超球体多类支持向量机,利用SMO算法思想,提出了超球体支持向量机的快速训练算法.同时对超球体多类支持向量机的推广能力进行了理论上的估计.数值实验表明,在分类类别较多的情况,这种分类器的训练速度有很大提高,非常适合解决类别数较多的分类问题.超球体多类支持向量机为研究快速直接多类分类器提供了新的思路.     

多类支持向量机文本分类方法

文本分类是数据挖掘的基础和核心,支持向量机(SVM)是解决文本分类问题的最好算法之一.传统的支持向量机是两类分类问题,如何有效地将其推广到多类分类问题仍是一项有待研究的课题.介绍了支持向量机的基本原理,对现有主要的多类支持向量机文本分类算法进行了讨论和比较.提出了多类支持向量机文本分类中存在的问题和今后的发展.     

多类支持向量机分类器对比研究

为了解决多类支持向量机的选型问题,降低多类分类问题的难度,对4种常用的多类支持向量机进行了对比研究。从多类支持向量机的构造原理出发,对多类支持向量机的训练复杂度、测试复杂度和分类准确率进行了理论分析。在此基础上,利用标准数据集对多类支持向量机进行试验分析,结果表明,导向无环图支持向量机的分类准确率最高,二叉树支持向量机的实时性最优。     

模糊大间隔最小超球模型*

针对当前异常检测方法面临的分类性能有限以及分类结果易受噪声影响等问题,在分析当前异常检测方法的基础上,提出模糊大间隔最小超球模型FMHM。该模型引入模糊理论,在一定程度上减少噪声对分类结果的影响;正常样本与奇异样本之间的间隔最大化确保错分率最小。标准UCI数据集上的比较实验表明,较之单类支持向量机OCSVM、支持向量数据描述SVDD、K近邻KNN等算法,本文所提方法FMHM在异常检测方面具有一定优势。     

多类支持向量机文本分类方法

文本分类是数据挖掘的基础和核心,支持向量机（SVM）是解决文本分类问题的最好算法之一。传统的支持向量机是两类分类问题,如何有效地将其推广到多类分类问题仍是一项有待研究的课题。介绍了支持向量机的基本原理,对现有主要的多类支持向量机文本分类算法进行了讨论和比较。提出了多类支持向量机文本分类中存在的问题和今后的发展。     

基于多类支持向量机的棉花异性纤维分类方法

提出一种基于多类支持向量机的棉花异性纤维分类方法,以期解决棉花异性纤维的在线分类难题。该方法首先对异性纤维目标图像进行颜色、形状和纹理特征提取,形成用于精确描述异性纤维目标的特征向量;然后分别构建3种不同体系结构的多类支持向量机用于棉花异性纤维的分类;最后采用交叉验证法对所构建的3种多类支持向量机进行测试。测试结果表明,基于有向无环图的一对一多类支持向量机在分类精度和分类速度上更适合用于棉花异性纤维在线分类。     

最大间隔最小体积球形支持向量机

结合支持向量机（ＳＶＭ）类间最大分类间隔和支持向量数据描述（ＳＶＤＤ）类内最小描述体积思想,提出一种新的学习机器模型———最大间隔最小体积球形支持向量机（ＭＭＨＳＶＭ）．模型建立两个大小不一的同心超球,将正负类样本分别映射到小超球内和大超球外,模型目标函数最大化两超球间隔,实现正负类类间间隔的最大化和各类类内体积的最小化,提高了模型的分类能力．理论分析和实验结果表明该算法是有效的．

     

基于RST修正核单类SVM的程序行为控制系统

程序行为控制系统对程序行为进行建模、检测和响应。单类支持向量机(SVM)在有限样本的情况下用于异常检测,具有较好的分类精度和泛化能力。针对以前利用单类支持向量机进行异常检测的研究中没有考虑属性权重的问题,该文提出利用粗糙集理论(RST),引入反映属性重要性程度的权重值。给出通过找出决策系统中所有约简的集合确定属性权重的方法,并利用属性权重修正单类SVM的核函数。实验表明基于RST修正核的单类SVM具有更好的检测能力。     

马田系统与SVM相集成的模式识别技术研究

为了解决现有马田系统阈值确定方法的不足,基于超球面支持向量机算法,构建了单类及二类超椭球面支持向量机算法,并理论上证明了此算法可转换为二次规划模型。推导了基于超椭球面支持向量机的马田系统阈值确定公式。将所提出的方法应用于故障诊断,得到了较高的判别正确率。     

General support vector representation machine for one-class classification of non-stationary classes

Novelty detection, also referred to as one-class classification, is the process of detecting ‘abnormal’ behavior in a system by learning the ‘normal’ behavior. Novelty detection has been of particular interest to researchers in domains where it is difficult or expensive to find examples of abnormal behavior (such as in medical/equipment diagnosis and IT network surveillance). Effective representation of normal data is of primary interest in pursuing one-class classification. While the literature offers several methods for one-class classification, very few methods can support representation of non-stationary classes without making stringent assumptions about the class distribution. This paper proposes a one-class classification method for non-stationary classes using a modified support vector machine and an efficient online version for reducing computational time. The presented method is applied to several simulated datasets and actual data from a drilling machine. In addition, we present comparison results with other methods that demonstrate its superior performance.     

特征选择在隐秘图像检测中的应用

提出一种基于遗传算法和多超球面一类支持向量机的隐秘图像检测方案。为了得到最能反映分类本质的特征从而有效实现分类识别,采用遗传算法进行图像特征选择,将支持向量机的分类效果作为适应度函数值返回,指导遗传算法搜索最优的特征选择方案。实验结果表明,与仅采用支持向量机分类而未进行特征选择的隐秘检测方案相比,该方案提高了隐秘图像检测的识别率。     

一种基于L2-SVM 的多视角核心向量机

核化一类硬划分SVDD、一/二类L2-SVM、L2 支持向量回归和Ranking SVM均已被证明是中心约束最小包含球. 这里将多视角学习引入核化L2-SVM, 提出核化两类多视角L2-SVM (Multi-view L2-SVM), 并证明该核化两类Multi-view L2-SVM 亦为中心约束最小包含球, 进而提出一种多视角核心向量机MvCVM. 所提出的Multi-view L2-SVM 和MvCVM既考虑了视角之间的差异性, 又考虑了视角之间的关联性, 使得分类器在各个视角上的学习结果趋于一致. 人造多视角数据集和真实多视角数据集的实验均表明了Multi-view L2-SVM 和MvCVM方法的有效性.

     

HL-Isomap+SVM在网络入侵检测中的应用

支持向量机所具有的处理小样本和良好的推广能力的优势,在入侵检测中得到了广泛应用。考虑到数据特征的高维性和冗余性,特征提取是一个关键步骤。采用非线性流形学习算法L-Isomap对入侵检测数据进行特征选择,然后应用one-class SVM训练并识别异常。通过将异构值差度量（HVDM）距离代替欧几里德距离提出了HL-Isomap。选用KDD数据集来比较上述不同模型,实验结果表明了降维方法的有效性,尤其是误警率性能得到了显著的提高。     

基于多示例学习框架的文本分类算法

针对有特殊结构的文本,传统的文本分类算法已经不能满足需求,为此提出一种基于多示例学习框架的文本分类算法。将每个文本当作一个示例包,文本中的标题和正文视为该包的两个示例;利用基于一类分类的多类分类支持向量机算法,将包映射到高维特征空间中;引入高斯核函数训练分类器,完成对无标记文本的分类预测。实验结果表明,该算法相较于传统的机器学习分类算法具有更高的分类精度,为具有特殊文本结构的文本挖掘领域研究提供了新的角度。     

Constructing boosting algorithms from SVMs: an application toone-class classification

We show via an equivalence of mathematical programs that a support vector (SV) algorithm can be translated into an equivalent boosting-like algorithm and vice versa. We exemplify this translation procedure for a new algorithm: one-class leveraging, starting from the one-class support vector machine (1-SVM). This is a first step toward unsupervised learning in a boosting framework. Building on so-called barrier methods known from the theory of constrained optimization, it returns a function, written as a convex combination of base hypotheses, that characterizes whether a given test point is likely to have been generated from the distribution underlying the training data. Simulations on one-class classification problems demonstrate the usefulness of our approach     

Pulse-coupled neural networks and one-class support vector machines for geometry invariant texture retrieval

The pulse-coupled neural network (PCNN) has been widely used in image processing. The outputs of PCNN represent unique features of original stimulus and are invariant to translation, rotation, scaling and distortion, which is particularly suitable for feature extraction. In this paper, PCNN and intersecting cortical model (ICM), which is a simplified version of PCNN model, are applied to extract geometrical changes of rotation and scale invariant texture features, then an one-class support vector machine based classification method is employed to train and predict the features. The experimental results show that the pulse features outperform of the classic Gabor features in aspects of both feature extraction time and retrieval accuracy, and the proposed one-class support vector machine based retrieval system is more accurate and robust to geometrical changes than the traditional Euclidean distance based system.     

基于类内散度的粗糙one-class支持向量机

粗糙one-class支持向量机(ROC-SVM)在粗糙集理论基础上通过构建粗糙上超平面和下超平面来处理过拟合问题,但是在寻找最优分类超平面的过程中,忽略了训练样本类内结构这一非常重要的先验知识。因此,提出了一种基于类内散度的粗糙one-class支持向量机(WSROC-SVM),该方法通过最小化训练样本类内散度来优化训练样本类内结构,一方面使训练样本在高维特征空间中与坐标原点的间隔尽可能大,另一方面使得训练样本在粗糙上超平面尽可能紧密。在合成数据集和UCI数据集上的实验结果表明,较原始算法,该方法有着更高的识别率和更好的泛化性能,在解决实际分类问题上更具优越性。