基于类内散度的粗糙one-class支持向量机

粗糙one-class支持向量机(ROC-SVM)在粗糙集理论基础上通过构建粗糙上超平面和下超平面来处理过拟合问题,但是在寻找最优分类超平面的过程中,忽略了训练样本类内结构这一非常重要的先验知识。因此,提出了一种基于类内散度的粗糙one-class支持向量机(WSROC-SVM),该方法通过最小化训练样本类内散度来优化训练样本类内结构,一方面使训练样本在高维特征空间中与坐标原点的间隔尽可能大,另一方面使得训练样本在粗糙上超平面尽可能紧密。在合成数据集和UCI数据集上的实验结果表明,较原始算法,该方法有着更高的识别率和更好的泛化性能,在解决实际分类问题上更具优越性。     

基于改进单类支持向量机的工业控制网络入侵检测方法

针对单类支持向量机（OCSVM）入侵检测方法无法检测内部异常点和离群点导致决策函数偏离训练样本的问题,提出了一种结合具有噪声的密度聚类（DBSCAN）方法和K-means方法的OCSVM异常入侵检测算法。首先通过DBSCAN算法,剔除训练数据中的离群点,消除离群点的影响;然后利用K-means划分数据类簇的方法筛选出内部异常点;最后利用OCSVM算法为每一个类簇建立单分类器用于检测异常数据。工控网络数据集上的实验结果表明,该组合分类器能够利用无异常数据样本检测出工控网络入侵,并且提高了OCSVM方法的检测效果。在气体管道网络数据集入侵检测实验中,所提方法的总体检测率为91.81%;而原始OCSVM算法则为80.77%。     

基于混合采样的非平衡数据分类算法

过采样和欠采样方法是处理非平衡数据集分类的常用方法,但使用单一的采样算法可能造成少数类样本过拟合或者丢失含有重要信息的样本。提出了基于分类超平面的混合采样算法SVM_HS(hybrid sampling algorithm based on support vector machine),旨在克服SVM算法在处理非平衡数据时分类超平面容易偏向少数类样本的问题。该算法首先利用SVM算法得到分类超平面。然后迭代进行混合采样,主要包括:(1)删除离分类超平面较远的一些多数类样本;(2)对靠近真实类边界的少数类样本用SMOTE(synthetic minority oversampling technique)过采样,使分类超平面向着真实类边界方向偏移。实验结果表明相比其他相关算法,该算法的F-value值和G-mean值均有较大提高。     

粗糙one-class支持向量机

粗糙集理论是处理不确定性和不完备信息的重要方法之一.通过将粗糙集理论引入到one-class支持向量机,提出了一种新颖的粗糙one-class支持向量机.通过定义上近似超平面和下近似超平面,使得训练样本能根据在粗糙间隔中的位置,自适应地对决策超平面产生影响.并且,outlier样本由于距离上近似超平面较近并产生较小的间隔误差,不会导致决策超平面对它们产生明显的过拟合.实验结果表明,粗糙one-class支持向量机的泛化性能优异,识别率和误识率均优于传统的one-class支持向量机.     

从多角度分析现有聚类算法

聚类是数据挖掘中研究的重要问题之一.聚类分析就是把数据集分成簇,以使得簇内数据尽量相似,簇间数据尽量不同.不同的聚类方法采用不同的相似测度和技术.从以下3个角度分析现有流行聚类算法: (1)聚类尺度; (2)算法框架; (3)簇的表示.在此基础上,分析了一些综合或概括了一些其他方法的算法.由于分析从3个角度进行,所提出的方法能够涵盖,并区分绝大多数现有聚类算法.所做的工作是自调节聚类方法以及聚类基准测试研究的基础.     

基于中间分类超平面的SVM入侵检测

在网络入侵检测中,大规模数据集会导致支持向量机(SVM)方法训练时间长、检测速度慢。针对该问题,提出一种基于中间分类超平面的SVM入侵检测方法。通过对正常和攻击样本的聚类分析,定义聚类簇中心的边界面接近度因子,实现对标准SVM二次式的改进;用簇中心对其训练,获取一个接近最优超平面的中间分类超平面;确定距离阈值,以选取潜在支持向量,实现训练样本的缩减。在KDDCUP1999数据集上进行实验,结果表明,与聚类支持向量机方法相比,该方法能简化训练样本,提高SVM的训练和检测速度。     

基于深度集成学习的类极度不均衡数据信用欺诈检测算法

信用欺诈数据分布极度不均衡时,信息失真、周期性统计误差和报告偏倚所产生的噪声错误对训练模型干扰凸显,且易产生过拟合现象.鉴于此,提出一种深度信念神经网络集成算法来解决类极度不均衡的信用欺诈问题.首先,提出双向联合采样算法克服信息缺失和过拟合问题;然后,构造2阶段基分类器簇,针对支持向量机(support vector machine,SVM)对不均衡数据分布所表现的分类超平面向少数类偏移问题,利用增强(boosting)算法生成SVM与随机森林(random forest,RF)结合的基分类器簇;利用深度信念网络(deep belief network,DBN)整合基分类器簇的多元预测,输出分类结果.考虑传统精度评价指标过度关注多数类样本,忽视信用欺诈存在违约损失高于利息收益事实,引入成本-效益指数兼顾正类和负类样本的识别能力,提高模型对少数类样本预测精度.通过对欧洲信用卡欺诈数据检测发现,相比于其他相关算法成本效益指数均值提高3个百分点,同时,实验比较样本不均衡比例对算法精度影响,结果表明在处理极端不均衡数据时所提算法效果更优.     

基于one-class SVM与融合多可视化特征的可通行区域检测

针对难以获取完备的非可通行区域样本问题,为提高算法在不同场景的适应性,首次把可通行性检测看作单类分类问题,提出了基于one-class SVM的可通行区域检测算法.提出一种改进的融合颜色和纹理的特征提取方法,对各颜色分量进行离散余弦变换(DCT)变换,对DCT系数进行金字塔分解,用每个分解的均值和方差描述特征窗口.利用...     

适用于不平衡数据集分类的改进SVM算法

在分析了传统支持向量机(SVM)对不平衡数据的学习缺陷后,提出了一种改进SVM算法,采用自适应合成(ADASYN)采样技术对数据集进行部分重采样,增加少类样本的数量;对不同的样本点分配不同的权重,减弱噪声对训练结果的影响;使用基于代价敏感的SVM算法训练,缓解不平衡数据对超平面造成的偏移.选择UCI数据库中的6组不平衡数据集进行测试,实验结果表明:在各个数据集上改进SVM算法的性能优于其他算法,并在少类准确率和多类准确率上取得了很好的平衡.     

基于识别关键样本点的非平衡数据核SVM算法

非平衡数据处理中常采用的欠采样方法很少考虑支持向量机(SVM)的特性,并且在原始空间进行采样会导致多数类样本部分关键信息的丢失.针对上述问题,文中提出基于识别关键样本点的非平衡数据核SVM算法.基于初始超平面有效划分多数类样本,在高维空间中对每个分块进行核异类近邻抽样,得到多数类中的关键样本点,使用关键样本点和少数类样本训练最终核SVM分类器.在多个数据集上的实验证明文中算法的可行性和有效性,特别是在非平衡度高于10∶1的数据集上,文中算法优势明显.     

p-Margin Kernel Learning Machine with Magnetic Field Effect for Both Binary Classification andNovelty Detectio

A novel p-margin kernel learning machine (p-MKLM) with magnetic field effect is proposed in allusion to pattern classification problem in this paper. In the Mercer induced feature space, p-MKLM can effectively resolve one-class/binary classification problems. By introducing an adjustable magnetic field density q, the basic idea of p-MKLM is to find an optimal hyperplane with magnetic field effect such that the distance between one class and the hyperplane is as small as possible due to the magnetic attractive effect, while at the same time the margin between the hyperplane and the other class is as large as possible due to magnetic repulsion, thus implementing both maximum between-class margin and minimum within-class volume so as to improve the generalization capability of the proposed method. To construct such a hyperplane with magnetic field effect, it is only needed to solve a convex quadratic programming problem which can be effciently solved with the off-the- shelf software packages for training learning machine. Experimental results obtained with benchmarking datasets show that the proposed algorithm is effective and competitive to other related methods in such cases as two-class and one-class (or novelty detection) pattern classification respectively.     

改进LPU用于蛋白质功能预测

本文将蛋白质功能预测定义为典型的LPU问题。针对有很少正例的LPU算法存在的不平衡或过拟合问题,提出了基于最近邻和凸组合理论的创建人工正例扩充正例集合的方法,同时使用一类支持向量机获取初始最可能的负例,通过迭代两类支持向量机将分类超平面移到一个合适的位置,由交叉验证获得代表性的负例,从而改进了典型LPU算法学习最优分类器的过程。针对酵母基因组数据的实验表明：我们的算法在很少正例的功能类上的预测性能有显著提高,在其他类上的性能也有一定的改善。     

基于样本不平衡与视觉多样性的超平面偏移法

在基于内容的图像检索中,支持向量机（SVM）的分类性能不仅受到样本不平衡的影响,而且由于图像的视觉多样性,导致在分类超平面附近找不到正例样本,无法提高分类器性能。针对上述问题,提出一种二阶段的SVM超平面偏移方法。根据样本的不平衡性进行超平面的相对偏移,使得当前超平面向理论的最优超平面移动,以此为基础进行相关反馈,并根据反馈结果运用超平面三原则对当前的偏移超平面再进行偏移,以解决图像的视觉多样性问题,从而得到能够提高检索精度的分类超平面。实验结果证明,与基于SVM的标准图像检索方法相比,该方法能大幅提升样本集的分类性能,使图像的检索精度平均提高16％。     

η-one-class问题和η-outlier及其LP学习算法

用SVM方法研究one-class和outlier问题．在将one-class问题理解为一种函数估计问题的基础上，作者首次定义了η-one-class和η-outlier问题的泛化错误，进而定义了线性可分性和边缘，得到了求解one-class问题的最大边缘、软边缘和v-软边缘算法．这些学习算法具有统计学习理论依据并可归结为求解线性规划问题．算法的实现采用与boosting类似的思路．实验结果表明该文的算法是有实际意义的．     

针对不确定正例和未标记学习的最近邻算法(英文)

研究了在正例和未标记样本场景下不确定样本的分类问题,提出了一种新的算法NNPU(nearest neighbor algorithm for positive and unlabeled learning)。NNPU具有两种实现方式:NNPUa和NNPUu。在UCI标准数据集上的实验结果表明,充分考虑数据不确定信息的NNPUu算法要比仅仅考虑样本中不确定信息均值的NNPUa算法具有更好的分类能力;同时,NNPU算法在对精确数据进行分类时,比NN-d、OCC以及aPUNB算法性能更优。     

Temporal video segmentation by event detection: A novelty detection approach

Temporal segmentation of videos into meaningful image sequences containing some particular activities is an interesting problem in computer vision. We present a novel algorithm to achieve this semantic video segmentation. The segmentation task is accomplished through event detection in a frame-by-frame processing setup. We propose using one-class classification (OCC) techniques to detect events that indicate a new segment, since they have been proved to be successful in object classification and they allow for unsupervised event detection in a natural way. Various OCC schemes have been tested and compared, and additionally, an approach based on the temporal self-similarity maps (TSSMs) is also presented. The testing was done on a challenging publicly available thermal video dataset. The results are promising and show the suitability of our approaches for the task of temporal video segmentation.     

一种基于L2-SVM 的多视角核心向量机

核化一类硬划分SVDD、一/二类L2-SVM、L2 支持向量回归和Ranking SVM均已被证明是中心约束最小包含球. 这里将多视角学习引入核化L2-SVM, 提出核化两类多视角L2-SVM (Multi-view L2-SVM), 并证明该核化两类Multi-view L2-SVM 亦为中心约束最小包含球, 进而提出一种多视角核心向量机MvCVM. 所提出的Multi-view L2-SVM 和MvCVM既考虑了视角之间的差异性, 又考虑了视角之间的关联性, 使得分类器在各个视角上的学习结果趋于一致. 人造多视角数据集和真实多视角数据集的实验均表明了Multi-view L2-SVM 和MvCVM方法的有效性.

     

基于One-class SVM的实时入侵检测系统

将One-class支持向量机和Online训练算法应用于入侵检测研究中，把入侵检测看作是一种单值分类问题，能够在有噪声的数据集中进行训练，降低了对训练集的要求，提高了检测准确性。同时解决了基于SVM的入侵检测系统实时训练的问题，在实际运用中可以实时地添加新的训练样本对新出现的攻击手段进行分类。在KDD CUP’99标准入侵检测数据集上进行实验，系统缩短了训练时间并且获得了较高的检测准确率。     

Kernel fisher discriminants for outlier detection

The problem of detecting atypical objects or outliers is one of the classical topics in (robust) statistics. Recently, it has been proposed to address this problem by means of one-class SVM classifiers. The method presented in this letter bridges the gap between kernelized one-class classification and gaussian density estimation in the induced feature space. Having established the exact relation between the two concepts, it is now possible to identify atypical objects by quantifying their deviations from the gaussian model. This model-based formalization of outliers overcomes the main conceptual shortcoming of most one-class approaches, which, in a strict sense, are unable to detect outliers, since the expected fraction of outliers has to be specified in advance. In order to overcome the inherent model selection problem of unsupervised kernel methods, a cross-validated likelihood criterion for selecting all free model parameters is applied. Experiments for detecting atypical objects in image databases effectively demonstrate the applicability of the proposed method in real-world scenarios.