基于中间分类超平面的SVM入侵检测

在网络入侵检测中,大规模数据集会导致支持向量机(SVM)方法训练时间长、检测速度慢。针对该问题,提出一种基于中间分类超平面的SVM入侵检测方法。通过对正常和攻击样本的聚类分析,定义聚类簇中心的边界面接近度因子,实现对标准SVM二次式的改进;用簇中心对其训练,获取一个接近最优超平面的中间分类超平面;确定距离阈值,以选取潜在支持向量,实现训练样本的缩减。在KDDCUP1999数据集上进行实验,结果表明,与聚类支持向量机方法相比,该方法能简化训练样本,提高SVM的训练和检测速度。     

基于快速SVM的大规模网络流量分类方法

支持向量机方法具有良好的分类准确率、稳定性与泛化性,在网络流量分类领域已有初步应用,但在面对大规模网络流量分类问题时却存在计算复杂度高、分类器训练速度慢的缺陷。为此,提出一种基于比特压缩的快速SVM方法,利用比特压缩算法对初始训练样本集进行聚合与压缩,建立具有权重信息的新样本集,在损失尽量少原始样本信息的前提下缩减样本集规模,进一步利用基于权重的SVM算法训练流量分类器。通过大规模样本集流量分类实验对比,快速SVM方法能在损失较少分类准确率的情况下,较大程度地缩减流量分类器的训练时间以及未知样本的预测时间,同时,在无过度压缩前提下,其分类准确率优于同等压缩比例下的随机取样SVM方法。本方法在保留SVM方法较好分类稳定性与泛化性能的同时,有效提升了其应对大规模流量分类问题的能力。     

稀疏Tikhonov正则化多分类支持向量机

Tikhonov正则化多分类支持向量机是一种将多分类问题简化为单个优化问题的新型支持向量机.由于Tikhonov正则化多分类支持向量机利用全部类别数据样本构建核函数矩阵,因此不适合大规模数据集的模式分类问题,鉴于该原因,一种稀疏Tikhonov正则化多分类支持量机被建立,其训练算法首先构建样本重要性评价标准,在标准下通过迭代学习获取约简集,最后利用约简集构建核函数矩阵并训练支持向量机.仿真实验结果表明稀疏Tikhonov正则化多分类支持向量机在训练速度和稀疏性方面具有很大的优越性.     

基于核函数的支持向量机样本选取算法

使用支持向量机求解大规模数据分类需要较大内存来存储Hessian矩阵,而矩阵的大小则依赖于样本数1,因此在一定程度上导致支持向量机分类效率及质量难以提高.考虑到只有成为支持向量的样本才对决策函数起作用,为了减少训练样本时所需空间及时间开销,提高支持向量机分类效率与质量,提出了一种基于核函数的样本选取算法.该算法通过选取最大可能成为支持向量的样本,以达到减少训练时存储Hessian矩阵所需空间及时间开销的目的.实验结果表明,该算法所筛选出的样本不仅可以提高样本训练准确率,而且可以提高分类计算速度和减少存储空间开销.     

基于改进支持向量机的货币识别研究

首先,预抽取支持向量以减少训练样本数量,大大缩减训练时间;然后,用缩减后的样本对改进后的分类支持向量机进行货币识别.改进后的支持向量机不仅把目标函数惩罚项模糊化,而且还对分类情况进行了加权补偿.实验仿真结果表明:此方法避免了神经网络的"过拟合"问题,而且比改进后BP、LVQ和GMM模型等方法的识别率都有所提高,当训练样本数达到100时,识别率高达99-06%.     

改进的结合密度聚类的SVM快速分类方法

针对SVM在对大规模数据分类时求解规模过大的问题,提出了一种缩减数据集以提高训练速度的方法。该算法的第一步利用基于密度的方法大致定位能代表某个局域的质点,然后用SVM训练缩减后的数据得到一组支持向量,第二步的训练数据由支持向量以及其所代表的样本点构成。仿真实验证明该算法在保证分类准确率的情况下能有效地提高分类速度。     

有向无环图-双支持向量机的多类分类方法

针对多分类支持向量机算法中的低效问题和样本不平衡问题,提出一种有向无环图-双支持向量机DAG-TWSVM(directed acyclic graph and twin support vector machine)的多分类方法。该算法综合了双支持向量机和有向无环图支持向量机的优势,使其不仅能够得到较好的分类精度,同时还能够大大缩减训练时间。在处理较大规模数据集多分类问题时,其时间优势更为突出。采用UCI(University of California Irvine)机器学习数据库和Statlog数据库对该算法进行验证,实验结果表明,有向无环图-双支持向量机多分类方法在训练时间上较其他多分类支持向量机大大缩短,且在样本不平衡时的分类性能要优于其他多分类支持向量机,同时解决了经典支持向量机一对一多分类算法可能存在的不可分区域问题。     

核空间结合样本中心角度的大规模支持向量机

为了提高支持向量机在大规模数据集处理时的精度,提出了基于核空间和样本中心角度的支持向量机算法.在核特征空间下,求得原训练集的两类中心点和两个中心点的超法平面,并获取原训练集样本到超法平面距离和到两中心点中点的比值,用比值最小的n个样本点替代训练集.给出的数学模型显示,该算法不需要计算核空间,比现有的同类缩减策略保留了更多的支持向量数目.结合实例对算法进行了仿真实验,实验结果表明,与同类算法相比,该算法在基本没有降低训练速度的情况下获得了更准确的训练精度.     

快速支持向量机增量学习算法

支持向量机对数据的学习往往因为规模过大造成学习困难,增量学习通过把数据集分割成历史样本集和新增样本集,利用历史样本集的几何分布信息,通过定义样本的遗忘因子,提取历史样本集中的那些可能成为支持向量的边界向量进行初始训练.在增量学习过程中对学习样本的知识进行积累,有选择地淘汰学习样本.实验结果表明,该算法在保证学习的精度和推广能力的同时,提高了训练速度,适合于大规模分类和在线学习问题.     

针对大规模训练集的支持向量机的学习策略

当训练集的规模很大特别是支持向量很多时．支持向量机的学习过程需要占用大量的内存，寻优速度非常缓慢，这给实际应用带来了很大的麻烦．该文提出了一种针对大规模样本集的学习策略：首先用一个小规模的样本集训练得到一个初始的分类器，然后用这个分类器对大规模训练集进行修剪，修剪后得到一个规模很小的约减集，再用这个约减集进行训练得到最终的分类器．实验表明，采用这种学习策略不仅大幅降低了学习的代价，而且这样获得的分类器的分类精度完全可以与直接通过大规模样本集训练得到的分类器的分类精度相媲美，甚至更优，同时分类速度也得到大幅提高．     

基于样本缩减的支持向量机在流分类中的应用

网络流量分类对提高网络服务质量有着非常重要的作用.基于机器学习的网络流量分类中,海量的样本为训练带来了效率瓶颈.论文介绍了SVM算法原理,建立基于改进类别质心的样本缩减策略,并进行实验验证.结果表明,利用缩减样本的SVM训练时间仅为在原样本下训练时间的2％,且分类精度基本不变,证明了样本缩减策略的可行性和有效性.     

基于OC-SVM的大型数据集分类方法

支持向量机是最有效的分类技术之一,具有很高的分类精度和良好的泛化能力,但其应用于大型数据集时的训练过程还是非常复杂。对此提出了一种基于单类支持向量机的分类方法。采用随机选择算法来约简训练集,以达到提高训练速度的目的;同时,通过恢复超球体交集中样本在原始数据中的邻域来保证支持向量机的分类精度。实验证明,该方法能在较大程度上减小计算复杂度,从而提高大型数据集中的训练速度。     

Force based tool wear monitoring system for milling process based on relevance vector machine

The monitoring of tool wear status is paramount for guaranteeing the workpiece quality and improving the manufacturing efficiency. In some cases, classifier based on small training samples is preferred because of the complex tool wear process and time consuming samples collection process. In this paper, a tool wear monitoring system based on relevance vector machine (RVM) classifier is constructed to realize multi categories classification of tool wear status during milling process. As a Bayesian algorithm alternative to the support vector machine (SVM), RVM has stronger generalization ability under small training samples. Moreover, RVM classifier results in fewer relevance vectors (RVs) compared with SVM classifier. Hence, it can be carried out much faster compared to the SVM. To show the advantages of the RVM classifier, milling experiment of Titanium alloy was carried out and the multi categories classification of tool wear status under different numbers of training samples and test samples are realized by using SVM and RVM classifier respectively. The comparison of SVM with RVM shows that the RVM can get more accurate results under different number of small training samples. Moreover, the speed of classification is faster than SVM. This method casts some new lights on the industrial environment of the tool condition monitoring.     

A fast classification strategy for SVM on the large-scale high-dimensional datasets

The challenges of the classification for the large-scale and high-dimensional datasets are: (1) It requires huge computational burden in the training phase and in the classification phase; (2) it needs large storage requirement to save many training data; and (3) it is difficult to determine decision rules in the high-dimensional data. Nonlinear support vector machine (SVM) is a popular classifier, and it performs well on a high-dimensional dataset. However, it easily leads overfitting problem especially when the data are not evenly distributed. Recently, profile support vector machine (PSVM) is proposed to solve this problem. Because local learning is superior to global learning, multiple linear SVM models are trained to get similar performance to a nonlinear SVM model. However, it is inefficient in the training phase. In this paper, we proposed a fast classification strategy for PSVM to speed up the training time and the classification time. We first choose border samples near the decision boundary from training samples. Then, the reduced training samples are clustered to several local subsets through MagKmeans algorithm. In the paper, we proposed a fast search method to find the optimal solution for MagKmeans algorithm. Each cluster is used to learn multiple linear SVM models. Both artificial datasets and real datasets are used to evaluate the performance of the proposed method. In the experimental result, the proposed method prevents overfitting and underfitting problems. Moreover, the proposed strategy is effective and efficient.     

融合特征选取和学习策略的支持向量机研究

支持向量机是重要的机器学习方法之一,已成功解决了许多实际的分类问题。围绕如何提高支持向量机的分类精度与训练效率,以分类过程为主线,主要综述了在训练支持向量机之前不同的特征选取方法与学习策略。在此基础上,比较了不同的特征选取方法SFS,IWSS,IWSSr以及BARS的分类精度,分析了主动学习策略与支持向量机融合后获得的分类器在测试集上的分类精度与正确率/召回率平衡点两个性能指标。实验结果表明,包装方法与过滤方法相结合的特征选取方法能有效提高支持向量机的分类精度和减少训练样本量;在标签数据较少的情况下,主动学习能达到更好的分类精度,而为了达到相同的分类精度,被动学习需要的样本数量必须要达到主动学习的6倍。     

基于自适应步长的支持向量机快速训练算法*

支持向量机训练问题实质上是求解一个凸二次规划问题。当训练样本数量非常多时, 常规训练算法便失去了学习能力。为了解决该问题并提高支持向量机训练速度,分析了支持向量机的本质特征,提出了一种基于自适应步长的支持向量机快速训练算法。在保证不损失训练精度的前提下,使训练速度有较大提高。在UCI标准数据集上进行的实验表明,该算法具有较好的性能,在一定程度上克服了常规支持向量机训练速度较慢的缺点、尤其在大规模训练集的情况下,采用该算法能够较大幅度地减小计算复杂度,提高训练速度。     

并行SMO改进算法的研究与实现

针对支持向量机SMO训练算法在遇到大规模问题时训练过慢的问题,提出了一种改进的工作集选择模型的并行算法.在该算法中,根据支持向量机训练过程中的特点,提出了限定工作集选择次数、工作集选择的过程中跳过稳定样本的策略.对该SMO算法进行并行训练,3组著名数据集的实验结果表明,该模型在保持精度的情况下,进一步提高了训练的速度.