提高超大规模SVM训练计算速度的研究

近年来用支持向量机(Support Vector Machine)解决大样本问题的尝试日渐增多.限制SVM在大样本问题中应用的一个关键因素是SVM训练所引出的超大规模二次规划问题无法由标准的二次规划方法所解决.SMO算法(Sequential Minimal Optimization)是一种有发展前途的大规模SVM训练算法,我们用块算法的思想对其进行了改进,并称改进后的算法为分块SMO算法(CSMO).新算法对于带有小支持向量集的超大样本问题在速度方面具有明显的优势.     

支持向量机训练算法综述

训练SVM的本质是解决二次规划问题,在实际应用中,如果用于训练的样本数很大,标准的二次型优化技术就很难应用.针对这个问题,研究人员提出了各种解决方案,这些方案的核心思想是先将整个优化问题分解为多个同样性质的子问题,通过循环解决子问题来求得初始问题的解.由于这些方法都需要不断地循环迭代来解决每个子问题,所以需要的训练时间很长,这也是阻碍SVM广泛应用的一个重要原因.文章系统回顾了SVM训练的三种主流算法:块算法、分解算法和顺序最小优化算法,并且指出了未来发展方向.     

基于SVM的并行网络流量分类方法

针对SVM (support vector machine)算法应用到大规模网络流量分类中存在计算复杂度高、训练速度慢等问题,提出一种基于云计算平台进行并行网络流量分类的SVM方法,以提高对大数据集的分类训练速度.该方法是一种采用云计算平台构建多级SVM和映射规约(MapReduce)模型的方法.它将训练数据集划分为多个子训练数据集,通过对所有子训练数据集进行并行训练,得到支持向量集,进而训练出流量分类模型.实验结果表明,与传统的SVM方法相比,并行SVM网络流量分类方法在保持较高分类精度的前提下,有效地减少了训练时间,提高了大规模网络流量分类的速度.     

SVM性能的免疫鱼群多目标优化研究

SVM算法的训练精度和训练速度是衡量其性能的2个重要指标.以这2个指标为目标变量建立SVM性能多目标优化问题的数学模型,采用直接对多个目标同时进行优化的方法求得问题的Pareto近似解集.在求解Pareto近似解集时,将免疫原理中的浓度机制引入基本鱼群算法中,形成一种改进的免疫鱼群算法.以非线性动态系统仿真数据为样本数据,并采用改进的免疫鱼群算法求解SVM性能多目标优化问题的Pareto近似解集.仿真结果表明,在解决多目标优化问题时,免疫鱼群算法相对于基本鱼群算法和遗传算法具有更好的优越性.     

极限学习机在岩性识别中的应用

基于传统支持向量机(SVM)训练速度慢、参数选择难等问题,提出了基于极限学习机(ELM)的岩性识别.该算法是一种新的单隐层前馈神经网络(SLFNs)学习算法,不但可以简化参数选择过程,而且可以提高网络的训练速度.在确定了最优参数的基础上,建立了ELM的岩性分类模型,并且将ELM的分类结果与SVM进行对比.实验结果表明,ELM以较少的神经元个数获得与SVM相当的分类正确率,并且ELM参数选择比SVM简便,有效降低了训练速度,表明了ELM应用于岩性识别的可行性和算法的有效性.     

使用粗糙集和支持向量机检测入侵

提出了基于粗糙集理论和支持向量机(SVM)的入侵检测方法,利用粗糙集约简算法对样本集进行特征约简,删除对入侵检测结果影响不大的冗余特征,从而有效地降低了样本集的维数,解决了SVM训练时间长,样本集占用的存储空间过大的问题.实验证明,该方法能在不影响SVM检测精度的情况下,缩短SVM的训练和检测时间,有效地提高SVM的检测效率.     

基于Boruta-PSO-SVM的股票收益率研究

针对股票收益率的分类预测研究中支持向量机(SVM)存在的参数选择困难以及分类性能较差的问题,提出了一种基于特征选择(Boruta算法)和粒子群优化(PSO)算法SVM的新算法.通过Boruta算法对训练集进行特征选择,剔除无价值的特征以降低输入维度,同时引入PSO算法优化SVM核函数参数,从而提高SVM的分类性能.实验结果表明:相比决策树、神经网络及极限学习机算法,新算法取得了更高的分类精度,可以有效提高股票收益率的分类预测性能.     

支持向量机研究进展

基于统计学习理论的支持向量机((Support vector machines, SVM)以其优秀的学习能力受到广泛的关注。但传统支持向量机在处理大规模二次规划问题时会出现训练时间长、效率低下等问题。对SVM训练算法的最新研究成果进行了综述,对主要算法进行了比较深入的分析和比较,指出了各自的优点及其存在的问题,并且着重介绍了目前研究的新进展—模糊SVM和粒度SVM。接着论述了SVM主要的两方面应用—分类和回归。最后给出了今后SVM研究方向的预见。     

一种快速支持向量机增量学习算法

经典的支持向量机(SVM)算法在求解最优分类面时需求解一个凸二次规划问题,当训练样本数量很多时,算法的速度较慢,而且一旦有新的样本加入,所有的训练样本必须重新训练,非常浪费时间.为此,提出一种新的SVM快速增量学习算法.该算法首先选择那些可能成为支持向量的边界向量,以减少参与训练的样本数目;然后进行增量学习.学习算法是一个迭代过程,无需求解优化问题.实验证明,该算法不仅能保证学习机器的精度和良好的推广能力,而且算法的学习速度比经典的SVM算法快,可以进行增量学习.     

基于AdaBoost-SVM级联分类器的行人检测

针对实时行人检测中AdaBoost级联分类算法存在的问题,改进AdaBoost级联分类器的训练算法,提出了Ada-Boost-SVM级联分类算法,它结合了AdaBoost和SVM两种算法的优点.对自定义样本集和PET图像库进行行人检测实验,实验中选择固定大小的窗口作为候选区域并利用类Haar矩形特征进行特征提取,通过AdaBoost-SVM级联分类器进行分类.实验结果表明AdaBoost-SVM级联分类器的分类器准确率达到99.5％,误报率低于0.05％,优于AdaBoost级联分类器,训练时间要远远小于SVM分类器.     

支持向量机中优化算法

1 引言对基于数掘的机器学习研究是目前计算智能技术的基础性工作之一,旨在从观测数据出发基于统计学理论采用相关技术对研究对象建立可信的模型,利用这一模型对未来实验作出指导性的预测。相关技术包括聚类分析、模式识别、神经网络等等。现有的学习方法多是基于样本数趋于无穷大时的渐进理论。可是在实际科研工作中,有时候很难获得较为充足     

An overview on nonparallel hyperplane support vector machine algorithms

Support vector machine (SVM) has attracted substantial interest in the community of machine learning. As the extension of SVM, nonparallel hyperplane SVM (NHSVM) classification algorithms have become current researching hot spots in machine learning during the last few years. For binary classification tasks, the idea of NHSVM algorithms is to find a hyperplane for each class, such that each hyperplane is proximal to the data points of one class and far from the data points of the other class. Compared with the classical SVM, NHSVM algorithms have lower computational complexity, work better on XOR problems and can get better generalization performance. This paper reviews three representative NHSVM algorithms, including generalized eigenvalue proximal SVM (GEPSVM), twin SVM (TWSVM) and projection twin SVM (PTSVM), and gives the research progress of them. The aim of this overview is to provide an insightful organization of current developments of NHSVM algorithms, identify their limitations and give suggestions for further research.     

支持向量机训练算法比较研究

论文介绍了一种年轻的机器学习方法——支持向量机,详细论述了目前主要的支持向量机的训练算法,包括:二次规划算法,分解算法和增量算法。通过实验验证了普通二次规划算法的缺陷,比较了三种典型的SVM分解训练算法的性能,说明了其相对于二次规划算法的优点和对SVM训练问题的适用性,指出了训练速度优劣的原因。最后指出了未来支持向量机训练算法研究的方向。     

机电设备故障诊断和趋势预测的支持向量机方法

分析了支持向量机(Support Vector Machine-SVM)的分类和回归算法。对近年来SVM在设备故障诊断和趋势预测方面的应用进行了回顾,给出了SVM用于设备状态趋势预测的模型和算法。采用AR(Auto Regressive)模型和SVM模型进行实验台的振动烈度的预测,表明SVM模型具有长区间预测精度高的特点。讨论了SVM在设备故障诊断和趋势预测研究的发展前景。     

基于支持向量机的改进分类算法

为了进一步提高支持向量机分类的准确性和泛化能力,提出一种基于支持向量机的改进二叉树分类算法.首先介绍支持向量机的基本原理,总结了常见的多分类器分类算法及其特点,结合现有分类算法的优点,为分类器引入了不同的权值,提出二叉树改进分类算法,有效避免了常用分类算法不足.通过仿真实验,与典型的多类分类算法对比,验证该算法的有效性,为多类分类预测研究提供了一条有效的途径.     

Kernel Projection Algorithm for Large-Scale SVM Problems

Support Vector Machine (SVM) has become a very effective method in statistical machine learning and it has proved that training SVM is to solve Nearest Point pair Problem (NPP) between two disjoint closed convex sets.Later Keerthi pointed out that it is difficult to apply classical excellent geometric algorithms directly to SVM and so designed a new geometric algorithm for SVM.In this article,a new algorithm for geometrically solving SVM,Kernel Projection Algorithm,is presented based on the theorem on fixed-points of projection mapping.This new algorithm makes it easy to apply classical geometric algorithms to solving SVM and is more understandable than Keerthi‘s.Experiments show that the new algorithm can also handle large-scale SVM problems.Geometric algorithms for SVM,such as Keerthi‘s algorithm,require that two closed convex sets be disjoint and otherwise the algorithms are meaningless.In this article,this requirement will be guaranteed in theory be using the theoretic result on universal kernel functions.     

不同种类支持向量机算法的比较研究

介绍一种新型的机器学习方法-支持向量机.论述了不同种类支持向量机算法并指出了每种算法的优劣.实验结果显示了核函数中选择合适的参数对分类器的效果是很重要的,通过实验还重点比较了Chunking、SMO和SVMlight三种典型分解算法,并分析了训练速度优劣的原因.文章最后给出了今后SVM研究方向的一些预见.     

Projection Support Vector Machine Generators

Large-scale Support Vector Machine (SVM) classification is a very active research line in data mining. In recent years, several efficient SVM generation algorithms based on quadratic problems have been proposed, including: Successive OverRelaxation (SOR), Active Support Vector Machines (ASVM) and Lagrangian Support Vector Machines (LSVM). These algorithms have been used to solve classification problems with millions of points. ASVM is perhaps the fastest among them. This paper compares a new projection-based SVM algorithm with ASVM on a selection of real and synthetic data sets. The new algorithm seems competitive in terms of speed and testing accuracy.     

支持向量机理论与基于规划的神经网络学习算法

近年来支持向量机（SVM）理论得到国外学者高度的重视,普遍认为这是神经网络学习的新研究方向,近来也开始得到国内学者的注意。该文将研究SVM理论与神经网络的规划算法的关系,首先指出,Vapnik的基于SVM的算法与该文作者1994年提出的神经网络的基于规划的算法是等价的,即在样本集是线性可分的情况下,二者求得的均是最大边缘（maximal margin)解。不同的是,前者（通常用拉格郎日乘子法）求解的复杂性将随规模呈指数增长,而后者的复杂性是规模的多项式函数。其次,作者将规划算法化为求一点到某一凸集上的投影,利用这个几何的直观,给出一个构造性的迭代求解算法－－“单纯形迭代算法”。新算法有很强的几何直观性,这个直观性将加深对神经网络（线性可分情况下）学习的理解,并由此导出一个样本集是线性可分的充分必要条件。另外,新算法对知识扩充问题,给出一个非常方便的增量学习算法。最后指出,“将一些必须满足的条件,化成问题的约束条件,将网络的某一性能,作为目标函数,将网络的学习问题化为某种规划问题来求解”的原则,将是研究神经网络学习问题的一个十分有效的办法。     

结构化支持向量机研究综述

结构化支持向量机（Structural Support Vector Machine,SSVM）是支持向量机（Support Vector Machine,SVM）的变体算法,被广泛应用于多个领域。阐述了SSVM的发展过程,详细分析了SSVM各种具体实现算法的思想及表现上的优劣;并通过实验的对比讨论,发现了SSVM的各种具体实现算法在分类性能和分类效率上优于其他SVM算法,而在稳定性上则逊于后者;基于此,给出了SSVM的后续研究方向。