基于改进停机准则的SMO算法

在序列最小优化(Sequential Minimal Optimization,SMO)算法训练过程中,采用标准的KKT(Karush-KuhnTucker)条件作为停机准则会导致训练后期速度下降。由最优化理论可知,当对偶间隙为零时,凸二次优化问题同样可以取得全局最优解。因此本文将对偶间隙与标准KKT条件同时作为SMO算法的停机准则,从而提出了改进停机准则的SMO算法。在保证训练精度的情况下,提高了SMO算法的训练速度。通过对一维和二维函数的两个仿真实验,验证了改进SMO算法的有效性。     

并行SMO改进算法的研究与实现

针对支持向量机SMO训练算法在遇到大规模问题时训练过慢的问题,提出了一种改进的工作集选择模型的并行算法.在该算法中,根据支持向量机训练过程中的特点,提出了限定工作集选择次数、工作集选择的过程中跳过稳定样本的策略.对该SMO算法进行并行训练,3组著名数据集的实验结果表明,该模型在保持精度的情况下,进一步提高了训练的速度.     

一种改进的序贯最小优化算法

序贯最小优化(SMO)算法是目前解决支持向量机训练问题的一种十分有效的方法,但是当面对大样本数据时,SMO训练速度比较慢。本文分析了SMO迭代过程中目标函数值的变化情况,进而提出以目标函数值的改变量作为算法终止的判定条件。几个著名的数据集的试验结果表明,该方法可以大大缩短SMO的训练时间,特别适用于大样本数据。     

多拉格朗日乘子协同优化的SVM快速学习算法研究

提出了一个利用多个拉格朗日乘子协同优化的支持向量机快速学习方法（MLSVM），并给出了每个乘子的可行域范围的定义公式，由于在每个乘子的优化过程中使用了解析表达式，使得算法可以更加精确和快速地逼近最优解，可以证明SMO算法是该方法的一个特例．在此方法的理论指导下，根据不同的学习策略，程序实现了3种不同的具体算法（MLSVM1，MLSVM2，MLSVM3），其中前两个算法在数据集不大时（〈5000条记录）学习速度与SMO算法相当，但当数据集更大时，算法就失效了．MLSVM3是一个改进算法，总结了MLSVM1和MLSVM2失效的原因，对SMO算法中学习效率较低的部分进行了改进，在多个数据集上测试，MLSVM3算法速度超过了SMO算法7．4％～41.30％．     

基于SVM的大样本集系统辨识与函数拟合仿真

支持向量机是一种优秀的学习方法，也是具有很好泛化性能的回归方法。但由于支持向量机算法实习复杂，效率低，严格限制了其应用，SMO算法的提出大大提高了支持向量机的学习效率。因此，借助SMO算法，便可以实现大样本集的非线性系统辨识和函数拟合。文中对回归问题的SMO算法作了详细介绍，并对其进行改进。然后研究了利用改进SMO算法的非线性系统辨识方法，给出了非线性系统的辨识的仿真结果，和一维二维函数的拟合仿真。并通过仿真，与原始算法进行了比较，显示了改进SMO算法的快速性。     

回归支持向量机的改进序列最小优化学习算法

支持向量机(support vector machine,简称SVM)是一种基于结构风险最小化原理的学习技术,也是一种新的具有很好泛化性能的回归方法,提出了实现回归支持向量机的一种改进的SMO(sequential minimal optimization)算法,给出了两变量子优化问题的解析解,设计了新的工作集选择方法和停止条件,仿真实例说明,所提出的SMO算法比原始SMO算法具有更快的运算速度.     

基于样本取样的SMO算法

介绍了一种对样本集取样的方法 ,并在此基础上对序贯最小优化 (sequentialminimaloptimization ,SMO)算法进行了改进 ,提出了取样序贯最小优化 (S-SMO)算法 .S-SMO算法去掉了大部分非支持向量 ,将支持向量逐渐收集到工作集中 .实验结果表明 ,该方法提高了SMO算法的性能 ,缩短了支持向量机分类器的训练时间 .     

基于改进SMO算法的热工参数灰色软测量建模

介绍了适宜支持向量机处理大规模数据回归问题的序列最小优化（SMO）学习算法,针对SVR进行二次规划处理大规模数据时计算复杂度高和学习机参数选择方法复杂的问题,从算法结构和参数选择两个方面对SMO算法进行了改进,使运算速度和建模效率得到了进一步提高。结合灰色理论进行辅助变量选取,并应用改进的SMO算法建立了火电厂烟气含氧量软仪表,通过电厂的实测历史数据仿真表明,改进的算法较传统的SMO算法在计算速度和性能上有较大提高,建立的软仪表模型具有更高的精度,能满足应用要求。     

改进工作集选择策略的序贯最小优化算法

针对标准序贯最小优化(sequential minimal optimization, SMO)算法采用可行方向工作集选择策略所带来的缓存命中率低下问题,给出了SMO类型算法每次迭代所带来的目标函数下降量的二阶表达式,并据此提出了一种改进的工作集选择策略.新策略综合考虑算法收敛所需的迭代次数及缓存效率,从总体上减少了核函数计算次数,因此极大提高了训练效率,并且,它在理论上具有严格的收敛保障.实验结果表明,核函数越复杂,样本维度越高,缓存容量相对训练样本的规模越小,改进工作集选择策略的SMO算法相较于标准SMO算法的性能提高就越显著.     

求解非半正定核Huber-支持向量回归机问题的序列最小最优化算法

序列最小最优化(SMO)算法是求解大型支持向量机(SVM)问题的有效算法.已有的算法都要求核函数是正定的或半正定的,从而使其应用受到限制.针对这种缺点,本文提出一种新的的SMO算法,可求解非半正定核Huber-SVR问题.提出的算法在保证收敛的前提下可使非半正定Huber-SVR能够达到比较理想的回归精度,因而具有一定的理论意义和实用价值.     

Parallel sequential minimal optimization for the training of support vector machines

Sequential minimal optimization (SMO) is one popular algorithm for training support vector machine (SVM), but it still requires a large amount of computation time for solving large size problems. This paper proposes one parallel implementation of SMO for training SVM. The parallel SMO is developed using message passing interface (MPI). Specifically, the parallel SMO first partitions the entire training data set into smaller subsets and then simultaneously runs multiple CPU processors to deal with each of the partitioned data sets. Experiments show that there is great speedup on the adult data set and the Mixing National Institute of Standard and Technology (MNIST) data set when many processors are used. There are also satisfactory results on the Web data set.     

A Resource Aware MapReduce Based Parallel SVM for Large Scale Image Classifications

Machine learning techniques have facilitated image retrieval by automatically classifying and annotating images with keywords. Among them support vector machines (SVMs) are used extensively due to their generalization properties. However, SVM training is notably a computationally intensive process especially when the training dataset is large. This paper presents RASMO, a resource aware MapReduce based parallel SVM algorithm for large scale image classifications which partitions the training data set into smaller subsets and optimizes SVM training in parallel using a cluster of computers. A genetic algorithm based load balancing scheme is designed to optimize the performance of RASMO in heterogeneous computing environments. RASMO is evaluated in both experimental and simulation environments. The results show that the parallel SVM algorithm reduces the training time significantly compared with the sequential SMO algorithm while maintaining a high level of accuracy in classifications.     

超球体多类支持向量机理论

目前的多类分类器大多是经二分类器组合而成的,存在训练速度较慢的问题,在分类类别多的时候,会遇到很大困难,超球体多类支持向量机将超球体单类支持向量机扩展到多类问题,由于每类样本只参与一个超球体支持向量机的训练.因此,这是一种直接多类分类器,训练效率明显提高.为了有效训练超球体多类支持向量机,利用SMO算法思想,提出了超球体支持向量机的快速训练算法.同时对超球体多类支持向量机的推广能力进行了理论上的估计.数值实验表明,在分类类别较多的情况,这种分类器的训练速度有很大提高,非常适合解决类别数较多的分类问题.超球体多类支持向量机为研究快速直接多类分类器提供了新的思路.     

基于对偶随机投影的线性核支持向量机

针对大型支持向量机（SVM）经随机投影特征降维后分类精度下降的问题,结合对偶恢复理论,提出了面向大规模分类问题的基于对偶随机投影的线性核支持向量机（drp-LSVM）。首先,分析论证了drp-LSVM相关几何性质,证明了在保持与基于随机投影降维的支持向量机（rp-LSVM）相近几何优势的同时,其划分超平面更接近于用全部数据训练得到的原始分类器。然后,针对提出的drp-LSVM快速求解问题,改进了传统的序列最小优化（SMO）算法,设计了基于改进SMO算法的drp-LSVM分类器。最后实验结果表明,drp-LSVM在继承rp-LSVM优点的同时,减小了分类误差,提高了训练精度,并且各项性能评价更接近于用原始数据训练得到的分类器;设计的基于改进SMO算法的分类器不但可以减少内存消耗,同时可以拥有较高的训练精度。     

基于主成分分析的SMO文本分类

利用SMO进行文本分类的核心问题是特征的选择问题,特征选择涉及到哪些特征和选择的特征维度问题。针对以上问题,介绍一种基于主成分分析和信息增益相结合的数据集样本降维的方法,并在此基础上对序贯最小优化算法进行改进,提出降维序贯最小优化(P-SOM)算法。P-SMO算法去掉了冗余维。实验结果证明,该方法提高SMO算法的性能,缩短支持向量机的训练时间,提高支持向量机的分类精度。     

适于大规模数据集的块增量学习算法: BISVM*

对支持向量机的大规模训练问题进行了深入研究,提出一种类似SMO的块增量算法.该算法利用increase和decrease两个过程依次对每个输入数据块进行学习,避免了传统支持向量机学习算法在大规模数据集情况下急剧增大的计算开销.理论分析表明新算法能够收敛到近似最优解.基于KDD数据集的实验结果表明,该算法能够获得接近线性的训练速率,且泛化性能和支持向量数目与LIBSVM方法的结果接近.     

一种基于SVM算法的垃圾邮件过滤方法

基于邮件内容的过滤是当前解决垃圾邮件问题的主流技术之一。针对垃圾邮件过滤本质是分类问题,提出了一种基于支持向量机对垃圾邮件过滤的方法,并且将SMO分类算法结合到垃圾邮件分类中。通过实验,SMO算法能够取得较好的分类效果,缩短了支持向量机分类器的分类时间。