加快SMO算法训练速度的策略研究

SMO（序贯最小优化算法）算法是目前解决支持向量机训练问题的一种十分有效的方法,但是当面对大样本数据时,SMO训练速度比较慢。考虑到在SVM的优化过程中并不是所有样本都能影响优化进展,提出了两种删除样本的策略：一种是基于距离,一种是基于拉格朗日乘子的值。在几个著名的数据集的试验结果表明,两种策略都可以大大缩短SMO的训练时间,特别适用于大样本数据。     

提高超大规模SVM训练计算速度的研究

近年来用支持向量机(Support Vector Machine)解决大样本问题的尝试日渐增多.限制SVM在大样本问题中应用的一个关键因素是SVM训练所引出的超大规模二次规划问题无法由标准的二次规划方法所解决.SMO算法(Sequential Minimal Optimization)是一种有发展前途的大规模SVM训练算法,我们用块算法的思想对其进行了改进,并称改进后的算法为分块SMO算法(CSMO).新算法对于带有小支持向量集的超大样本问题在速度方面具有明显的优势.     

基于SVM的大样本集系统辨识与函数拟合仿真

支持向量机是一种优秀的学习方法,也是具有很好泛化性能的回归方法。但由于支持向量机算法实习复杂,效率低,严格限制了其应用,SMO算法的提出大大提高了支持向量机的学习效率。因此,借助SMO算法,便可以实现大样本集的非线性系统辨识和函数拟合。文中对回归问题的SMO算法作了详细介绍,并对其进行改进。然后研究了利用改进SMO算法的非线性系统辨识方法,给出了非线性系统的辨识的仿真结果,和一维二维函数的拟合仿真。并通过仿真,与原始算法进行了比较,显示了改进SMO算法的快速性。     

间隔值辅助的SMO算法改进研究

顺序最小优化（SMO）算法是现今求解支持向量机（SVM）的最优秀算法之一,其效率直接影响到SVM的训练效率。为提高SVM的训练效率,提出了一种间隔值辅助的SMO改进算法。通过一定量的经验性实验,统计总结出了间隔值随迭代次数变化的规律,即该变化呈铰链函数形态,起始阶段下降很快,经过一小段缓慢变化期后进入间隔值几乎无变化的水平区域。由此,提出并实现了SMO改进算法,通过跟踪间隔值随迭代次数的变化率,待越过拐点一小段时间后终止算法以缩短SVM训练时间。对比实验以及k分类的交叉验证（k-CV）证明,改进后的SMO算法在保持原有算法的模型预测能力的基础上,能够产生至少45%的效率提升。     

序贯最小优化的改进算法

序贯最小优化(sequential minimal optimization,简称SMO)算法是目前解决大量数据下支持向量机(support vector machine,简称SVM)训练问题的一种十分有效的方法,但是确定工作集的可行方向策略会降低缓存的效率.给出了SMO的一种可行方向法的解释,进而提出了一种收益代价平衡的工作集选择方法,综合考虑与工作集相关的目标函数的下降量和计算代价,以提高缓存的效率.实验结果表明,该方法可以提高SMO算法的性能,缩短SVM分类器的训练时间,特别适用于样本较多、支持向量较多、非有界支持向量较多的情况.     

基于改进停机准则的SMO算法

在序列最小优化(Sequential Minimal Optimization,SMO)算法训练过程中,采用标准的KKT(Karush-KuhnTucker)条件作为停机准则会导致训练后期速度下降。由最优化理论可知,当对偶间隙为零时,凸二次优化问题同样可以取得全局最优解。因此本文将对偶间隙与标准KKT条件同时作为SMO算法的停机准则,从而提出了改进停机准则的SMO算法。在保证训练精度的情况下,提高了SMO算法的训练速度。通过对一维和二维函数的两个仿真实验,验证了改进SMO算法的有效性。     

改进工作集选择策略的序贯最小优化算法

针对标准序贯最小优化(sequential minimal optimization, SMO)算法采用可行方向工作集选择策略所带来的缓存命中率低下问题,给出了SMO类型算法每次迭代所带来的目标函数下降量的二阶表达式,并据此提出了一种改进的工作集选择策略.新策略综合考虑算法收敛所需的迭代次数及缓存效率,从总体上减少了核函数计算次数,因此极大提高了训练效率,并且,它在理论上具有严格的收敛保障.实验结果表明,核函数越复杂,样本维度越高,缓存容量相对训练样本的规模越小,改进工作集选择策略的SMO算法相较于标准SMO算法的性能提高就越显著.     

含有动态自适应惯性权重的蜘蛛猴优化算法

蜘蛛猴算法（Spider Monkey Optimization，SMO）是受蜘蛛猴觅食行为启发提出的一种群集智能优化算法，为增强蜘蛛猴算法的局部搜索性能，提出一种基于动态自适应惯性权重的SMO算法（DWSMO）。通过在惯性权重中引入目标函数值，使得惯性权重随着目标函数值的变化而动态改变，从而减少惯性权重变化的盲目性，有效平衡算法的全局探索能力以及局部开发能力。将改进的蜘蛛猴算法在函数优化问题上进行测试，仿真实验结果表明，改进的蜘蛛猴算法可有效提高函数寻优精度，加快收敛速度，且具有较强的稳定性。     

一种改进的SMO及其在人脸识别中的应用

SMO算法是一种有效的SVM训练算法,但由于参与训练的数据大部分为非支持向量,仍然存在进一步优化的可能性。针对SMO算法的这个不足,提出了一种改进的SMO算法,并将该算法应用到人脸识别中。试验结果表明了算法的有效性。     

MLSVM4--一种多乘子协同优化的SVM快速学习算法

贯序最小优化（SMO）算法是解决大数据集支持向量机学习问题的一种有效方法,但SMO选择工作集的策略是选择数据集中最违背KKT条件的两个样本,而且还使用了随机函数,使得优化过程具有很大的随机性,影响了学习效率．在多拉格朗日乘子协同优化的通用公式基础上,吸收了Keerthi所提出的SMO修改算法中双阈值的优点,给出了乘子数为4时的一个算法MLSVM4,由于能更加精确地确定待优化样本的拉格朗日乘子值,使得学习收敛速度大大提高,特别是在使用线性核的场合下效果更加明显,在Adult、Web、手写体数字数据集上的实验结果表明,MLSVM4算法速度超过了SMO算法3到42倍．     

基于WEKA的序列最小化算法的改进研究

数据挖掘算法中的支持向量机算法,在通过若干学者的改进研究后,有一种改进算法即序列最小化算法主要应用于小样本数据集的分类,且分类效果较好,但在训练大规模数据集时,用时长、所需存储空间大,挖掘效率低。针对这一缺陷,通过改变存储策略改进该算法,在WEKA这个软件平台下,在保证分类正确率的前提下,缩短了训练时间,缩减了大量的存储空间,大大地提高了算法的效率,使其更加适应大规模数据集的训练。     

Adaptive pruning algorithm for least squares support vector machine classifier

As a new version of support vector machine (SVM), least squares SVM (LS-SVM) involves equality instead of inequality constraints and works with a least squares cost function. A well-known drawback in the LS-SVM applications is that the sparseness is lost. In this paper, we develop an adaptive pruning algorithm based on the bottom-to-top strategy, which can deal with this drawback. In the proposed algorithm, the incremental and decremental learning procedures are used alternately and a small support vector set, which can cover most of the information in the training set, can be formed adaptively. Using this set, one can construct the final classifier. In general, the number of the elements in the support vector set is much smaller than that in the training set and a sparse solution is obtained. In order to test the efficiency of the proposed algorithm, we apply it to eight UCI datasets and one benchmarking dataset. The experimental results show that the presented algorithm can obtain adaptively the sparse solutions with losing a little generalization performance for the classification problems with no-noises or noises, and its training speed is much faster than sequential minimal optimization algorithm (SMO) for the large-scale classification problems with no-noises.     

基于预备工作集的最小序列优化算法

为了提高支持向量机求解大规模问题的训练速度,提出了一种新的工作集选择策略--预备工作集策略:在SMO中,利用可行方向策略提取最大违反对的同时,从核缓存cache中提取违反KKT条件程度最大的一系列样本组成预备工作集,为此后历次SMO迭代优化提供工作集.该方法提高了核缓存的命中率,减少了工作集选择的代价.理论分析和实验结果表明,预备工作集策略能够很好地胜任待优化的工作集,加快了支持向量机求解大规模问题的训练速度.     

弹球支持张量机分类器*

机器学习、模式识别、数据挖掘等领域中的输入模式常常是高阶张量.文中首先从向量模式推广到张量模式,提出弹球支持张量机模型.然后给出求解弹球支持张量机模型的序贯最小优化算法(SMO).为了保持张量的自然结构信息,同时加速训练过程,采用张量的秩-1分解代替原始张量计算张量内积.在向量数据和张量数据上进行的大量实验表明:对于向量数据,相比经典的积极集法,SMO的计算速度更快;对于张量数据,相比弹球支持向量机,弹球支持张量机具有更快的训练速度和更好的泛化能力.     

适于大规模数据集的块增量学习算法: BISVM

对支持向量机的大规模训练问题进行了深入研究,提出一种类似SMO的块增量算法.该算法利用increase和decrease两个过程依次对每个输入数据块进行学习,避免了传统支持向量机学习算法在大规模数据集情况下急剧增大的计算开销.理论分析表明新算法能够收敛到近似最优解.基于KDD数据集的实验结果表明,该算法能够获得接近线性的训练速率,且泛化性能和支持向量数目与LIBSVM方法的结果接近.     

基于不同惩罚系数的SMO改进算法

为了解决Keerthi改进的序贯最小优化（SMO）算法在处理非平衡数据集时,整体分类性能较低、稳定性差等问题,对两个类别施加不同的惩罚系数的方法对算法作进一步改进,同时给出计算公式及算法步骤。实验结果表明,该算法不但提高了处理非平衡数据集的能力,也进一步提高了其稳定性。     

噪声消除与SMO算法收敛性

近年来,随着序列最小优化分类算法SMO等一系列快速算法的推出,支持向量机在自动文本分类研究领域取得了很大的成功。大多数文本分类问题是线性可分的,使用线性核函数的SMO算法能够取得非常好的分类效果。但是文本向量是一种非常稀疏的向量,采用线性核函数的SMO算法对噪声样本非常敏感,容易产生发散的问题。文章分析证明了噪声如何影响SMO算法收敛性。为了解决训练样本中噪声样本影响SMO算法收敛的问题,设计了一个消除噪声样本的算法,取得了非常好的效果。     

基于对偶随机投影的线性核支持向量机

针对大型支持向量机（SVM）经随机投影特征降维后分类精度下降的问题,结合对偶恢复理论,提出了面向大规模分类问题的基于对偶随机投影的线性核支持向量机（drp-LSVM）。首先,分析论证了drp-LSVM相关几何性质,证明了在保持与基于随机投影降维的支持向量机（rp-LSVM）相近几何优势的同时,其划分超平面更接近于用全部数据训练得到的原始分类器。然后,针对提出的drp-LSVM快速求解问题,改进了传统的序列最小优化（SMO）算法,设计了基于改进SMO算法的drp-LSVM分类器。最后实验结果表明,drp-LSVM在继承rp-LSVM优点的同时,减小了分类误差,提高了训练精度,并且各项性能评价更接近于用原始数据训练得到的分类器;设计的基于改进SMO算法的分类器不但可以减少内存消耗,同时可以拥有较高的训练精度。