一种改进的序贯最小优化算法

序贯最小优化(SMO)算法是目前解决支持向量机训练问题的一种十分有效的方法,但是当面对大样本数据时,SMO训练速度比较慢。本文分析了SMO迭代过程中目标函数值的变化情况,进而提出以目标函数值的改变量作为算法终止的判定条件。几个著名的数据集的试验结果表明,该方法可以大大缩短SMO的训练时间,特别适用于大样本数据。     

求解双边加权模糊支持向量机的序贯最小优化算法

高的计算复杂度限制了双边加权模糊支持向量机在实际分类问题中的应用。为了降低计算复杂度,提出了应用序贯最小优化算法（SMO）解该模型,该模型首先将整个二次规划问题分解成一系列规模为2的二次规划子问题,然后求解这些二次规划子问题。为了测试SMO算法的性能,在三个真实数据集和两个人工数据集上进行了数值实验。结果表明：与传统的内点算法相比,在不损失测试精度的情况下,SMO算法明显地降低了模型的计算复杂度,使其在实际中的应用成为可能。     

一种训练支撑向量机的改进贯序最小优化算法

对于大规模问题,分解方法是训练支撑向量机主要的一类方法.在很多分类问题中,有相当比例的支撑向量对应的拉格朗日乘子达到惩罚上界,而且在训练过程中到达上界的拉格朗日乘子变化平稳.利用这一统计特性,提出了一种有效的缓存策略来加速这类分解方法,并将其具体应用于Platt的贯序最小优化(sequential minimization optimization,简称SMO) 算法中.实验结果表明,改进后的SMO算法的速度是原有算法训练的2~3倍.     

改进工作集选择策略的序贯最小优化算法

针对标准序贯最小优化(sequential minimal optimization, SMO)算法采用可行方向工作集选择策略所带来的缓存命中率低下问题,给出了SMO类型算法每次迭代所带来的目标函数下降量的二阶表达式,并据此提出了一种改进的工作集选择策略.新策略综合考虑算法收敛所需的迭代次数及缓存效率,从总体上减少了核函数计算次数,因此极大提高了训练效率,并且,它在理论上具有严格的收敛保障.实验结果表明,核函数越复杂,样本维度越高,缓存容量相对训练样本的规模越小,改进工作集选择策略的SMO算法相较于标准SMO算法的性能提高就越显著.     

支持向量机序贯最小优化算法推导的改进

已有文献中的支持向量机SMO算法推导过程计算复杂,该文给出一个简洁推导。整个推导过程没有复杂的计算,除了误差函数外,不需引入其它中间变量。     

基于样本取样的SMO算法

介绍了一种对样本集取样的方法 ,并在此基础上对序贯最小优化 (sequentialminimaloptimization ,SMO)算法进行了改进 ,提出了取样序贯最小优化 (S-SMO)算法 .S-SMO算法去掉了大部分非支持向量 ,将支持向量逐渐收集到工作集中 .实验结果表明 ,该方法提高了SMO算法的性能 ,缩短了支持向量机分类器的训练时间 .     

一种改进的最小二乘支持向量机及其应用

为了克服传统支持向量机训练速度慢、计算资源需求大等缺点,本文应用最小二乘支持向量机算法来解决分类问题。同时,本文指出了决策导向循环图算法的缺陷,采用自适应导向循环图思想来实现多类问题的分类。为了提高样本的学习速度,本文还将序贯最小优化算法与最小二乘支持向量机相结合,最终形成了ADAGLSSVM算法。考虑到最小二
乘支持向量机算法失去了支持向量的稀疏性,本文对支持向量作了修剪。实验结果表明,修剪后,分类器的识别精度和识别速度都得到了提高。     

最小二乘分解算法在车型识别中的应用

提出一种最小二乘支持向量机的序贯最小分类分解算法.针对最小二乘支持向量机,通过对核函数的相关变换,将二阶的误差信息归结到优化方程的一阶信息中,从而简化运算过程.采用最优函数梯度二阶信息选择工作集,实现最小二乘支持向量机分解算法,提高了算法的收敛性.采用径向基核函数和交叉验证网格搜索的方法验证算法的分类准确性.实验结果表明,提出的分类算法应用于车型识别中,可以得到比其他分类方法更好的分类准确度.     

加快SMO算法训练速度的策略研究

SMO（序贯最小优化算法）算法是目前解决支持向量机训练问题的一种十分有效的方法,但是当面对大样本数据时,SMO训练速度比较慢。考虑到在SVM的优化过程中并不是所有样本都能影响优化进展,提出了两种删除样本的策略：一种是基于距离,一种是基于拉格朗日乘子的值。在几个著名的数据集的试验结果表明,两种策略都可以大大缩短SMO的训练时间,特别适用于大样本数据。     

基于SMO的层次型1-FSVM算法

针对序贯最小优化(SMO)训练算法具有计算速度快、无内负荷的特点,将其移植到模糊一类支持向量机(1-FSVM)中。1-FSVM算法融入层次型偏二叉树结构进行逐步聚类以加快训练速度,并对每个输入向量赋予不同权值以达到准确的分类效果。应用于光识别手写数字集和车牌定位的结果表明,1-FSVM算法具有较高的检测率与较快的检测速度。     

基于自适应步长的支持向量机快速训练算法*

支持向量机训练问题实质上是求解一个凸二次规划问题。当训练样本数量非常多时, 常规训练算法便失去了学习能力。为了解决该问题并提高支持向量机训练速度,分析了支持向量机的本质特征,提出了一种基于自适应步长的支持向量机快速训练算法。在保证不损失训练精度的前提下,使训练速度有较大提高。在UCI标准数据集上进行的实验表明,该算法具有较好的性能,在一定程度上克服了常规支持向量机训练速度较慢的缺点、尤其在大规模训练集的情况下,采用该算法能够较大幅度地减小计算复杂度,提高训练速度。     

支持向量机多类分类方法

支持向量机本身是一个两类问题的判别方法,不能直接应用于多类问题。当前针对多类问题的支持向量机分类方法主要有5种：一类对余类法（OVR）,一对一法（OVO）,二叉树法（BT）,纠错输出编码法和有向非循环图法。本文对这些方法进行了简单的介绍,通过对其原理和实现方法的分析,从速度和精度两方面对这些方法的优缺点进行了归纳和总结,给出了比较意见,并通过实验进行了验证,最后提出了一些改进建议。     

间隔值辅助的SMO算法改进研究

顺序最小优化（SMO）算法是现今求解支持向量机（SVM）的最优秀算法之一,其效率直接影响到SVM的训练效率。为提高SVM的训练效率,提出了一种间隔值辅助的SMO改进算法。通过一定量的经验性实验,统计总结出了间隔值随迭代次数变化的规律,即该变化呈铰链函数形态,起始阶段下降很快,经过一小段缓慢变化期后进入间隔值几乎无变化的水平区域。由此,提出并实现了SMO改进算法,通过跟踪间隔值随迭代次数的变化率,待越过拐点一小段时间后终止算法以缩短SVM训练时间。对比实验以及k分类的交叉验证（k-CV）证明,改进后的SMO算法在保持原有算法的模型预测能力的基础上,能够产生至少45%的效率提升。     

支持向量机算法实现人民币序列号识别

人民币序列号识别是一个小样本、非线性和高维模式识别问题,是当前模式识别中的难题之一,具有重要研究意义和实用价值。主要研究了统计学习理论中支持向量机的二次优化算法,并将支持向量机应用于货币序列号的机器识别中。将次序最小优化算法构建的支持向量机用于序列号识别,充分发挥了支持向量机解决小样本、非线性和高维模式识别问题的优点。支持向量机（SVM）实验结果表明,这种支持向量机货币识别方法具有较高的可实现性和识别精度。     

基于乘性规则的支持向量域分类器

该文提出了一种基于支持向量域描述(SVDD)的学习分类器．在两类样本分类中,该算法在训练时通过对1类样本的描述求取包含1类样本的球形边界．然后通过该边界对两类样本数据进行分类,并且在求取边界的优化问题中,采用乘性规则来直接求取Lagrange乘子,而不是用传统的二次优化方法．该文所获得的学习算法和支持向量机(SVM)与序列最小优化(SMO)算法相比,不仅降低了样本的采集代价,而且在优化速度上有了很大提高．通过CBCL人脸库的仿真实验．将该算法和SVM、SOM算法的实验结果进行对比,说明了该学习算法的有效性．     

训练支持向量机的并行序列最小优化方法

序列最小优化(SMO)是训练支持向量机(SVM)的常见算法,在求解大规模问题时,需要耗费大量的计算时间。该文提出了SMO的一种并行实现方法,验证了该算法的有效性。实验结果表明,当采用多处理器时,并行SMO具有较大的加速比。     

模糊支持向量机在青霉素发酵中的应用

支持向量机（SVM）是一种基于结构风险最小化原理（SRM）的学习算法,也是一种具有很好的泛化性能的回归方法.针对青霉素发酵过程中的菌体浓度进行软测量建模,提出了一种新的基于距离的模糊支持向量机,并用序列最小优化算法（SMO）求解优化问题.仿真实例说明能够对青霉素发酵过程中不可在线测量的变量进行软测量,达到了较高的测量精度.     

回归支持向量机的改进序列最小优化学习算法

支持向量机(support vector machine,简称SVM)是一种基于结构风险最小化原理的学习技术,也是一种新的具有很好泛化性能的回归方法,提出了实现回归支持向量机的一种改进的SMO(sequential minimal optimization)算法,给出了两变量子优化问题的解析解,设计了新的工作集选择方法和停止条件,仿真实例说明,所提出的SMO算法比原始SMO算法具有更快的运算速度.