回归支持向量机SMO算法的改进

在Smola 和Sch?觟lkopf的SMO算法中,由于使用了单一的极限值而使得算法的效果没有完全表现出来。使用KKT条件来检验二次规划问题,使用两个极限参量来对回归SMO算法进行改进。通过对比实验,这一改进算法在执行速度上表现出了非常好的性能。     

训练支持向量机的并行序列最小优化方法

序列最小优化(SMO)是训练支持向量机(SVM)的常见算法,在求解大规模问题时,需要耗费大量的计算时间。该文提出了SMO的一种并行实现方法,验证了该算法的有效性。实验结果表明,当采用多处理器时,并行SMO具有较大的加速比。     

求解非半正定核Huber-支持向量回归机问题的序列最小最优化算法

序列最小最优化(SMO)算法是求解大型支持向量机(SVM)问题的有效算法.已有的算法都要求核函数是正定的或半正定的,从而使其应用受到限制.针对这种缺点,本文提出一种新的的SMO算法,可求解非半正定核Huber-SVR问题.提出的算法在保证收敛的前提下可使非半正定Huber-SVR能够达到比较理想的回归精度,因而具有一定的理论意义和实用价值.     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

新的稀疏支持向量回归机算法及实验研究

支持向量回归机是一种解决回归问题的重要方法,其预测速度与支持向量的稀疏性成正比。为了改进支持向量回归机的稀疏性,提出了一种直接稀疏支持向量回归算法DSKR（Direct Sparse Kernel Support Vector Regression）,用于构造稀疏性支持向量回归机。DSKR算法对ε-SVR（ε-Support Vector Regression）增加一个非凸约束,通过迭代优化的方式,得到稀疏性好的支持向量回归机。在人工数据集和真实世界数据集上研究DSKR算法的性能,实验结果表明,DSKR算法可以通过调控支持向量的数目,提高支持向量回归机的稀疏性,且具有较好的鲁棒性。     

支持向量机分类回归核函数

基于统计学习理论的支持向量机算法以其优秀的学习性能已广泛用于解决分类与回归问题。分类算法通过求两类样本之间的最大间隔来获得最优分离超平面,其几何意义相当直观,而回归算法的几何意义就不那么直观了。另外,有些适用于分类问题的快速优化算法岁不能用于回归算法中。研究了分类与回归算法之间的关系,为快速分类算法应用于回归模型提供了一定的理论依据。     

最小二乘双支持向量机的在线学习算法

针对具有两个非并行分类超平面的最小二乘双支持向量机,提出了一种在线学习算法。通过利用矩阵求逆分解引理,所提在线学习算法能充分利用历史的训练结果,避免了大型矩阵的求逆计算过程,从而降低了计算的复杂性。仿真结果验证了所提学习算法的有效性。     

求解双边加权模糊支持向量机的序贯最小优化算法

高的计算复杂度限制了双边加权模糊支持向量机在实际分类问题中的应用。为了降低计算复杂度,提出了应用序贯最小优化算法（SMO）解该模型,该模型首先将整个二次规划问题分解成一系列规模为2的二次规划子问题,然后求解这些二次规划子问题。为了测试SMO算法的性能,在三个真实数据集和两个人工数据集上进行了数值实验。结果表明：与传统的内点算法相比,在不损失测试精度的情况下,SMO算法明显地降低了模型的计算复杂度,使其在实际中的应用成为可能。     

增量回归支持向量机改进学习算法

传统的支持向量机不具有增量学习性能,而常用的增量学习方法具有不同的优缺点,为了解决这些问题,提高支持向量机的训练速度,文章分析了支持向量机的本质特征,根据支持向量机回归仅与支持向量有关的特点,提出了一种适合于支持向量机增量学习的算法(IRSVM),提高了支持向量机的训练速度和大样本学习的能力,而支持向量机的回归能力基本不受影响,取得了较好的效果。     

一种改进的在线最小二乘支持向量机回归算法

针对一般最小二乘支持向量机处理大规模数据集会出现训练速度幔、计算量大、不易在线训练的缺点,将修正后的遗忘因子矩形窗方法与支持向量机相结合,提出一种基于改进的遗忘因子矩形窗算法的在线最小二乘支持向量机回归算法,既突出了当前窗口数据的作用,又考虑了历史数据的影响.所提出的算法可减少计算量,提高在线辨识精度.仿真算例表明了该方法的有效性.     

一种训练支撑向量机的改进贯序最小优化算法

对于大规模问题,分解方法是训练支撑向量机主要的一类方法.在很多分类问题中,有相当比例的支撑向量对应的拉格朗日乘子达到惩罚上界,而且在训练过程中到达上界的拉格朗日乘子变化平稳.利用这一统计特性,提出了一种有效的缓存策略来加速这类分解方法,并将其具体应用于Platt的贯序最小优化(sequential minimization optimization,简称SMO) 算法中.实验结果表明,改进后的SMO算法的速度是原有算法训练的2~3倍.     

序贯最小优化的改进算法

序贯最小优化(sequential minimal optimization,简称SMO)算法是目前解决大量数据下支持向量机(support vector machine,简称SVM)训练问题的一种十分有效的方法,但是确定工作集的可行方向策略会降低缓存的效率.给出了SMO的一种可行方向法的解释,进而提出了一种收益代价平衡的工作集选择方法,综合考虑与工作集相关的目标函数的下降量和计算代价,以提高缓存的效率.实验结果表明,该方法可以提高SMO算法的性能,缩短SVM分类器的训练时间,特别适用于样本较多、支持向量较多、非有界支持向量较多的情况.     

一种改进的序贯最小优化算法

序贯最小优化(SMO)算法是目前解决支持向量机训练问题的一种十分有效的方法,但是当面对大样本数据时,SMO训练速度比较慢。本文分析了SMO迭代过程中目标函数值的变化情况,进而提出以目标函数值的改变量作为算法终止的判定条件。几个著名的数据集的试验结果表明,该方法可以大大缩短SMO的训练时间,特别适用于大样本数据。     

An Incremental Learning Strategy for Support Vector Regression

Support vector machine (SVM) provides good generalization performance but suffers from a large amount of computation. This paper presents an incremental learning strategy for support vector regression (SVR). The new method firstly formulates an explicit expression of ||W||² by constructing an orthogonal basis in feature space together with a basic Hilbert space identity, and then finds the regression function through minimizing the formula of ||W||² rather than solving a convex programming problem. Particularly, we combine the minimization of ||W||² with kernel selection that can lead to good generalization performance. The presented method not only provides a novel way for incremental SVR learning, but opens an opportunity for model selection of SVR as well. An artificial data set, a benchmark data set and a real-world data set are employed to evaluate the method. The simulations support the feasibility and effectiveness of the proposed approach.     

基于多蚁群算法的支持向量回归机参数选择方法

核函数是支持向量回归机的重要部分,每种核函数都有其优势和不足。本文基于支持向量机回归机模型相关参数的选取原则,给出了一种具有混合核函数的支持向量机,以基于网格搜索的多蚁群算法为基础,给出了此类混合核函数支持向量回归机参数优化的一种新方法。该方法以最小化交叉验证误差为目标,对包括混合比例和各类核函数的参数在内的5个参数进行优化。仿真结果表明,与遗传算法相比,本方法在参数优化方面有良好的性能,建立的预测模型精度较高。     

一种改进的最小二乘支持向量机及其应用

为了克服传统支持向量机训练速度慢、计算资源需求大等缺点,本文应用最小二乘支持向量机算法来解决分类问题。同时,本文指出了决策导向循环图算法的缺陷,采用自适应导向循环图思想来实现多类问题的分类。为了提高样本的学习速度,本文还将序贯最小优化算法与最小二乘支持向量机相结合,最终形成了ADAGLSSVM算法。考虑到最小二
乘支持向量机算法失去了支持向量的稀疏性,本文对支持向量作了修剪。实验结果表明,修剪后,分类器的识别精度和识别速度都得到了提高。     

基于自校正支持向量回归的锌产量在线预报模型及应用

提出了基于自校正支持向量回归的密闭鼓风炉锌产量在线预报模型，以便根据预报结果来调整参数，实现锌产量最大．在该模型中，支持向量回归的数学模型被转换成与支持向量分类一样的格式，然后采用简化的SMO方法训练回归系数向量a-a*和阈值b，并在训练过程中动态调整惩罚系数C．最后，给出锌产量的在线预报算法．仿真结果表明，该预报模型在只有较少的样本数的情况下，在有效误差范围内预报精度能达到90％，且具有很好的实时性．     

一种改进的显性多核支持向量机

在支持向量机(Support vector machine, SVM)中, 对核函数的定义非常重要, 不同的核会产生不同的分类结果. 如何充分利用多个不同核函数的特点, 来共同提高SVM学习的效果, 已成为一个研究热点. 于是, 多核学习(Multiple kernel learning, MKL)方法应运而生. 最近, 有的学者提出了一种简单有效的稀疏MKL算法,即GMKL (Generalized MKL)算法, 它结合了L1 范式和L2范式的优点, 形成了一个对核权重的弹性限定. 然而, GMKL算法也并没有考虑到如何在充分利用已经选用的核函数中的共有信息. 另一方面, MultiK-MHKS算法则考虑了利用典型关联分析(Canonical correlation analysis, CCA)来获取核函数之间的共有信息, 但是却没有考虑到核函数的筛选问题. 本文模型则基于这两种算法进行了一定程度的改进, 我们称我们的算法为改进的显性多核支持向量机 (Improved domain multiple kernel support vector machine, IDMK-SVM). 我们证明了本文的模型保持了GMKL 的特性, 并且证明了算法的收敛性. 最后通过模拟实验, 本文证明了本文的多核学习方法相比于传统的多核学习方法有一定的精确性优势.     

改进工作集选择策略的序贯最小优化算法

针对标准序贯最小优化(sequential minimal optimization, SMO)算法采用可行方向工作集选择策略所带来的缓存命中率低下问题,给出了SMO类型算法每次迭代所带来的目标函数下降量的二阶表达式,并据此提出了一种改进的工作集选择策略.新策略综合考虑算法收敛所需的迭代次数及缓存效率,从总体上减少了核函数计算次数,因此极大提高了训练效率,并且,它在理论上具有严格的收敛保障.实验结果表明,核函数越复杂,样本维度越高,缓存容量相对训练样本的规模越小,改进工作集选择策略的SMO算法相较于标准SMO算法的性能提高就越显著.