基于预备工作集的最小序列优化算法*

为了提高支持向量机求解大规模问题的训练速度,提出了一种新的工作集选择策略--预备工作集策略:在SMO中,利用可行方向策略提取最大违反对的同时,从核缓存cache中提取违反KKT条件程度最大的一系列样本组成预备工作集,为此后历次SMO迭代优化提供工作集.该方法提高了核缓存的命中率,减少了工作集选择的代价.理论分析和实验结果表明,预备工作集策略能够很好地胜任待优化的工作集,加快了支持向量机求解大规模问题的训练速度.     

序贯最小优化的改进算法

序贯最小优化(sequential minimal optimization,简称SMO)算法是目前解决大量数据下支持向量机(support vector machine,简称SVM)训练问题的一种十分有效的方法,但是确定工作集的可行方向策略会降低缓存的效率.给出了SMO的一种可行方向法的解释,进而提出了一种收益代价平衡的工作集选择方法,综合考虑与工作集相关的目标函数的下降量和计算代价,以提高缓存的效率.实验结果表明,该方法可以提高SMO算法的性能,缩短SVM分类器的训练时间,特别适用于样本较多、支持向量较多、非有界支持向量较多的情况.     

MLSVM4--一种多乘子协同优化的SVM快速学习算法

贯序最小优化（SMO）算法是解决大数据集支持向量机学习问题的一种有效方法,但SMO选择工作集的策略是选择数据集中最违背KKT条件的两个样本,而且还使用了随机函数,使得优化过程具有很大的随机性,影响了学习效率．在多拉格朗日乘子协同优化的通用公式基础上,吸收了Keerthi所提出的SMO修改算法中双阈值的优点,给出了乘子数为4时的一个算法MLSVM4,由于能更加精确地确定待优化样本的拉格朗日乘子值,使得学习收敛速度大大提高,特别是在使用线性核的场合下效果更加明显,在Adult、Web、手写体数字数据集上的实验结果表明,MLSVM4算法速度超过了SMO算法3到42倍．     

并行SMO改进算法的研究与实现

针对支持向量机SMO训练算法在遇到大规模问题时训练过慢的问题,提出了一种改进的工作集选择模型的并行算法.在该算法中,根据支持向量机训练过程中的特点,提出了限定工作集选择次数、工作集选择的过程中跳过稳定样本的策略.对该SMO算法进行并行训练,3组著名数据集的实验结果表明,该模型在保持精度的情况下,进一步提高了训练的速度.     

一种快速加权支持向量机训练算法*

给出了一种利用目标函数的二阶信息选择工作集训练加权支持向量机的算法,导出了加权支持向量机的KKT条件.实验结果表明,与利用目标函数的一阶近似信息选择工作集的训练算法相比,该算法减少了训练迭代次数,特别是训练集规模较大时,该算法的收敛速度有较大幅度的提高.     

间隔值辅助的SMO算法改进研究

顺序最小优化（SMO）算法是现今求解支持向量机（SVM）的最优秀算法之一,其效率直接影响到SVM的训练效率。为提高SVM的训练效率,提出了一种间隔值辅助的SMO改进算法。通过一定量的经验性实验,统计总结出了间隔值随迭代次数变化的规律,即该变化呈铰链函数形态,起始阶段下降很快,经过一小段缓慢变化期后进入间隔值几乎无变化的水平区域。由此,提出并实现了SMO改进算法,通过跟踪间隔值随迭代次数的变化率,待越过拐点一小段时间后终止算法以缩短SVM训练时间。对比实验以及k分类的交叉验证（k-CV）证明,改进后的SMO算法在保持原有算法的模型预测能力的基础上,能够产生至少45%的效率提升。     

基于多策略融合的改进人工蜂群算法

针对标准人工蜂群算法存在易陷入局部最优、收敛速度慢等缺陷,提出一种基于多策略融合的改进人工蜂群算法。为了避免陷入局部最优,引入可调压排序选择策略,以保证种群的多样性;同时,通过跟随蜂阶段将线性调整全局引导策略、自适应动态调整因子策略与标准人工蜂群算法的更新策略组成一个动态调整策略集,通过比较食物源的当前质量值与上次迭代质量值对动态策略进行调整,以加快算法的收敛速度。利用标准测试函数进行实验仿真,结果表明该算法不仅提高了求解精度,而且加快了收敛速度,迭代次数明显减少。     

基于改进CMGA模糊规则优化及应用

针对压缩映射遗传算法(CMGA)操作效率太低,收敛至最优解迭代次数太多的问题,采用了近亲交叉回避策略改进压缩映射遗传算法,不但保证收敛到全局最优解,而且提高了算法的收敛速度和操作效率.为了能对具体被控对象的性能进行有选择性的控制,分析了ITAE积分性能指标作为目标函数的缺点,在目标函数中增加了超调量、控制量和上升时间等综合因素,得到了性能更好的目标函数,应用于改进压缩映射遗传算法的适应度函数,并把以上改进算法的模糊规则优化应用于地板采暖系统,与模糊控制、未改进的压缩映射遗传算法优化模糊控制进行比较,提高了系统的控制效率,简化了模糊控制器的设计难度.仿真结果证明该方法在地板采暖系统中的有效性.     

基于IPSO-LS-SVM的异步电动机转子故障诊断

针对异步电动机转子的故障诊断问题,为了提高诊断精度和诊断效率,提出基于混合核函数的最小二乘支持向量机与改进的粒子群算法相结合(IPSO-LS-SVM)的故障诊断方法.首先对PSO的惯性权值策略进行研究,给出一种非线性递减惯性权值策略,然后利用改进后的PSO优化基于混合核函数的LS-SVM,最后,应用改进算法完成转子的故障诊断.结果表明,改进算法通过较少的迭代次数即寻找到最优参数,克服了陷入局部极小值的缺陷,诊断效率和诊断精度都得到了提升.     

基于动态评价选择策略的改进人工蜂群算法

针对标准人工蜂群(ABC)算法易陷入局部极值的问题,对标准ABC算法的轮盘赌选择机制进行了修改,提出了一种基于动态评价选择策略的改进人工蜂群(DSABC)算法。首先,根据到当前为止一定迭代次数内蜜源位置的连续更新或停滞次数,对每个蜜源位置进行动态评价;然后,利用所得的评价函数值为蜜源招募跟随蜂。在6个经典测试函数上的实验结果表明:与标准ABC算法相比,动态评价选择策略改进了标准ABC算法的选择机制,使得DSABC算法的求解精度有较大幅度提高,特别是对于两种不同维数的Rosenbrock函数,所得最优值的绝对误差分别由0.0017和0.0013减小到0.000049和0.000057;而且,DSABC算法克服了进化后期因群体位置多样性丢失较快而产生的早熟收敛现象,提高了整个种群的收敛精度及解的稳定性,从而为函数优化问题提供了一种高效可靠的求解方法。     

Working set selection using functional gain for LS-SVM

The efficiency of sequential minimal optimization (SMO) depends strongly on the working set selection. This letter shows how the improvement of SMO in each iteration, named the functional gain (FG), is used to select the working set for least squares support vector machine (LS-SVM). We prove the convergence of the proposed method and give some theoretical support for its performance. Empirical comparisons demonstrate that our method is superior to the maximum violating pair (MVP) working set selection.     

Efficient SVM Regression Training with SMO

The sequential minimal optimization algorithm (SMO) has been shown to be an effective method for training support vector machines (SVMs) on classification tasks defined on sparse data sets. SMO differs from most SVM algorithms in that it does not require a quadratic programming solver. In this work, we generalize SMO so that it can handle regression problems. However, one problem with SMO is that its rate of convergence slows down dramatically when data is non-sparse and when there are many support vectors in the solution—as is often the case in regression—because kernel function evaluations tend to dominate the runtime in this case. Moreover, caching kernel function outputs can easily degrade SMO's performance even more because SMO tends to access kernel function outputs in an unstructured manner. We address these problems with several modifications that enable caching to be effectively used with SMO. For regression problems, our modifications improve convergence time by over an order of magnitude.     

一种改进的支持向量机学习算法

分析支持向量机的几种常用的训练方法,在这个基础上提出一种改进的支持向量机学习方法。该方法将违反KKT条件程度最厉害的样本提取出来,然后缓存这些样本,作为工作集的选择范围,而且根据训练时缓存的特点,在缓存的替换上给出一种新的方法。该方法提高核缓存的命中率,减少工作集选择的代价,从而减少训练时间。实验表明,该方法能够很好地提高支持向量机的训练速度。     

First and Second Order SMO Algorithms for LS-SVM Classifiers

Least squares support vector machine (LS-SVM) classifiers have been traditionally trained with conjugate gradient algorithms. In this work, completing the study by Keerthi et al., we explore the applicability of the SMO algorithm for solving the LS-SVM problem, by comparing First Order and Second Order working set selections concentrating on the RBF kernel, which is the most usual choice in practice. It turns out that, considering all the range of possible values of the hyperparameters, Second Order working set selection is altogether more convenient than First Order. In any case, whichever the selection scheme is, the number of kernel operations performed by SMO appears to scale quadratically with the number of patterns. Moreover, asymptotic convergence to the optimum is proved and the rate of convergence is shown to be linear for both selections.     

回归支持向量机的改进序列最小优化学习算法

支持向量机(support vector machine,简称SVM)是一种基于结构风险最小化原理的学习技术,也是一种新的具有很好泛化性能的回归方法,提出了实现回归支持向量机的一种改进的SMO(sequential minimal optimization)算法,给出了两变量子优化问题的解析解,设计了新的工作集选择方法和停止条件,仿真实例说明,所提出的SMO算法比原始SMO算法具有更快的运算速度.     

支持向量机分解算法研究

分解算法是目前大量数据下支持向量机最主要训练方法。各种分解算法的区别在于工作集的大小、产生原则以及子QP问题的求解方法不同。介绍分解算法的产生以及发展过程,以及相应的工作集选择算法,重点指出分解算法在子工作集优化方法、工作集的选择策略所采用的新的方法以及有关收敛性的证明。     

一种基于核的快速非线性鉴别分析方法

基于“核技巧”提出的新的非线性鉴别分析方法在最小二乘意义上与基于核的Fisher鉴别分析方法等效,相应鉴别方向通过一个线性方程组得出,计算代价较小,相应分类实现极其简便．该方法的最大优点是,对训练数据进行筛选,可使构造鉴别矢量的“显著”训练模式数大大低于总训练模式数,从而使得测试集的分类非常高效;同时,设计出专门的优化算法以加速“显著”训练模式的选取．实验表明,这种非线性方法不仅具有明显的效率上的优势,且具有不低于基于核的Fisher鉴别分析方法的性能．