共查询到20条相似文献,搜索用时 31 毫秒
1.
2.
加快SMO算法训练速度的策略研究 总被引:1,自引:0,他引:1
SMO(序贯最小优化算法)算法是目前解决支持向量机训练问题的一种十分有效的方法,但是当面对大样本数据时,SMO训练速度比较慢。考虑到在SVM的优化过程中并不是所有样本都能影响优化进展,提出了两种删除样本的策略:一种是基于距离,一种是基于拉格朗日乘子的值。在几个著名的数据集的试验结果表明,两种策略都可以大大缩短SMO的训练时间,特别适用于大样本数据。 相似文献
3.
针对支持向量机SMO训练算法在遇到大规模问题时训练过慢的问题,提出了一种改进的工作集选择模型的并行算法.在该算法中,根据支持向量机训练过程中的特点,提出了限定工作集选择次数、工作集选择的过程中跳过稳定样本的策略.对该SMO算法进行并行训练,3组著名数据集的实验结果表明,该模型在保持精度的情况下,进一步提高了训练的速度. 相似文献
4.
在序列最小优化(Sequential Minimal Optimization,SMO)算法训练过程中,采用标准的KKT(Karush-KuhnTucker)条件作为停机准则会导致训练后期速度下降。由最优化理论可知,当对偶间隙为零时,凸二次优化问题同样可以取得全局最优解。因此本文将对偶间隙与标准KKT条件同时作为SMO算法的停机准则,从而提出了改进停机准则的SMO算法。在保证训练精度的情况下,提高了SMO算法的训练速度。通过对一维和二维函数的两个仿真实验,验证了改进SMO算法的有效性。 相似文献
5.
6.
在对两种SVM学习算法(SMO和SVMlight)进行分析的基础上,提出了一种改进的基于集合划分和SMO的算法SDBSMO。该算法根据样本违背最优化条件的厉害程度将训练集划分为多个集合,每次迭代后利用集合信息快速更新工作集和相关参数,从而减少迭代开销,提高训练速度。实验结果表明该算法能很好地提高支持向量机的训练速度。 相似文献
7.
顺序最小优化(SMO)算法是现今求解支持向量机(SVM)的最优秀算法之一,其效率直接影响到SVM的训练效率。为提高SVM的训练效率,提出了一种间隔值辅助的SMO改进算法。通过一定量的经验性实验,统计总结出了间隔值随迭代次数变化的规律,即该变化呈铰链函数形态,起始阶段下降很快,经过一小段缓慢变化期后进入间隔值几乎无变化的水平区域。由此,提出并实现了SMO改进算法,通过跟踪间隔值随迭代次数的变化率,待越过拐点一小段时间后终止算法以缩短SVM训练时间。对比实验以及k分类的交叉验证(k-CV)证明,改进后的SMO算法在保持原有算法的模型预测能力的基础上,能够产生至少45%的效率提升。 相似文献
8.
一种训练支撑向量机的改进贯序最小优化算法 总被引:17,自引:0,他引:17
对于大规模问题,分解方法是训练支撑向量机主要的一类方法.在很多分类问题中,有相当比例的支撑向量对应的拉格朗日乘子达到惩罚上界,而且在训练过程中到达上界的拉格朗日乘子变化平稳.利用这一统计特性,提出了一种有效的缓存策略来加速这类分解方法,并将其具体应用于Platt的贯序最小优化(sequential minimization optimization,简称SMO) 算法中.实验结果表明,改进后的SMO算法的速度是原有算法训练的2~3倍. 相似文献
9.
10.
序贯最小优化的改进算法 总被引:26,自引:0,他引:26
序贯最小优化(sequential minimal optimization,简称SMO)算法是目前解决大量数据下支持向量机(support vector machine,简称SVM)训练问题的一种十分有效的方法,但是确定工作集的可行方向策略会降低缓存的效率.给出了SMO的一种可行方向法的解释,进而提出了一种收益代价平衡的工作集选择方法,综合考虑与工作集相关的目标函数的下降量和计算代价,以提高缓存的效率.实验结果表明,该方法可以提高SMO算法的性能,缩短SVM分类器的训练时间,特别适用于样本较多、支持向量较多、非有界支持向量较多的情况. 相似文献
11.
12.
改进工作集选择策略的序贯最小优化算法 总被引:3,自引:0,他引:3
针对标准序贯最小优化(sequential minimal optimization, SMO)算法采用可行方向工作集选择策略所带来的缓存命中率低下问题,给出了SMO类型算法每次迭代所带来的目标函数下降量的二阶表达式,并据此提出了一种改进的工作集选择策略.新策略综合考虑算法收敛所需的迭代次数及缓存效率,从总体上减少了核函数计算次数,因此极大提高了训练效率,并且,它在理论上具有严格的收敛保障.实验结果表明,核函数越复杂,样本维度越高,缓存容量相对训练样本的规模越小,改进工作集选择策略的SMO算法相较于标准SMO算法的性能提高就越显著. 相似文献
13.
超球体单类支持向量机的SMO训练算法 总被引:3,自引:0,他引:3
由于One-class支持向量机能用于无监督学习,被广泛用于信息安全、图像识别等领域中.而超球体One class支持向量机能生成一个合适的球体,将训练样本包含其中,故更适合于呈球形分布的样本学习.但由于超球体One-class支持向量机没有一种快速训练算法,使其在应用中受到限制.SMO算法成功地训练了标准SVM,其训练思想也可用于超球体One-class支持向量机的训练.本文提出了超球体One-class支持向量机的SMO训练算法,并对其空间和时间复杂度进行了分析.实验表明,这种算法能迅速、有效地训练超球体One-class支持向量机. 相似文献
14.
提高超大规模SVM训练计算速度的研究 总被引:2,自引:0,他引:2
近年来用支持向量机(Support Vector Machine)解决大样本问题的尝试日渐增多.限制SVM在大样本问题中应用的一个关键因素是SVM训练所引出的超大规模二次规划问题无法由标准的二次规划方法所解决.SMO算法(Sequential Minimal Optimization)是一种有发展前途的大规模SVM训练算法,我们用块算法的思想对其进行了改进,并称改进后的算法为分块SMO算法(CSMO).新算法对于带有小支持向量集的超大样本问题在速度方面具有明显的优势. 相似文献
15.
16.
近年来,随着序列最小优化分类算法SMO等一系列快速算法的推出,支持向量机在自动文本分类研究领域取得了很大的成功。大多数文本分类问题是线性可分的,使用线性核函数的SMO算法能够取得非常好的分类效果。但是文本向量是一种非常稀疏的向量,采用线性核函数的SMO算法对噪声样本非常敏感,容易产生发散的问题。文章分析证明了噪声如何影响SMO算法收敛性。为了解决训练样本中噪声样本影响SMO算法收敛的问题,设计了一个消除噪声样本的算法,取得了非常好的效果。 相似文献
17.
18.
回归支持向量机的改进序列最小优化学习算法 总被引:20,自引:1,他引:20
支持向量机(support vector machine,简称SVM)是一种基于结构风险最小化原理的学习技术,也是一种新的具有很好泛化性能的回归方法,提出了实现回归支持向量机的一种改进的SMO(sequential minimal optimization)算法,给出了两变量子优化问题的解析解,设计了新的工作集选择方法和停止条件,仿真实例说明,所提出的SMO算法比原始SMO算法具有更快的运算速度. 相似文献
19.
20.
不同种类支持向量机算法的比较研究 总被引:3,自引:0,他引:3
谢承旺 《小型微型计算机系统》2008,29(1):106-109
介绍一种新型的机器学习方法-支持向量机.论述了不同种类支持向量机算法并指出了每种算法的优劣.实验结果显示了核函数中选择合适的参数对分类器的效果是很重要的,通过实验还重点比较了Chunking、SMO和SVMlight三种典型分解算法,并分析了训练速度优劣的原因.文章最后给出了今后SVM研究方向的一些预见. 相似文献