基于梯度算法的支持向量机参数优化方法

首先介绍最近出现的参数优化方法,概括了高效率的参数优化算法应具备的若干特点.然后提出了一种新的支持向量机参数优化方法.该方法先在局域内用混沌优化搜索局域最优点,再将此最优点作为梯度方向,通过改变局域范围跳出局部寻优区域.该方法降低了对性能函数连续且可微的要求,收敛速度快,最终优化解与支持向量机的参数初始值无关.最后,通过仿真实验表明了该方法具有更高的分类和回归准确率.     

混沌粒子群算法对支持向量机模型参数的优化

研究支持向量机模型优化问题,支持向量机的参数选择决定了其学习性能和泛化能力,由于在参数的选择范围内可选择的数量很多,在多个参数中进和盲目搜索最优参数是需要极大的时间代价,并且很难得到最优参数.常用的支持向量机优化方法有遗传算法、粒子群算法都存在易陷入局部极值,优化效果较差.为解决支持向量机参数寻优问题,提出一种基于混沌粒子群的支持向量机参数选择方法.将混沌理论引入粒子群优化算法中,从而提高种群的多样性和粒子搜索的遍历性,从而有效地提高了PSO算法的收敛速度和精度,得了优化支持向量机模型.并以信用卡案例数据作为研究对象进行了仿真,实验结果表明,混沌粒子群优化的SVM分类器比传统算法优化的SVM分类器的精度高和更高的效率,应用效果好.     

基于蚁群算法的支持向量机参数选择方法研究

支持向量机（SVM）的参数取值决定了其学习性能和泛化能力。对此,将SVM参数的选取看作参数的组合优化,建立组合优化的目标函数,采用蚁群算法（ACA）来搜索最优目标函数值。ACA是一种优化搜索方法,具有较强的鲁棒性、优良的分布式计算机制。仿真表明,ACA是选取SVM参数的有效方法,应用到函数逼近时有优良的性能。     

基于改进遗传算法的支持向量机参数优化方法

针对支持向量机算法在回归预测时由于参数选取不当导致过学习或欠学习的情况,提出一种基于改进遗传算法的支持向量机参数优化模型。该模型将遗传算法与支持向量机结合,利用遗传算法进化搜索的原理对支持向量机具有重要意义的惩罚参数、核参数和损失函数同时优化。实验选取3组标准数据集作为测试数据集,并将改进算法同时与遗传算法、网格寻址算法、粒子群算法进行仿真测试结果对比。实验结果表明改进的算法较大地提高了支持向量机算法整体的寻优能力。     

基于蚁群算法的支持向量机参数选择方法研究

研究支持向量参数选择优化问题,常用的支持向量机参数优化算法和遗传算法分别存在耗时长和易陷入局部最优值的缺陷,导致支持向量机的分类精度低.为了解决支持向量机参数优化问题,提出了基于蚁群算法的SVM分类器泛化方法.蚁群算法是一种优化搜索方法,具有较强的鲁棒性、优良的分布式计算机制,SVM参数的选取看作参数的组合优化,建立组...     

支持向量机中优化算法

1 引言对基于数掘的机器学习研究是目前计算智能技术的基础性工作之一,旨在从观测数据出发基于统计学理论采用相关技术对研究对象建立可信的模型,利用这一模型对未来实验作出指导性的预测。相关技术包括聚类分析、模式识别、神经网络等等。现有的学习方法多是基于样本数趋于无穷大时的渐进理论。可是在实际科研工作中,有时候很难获得较为充足     

基于改进遗传算法的支持向量机参数优化

支持向量机是一种非常有前景的学习机器,但是,支持向量机参数的选取一直没有一套成熟的理论,这给支持向量机的应用带来了很大的不便.为此,本文提出了基于改进遗传算法的支持向量机的参数优化方法,利用遗传算法的全局搜索能力得到支持向量机的最优参数值.仿真实验结果表明,得到的参数可使支持向量机具有良好的泛化性能,此方法切实有效.     

十折交叉检验的支持向量机参数优化算法

针对支持向量机结构参数的选取在没有理论支持,选取又比较困难的情况下,提出了一种基于遗传算法和十折交叉检验相结合的遗传支持向量机(GA-SVM)算法,利用遗传算法的全局搜索特性得到SVM的最优参数值,有效提高了分类的精度和效率。     

基于混沌机制的人工蜂群算法优化的支持向量机分类器

支持向量机的分类性能在很大程度上取决于其相关参数的选择,为了改善支持向量机的分类准确率,本文采用基于混沌机制的人工蜂群算法对其参数进行优化。在传统人工蜂群算法的基础上,采用Logistic混沌映射初始化种群和锦标赛选择策略,进一步提高人工蜂群算法的收敛速度和寻优精度。该方法采用分类准确率作为适应度函数,利用人工蜂群算法对支持向量机的惩罚因子和核函数参数进行优化。通过对多个标准数据集的分类测试,证明基于混沌机制的人工蜂群算法优化的支持向量机分类器能够获得更高的分类准确率。     

基于差分进化算法的支持向量回归机参数优化

支持向量机是结构风险最小化原理的一种新型学习技术,被广泛应用到很多工业控制领域中,良好的泛化能力和预测精度在很大程度上受到参数选取的影响.传统参数选择方法易陷入局部最优,为提高优化识别参数的精度和效率,提出基于差分进化算法的支持向量回归机参数优化算法.以均方误差最小为优化准则,差分进化算法的全局寻优能力,搜索支持向量回归机的最优参数组合,达到对参数的最优选择.通过Matlab进行仿真实验,结果表明改进的算法不仅加快参数搜索和优化的速度,而且选择的最优参数能大大提高支持向量机预测精度和泛化能力,并具有良好的鲁棒性和较强的全局寻优能力.     

拟牛顿算法在SVM内核优化中的应用

使用SVM进行分类,超参数的选择非常重要,它直接影响分类的性能。在实际应用中,最优SVM算法参数选择还只能是凭借经验、实验对比、大范围的搜寻或者利用软件包提供的交叉确认功能进行寻优。而拟牛顿算法,可在一个校验集上最小化一个经验误差估计来优化SVM的超参数,使超参数在分类任务中达到最优值,从而取得理想的分类结果。该文对拟牛顿算法进行了探讨,并将其应用在基于SVM的羽绒识别系统中,实验结果表明,该算法是有效的,与未经过超参数优化的SVM分类器相比,羽绒的识别率有了较大提高。     

基于遗传算法的支撑向量机的特征选取

提出了一种支撑向量机（SVM）的特征提取方法,该方法使得所提取的特征向量能最小化SVM推广性的界,同时设计了一种有效的遗传算法来实现该方法。模拟数据和心电信号等识别问题的实验结果验证了该方法的有效性。     

改进的支持向量机特征选择算法

针对采用支持向量机进行分类的特征子集选择问题,提出一种改进的基于梯度向量的特征评测算法。该算法在核特征空间中,利用数据点到分类超平面的距离函数的梯度向量对各个特征的重要性进行排序,省去了已有算法中计算梯度向量与各个坐标轴夹角的过程,实验结果表明,该算法简化了已有的基于角度的特征选择方法,并且结果保持一致。     

用混沌理论优化SVM核参数的研究

混沌优化算法是一种有效的全局优化算法,其计算复杂度较低,搜索速度快。支持向量机是近年来新兴的模式识别方法,在解决小样本、非线性及高维模式识别问题中表现出了突出的优点。但支持向量机的识别性能对于参数的选择是敏感的,提出用混沌优化算法来优化支持向量机的参数,不仅提高了支持向量机的性能,而且解决了传统的选取参数方法计算量大、参数多时难以奏效的问题。仿真结果表明性能较好、计算量较少。     

支持向量机新模型及其参数特性研究

支持向量机C-SVM及υ-SVM是目前两种最为成熟的模型,但是从形式到算法、从参数特性到参数含义,它们都相互不同,这给人们的选择带来不便。为了将这两种SVM模型统一起来,提出一种新的模型Cυ-SVM,并依据统计学习理论,研究它的解的特性。给出了新模型解的完备性条件,找出它的解及其相应的算法,并指出了υ/C既是边界支持向量个数的上界,又是支持向量总数的下界。参数设置说明,新模型完全可以实现旧模型的所有功能,而新的算法更加方便诸如文本自动分类等领域的使用。     

基于人工免疫的支持向量机模型选择算法

支持向量机中参数设置对训练支持向量机分类的精确度有不可忽视的影响。支持向量机参数的选取可看作参数的组合优化。免疫算法是一种有效的随机全局优化技术,它具有不易陷入局部最优解、解精度高、收敛速度快等优点。该文利用人工免疫算法进行支持向量机模型选择。该算法主要包括克隆选择、高频变异、受体编辑等操作。试验证明,该算法能够有效提高支持向量机分类的正确性。     

支持向量机回归的参数选择方法

综合4种支持向量机回归的参数选择方法的优点,提出一种对训练样本进行分析并直接确定参数的方法。在标准测试数据集上的试验证明,该方法与传统网格搜索法相比,在时间和预测精度方面取得了更好的结果,可以较好地解决支持向量机在实际应用中参数难以选择、消耗时间长的问题。     

基于几何判据的SVM参数快速选择方法

支持向量机中核函数及其参数的选择具有重要意义。提出一种基于高斯核函数的支持向量机参数对快速求取方法,根据支持向量之间的几何判据,结合线性搜索法完成参数寻优,具有简单、计算量小、易于实现的优点。实验结果表明,该方法较好地解决了高斯核函数参数在实际使用中不易确定的问题,且运算速度高于原有方法。     

Using Sequential Unconstrained Minimization Techniques to simplify SVM solvers

In this paper, we apply Sequential Unconstrained Minimization Techniques (SUMTs) to the classical formulations of both the classical L1 norm SVM and the least squares SVM. We show that each can be solved as a sequence of unconstrained optimization problems with only box constraints. We propose relaxed SVM and relaxed LSSVM formulations that correspond to a single problem in the corresponding SUMT sequence. We also propose a SMO like algorithm to solve the relaxed formulations that works by updating individual Lagrange multipliers. The methods yield comparable or better results on large benchmark datasets than classical SVM and LSSVM formulations, at substantially higher speeds.     

SVM在阵列信号定位中的应用

函数拟合属于基于数据学习的问题。支持向量机是由Vapnik等人提出的小样本统计理论——统计学习理论发展而来的一种新的通用学习算法,特别在高维空间中表示复杂函数。该文叙述了基于支持向量机的函数拟合预测信源在水域中的位置,并仿真了在不同参数时所收到的不同结果。在小样本情况下,采用较大的惩罚值,就可以得到较高的精确率;同时测试了环境参数确定情况下,采用的样本数多也不一定能取得更佳的精确率,可见,在小样本情况下,样本数并不是主要因素。