ε-支持向量回归机算法及其应用

针对现有传统的一些图像去噪方法难以获得清晰图像边缘的问题,提出了利用ε-SVR技术构建图像去噪滤波器的新方法。ε-支持向量回归机通过引入ε不敏感损失函数,可以实现具有较强鲁棒性的回归,而且回归估计是稀疏的,保留了SVM的所有优点。分析了ε-支持向量回归机理论算法及其在图像去噪中的应用,使用ε-支持向量回归机对图像进行滤波并且与最小值滤波、均值滤波和维纳滤波等常用的滤波方法相比较,还比较了SVM各种核函数对不同噪声的滤波效果和分析了不同阶数的Multinomial核的滤波效果。实验结果表明了ε-支持向量回归机能够有效地去除噪声,不但信噪比较高而且比较清晰,同时具有良好的稀疏性。     

基于GA的ε-支持向量机参数优化研究

ε-支持向量机（ε-Support Vector regression Machine,SVM）是一种非常有前景的学习机器,它的回归算法已经成功应用到解决非线性函数的逼近问题。但ε-SVM参数的选择大多数是依靠经验选取,这不仅依赖于计算者的水平,还不能获得最佳函数逼近效果,很大程度上限制了该算法的发展。提出了基于遗传算法的ε-SVM参数选择方法。将该方法应用于测试函数,表明预测精度高,具有一定的推广意义。     

一种求ε-不敏感支持向量回归机光滑函数的新方法

2008年熊金志等人提出了一种求光滑函数的方法,就理论而言可求得ε-不敏感支持向量回归机的无穷个光滑函数,但该方法每次都需要对光滑函数的导数进行积分,推导过程很繁琐。为克服这个缺点,本文利用支持向量分类机的光滑函数,通过相关的理论推导,用新的递推方式来表示支持向量回归机的光滑函数,简化了原方法的推导过程,得到了一种求支持向量回归机光滑函数的新方法。通过用原方法和新方法分别求光滑函数的两个算例,表明了新方法的有效性。还用新方法导出了光滑函数的一个重要性质,即光滑函数关于光滑阶数是单调减函数,为进一步研究光滑支持向量回归机提供了理论依据。     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

支持向量机在钻井工程数据拟合中的应用

支持向量机(SVM)是近年来发展起来的一种通用的机器学习方法,在小样本数据的拟合中已获得了很好的效果。对于常见的支持向量回归机方法:ε-支持向量回归机和最小二乘支持向量回归机进行了归纳总结,并给出了一具体应用案例。     

ε-不敏感的光滑支持向量回归机的收敛性

?-不敏感的光滑支持向量回归机采用快速的迭代方法进行求解,使回归性能及效率得到了提高,但并没有考虑该回归机的收敛性。针对该问题,采用集合论等方法,通过相关的理论推导,证明该光滑支持向量回归机对任意给定的惩罚参数都是全局收敛的,并给出它的收敛上界,为该光滑支持向量机提供了基本的理论支持。     

非对称ν-无核二次曲面支持向量回归机

针对回归问题提出了非对称[ν]-无核二次曲面支持向量回归机。通过引入Pinball损失函数,使得位于[ε]带上方和下方的样本点具有不同的惩罚,从而得到更优的回归函数。进一步从理论上分析了参数[p]和[ν]控制[ε]带上方和下方错误样本点数目的上界。当[p=0.5]时,该方法就退化成了对称[ν]-无核二次曲面支持向量回归机,此时也证明了参数[ν]可控制支持向量的个数。事实上,该算法不需要使用核函数,从而避免了核参数的选择且不损失决策函数的可解释性。数值实验部分展示了该算法具有更好的拟合性能且耗时较少,也分析了参数[p]不会增加计算成本。     

回归支持向量机SMO算法的改进

在Smola 和Sch?觟lkopf的SMO算法中,由于使用了单一的极限值而使得算法的效果没有完全表现出来。使用KKT条件来检验二次规划问题,使用两个极限参量来对回归SMO算法进行改进。通过对比实验,这一改进算法在执行速度上表现出了非常好的性能。     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

支持向量回归机的光滑函数研究

光滑数能将不光滑模型变为光滑模型,改善支持向量机的回归性能和效率.Lee等人用一个光滑函数逼近ε-不敏感损失函数的平方,提出ε-不敏感的光滑支持向量回归机模型(ε-SSVR).本文为求ε-不敏感支持向量回归机的新光滑函数,运用插值函数和复合函数的方法,首先求正号函数的光滑逼近,然后将其复合成ε-不敏感损失函数平方的光滑函数,得到一类新的光滑函数.并从理论上证明该类光滑函数的逼近精度比以往的光滑函数高一个数量级.实验结果表明回归效果得到改善,从而为支持向量回归机提供一类新的光滑函数.     

Lagrange支持向量回归机算法研究

支持向量回归机问题的研究远没有像支持向量机问题成熟完善,支持向量回归机对函数拟合(回归逼近)具有重要的理论和应用意义.借鉴分类问题的有效算法,将其推广到回归问题中来,针对Lagrange支持向量机(LSVM)算法,提出了有效的Lagrange支持向量回归机(LSVR)算法,在若干不同维数的数据集上,对LSVR算法、ASVR算法和LibSVM算法进行数值试验,并进行比较分析.数值试验表明LSVR算法是有效的,与当前流行的求解支持向量回归机的算法相比,在时间和正确度上都有一定的优势.     

利用支持向量回归机设计IDS的检测算法

为提高网络入侵检测系统中检测算法的分类精度,降低训练样本及学习时间,提出一种新的基于支持向量回归机的检测算法。算法首先归一化处理训练样本数据,然后精确调节松弛惩罚因子,最后使用KDD CUP 1999数据集进行仿真实验,结果表明本算法可以提高入侵检测的准确性和有效性,并能够降低误报率。     

ε-支持向量回归机算法及其应用

针对现有传统的一些图像去噪方法难以获得清晰图像边缘的问题,提出了利用ε-SVR技术构建图像去噪滤波器的新方法。ε-支持向量回归机通过引入ε不敏感损失函数,可以实现具有较强鲁棒性的回归,而且回归估计是稀疏的,保留了SVM的所有优点。分析了ε-支持向量回归机理论算法及其在图像去噪中的应用,使用ε-支持向量回归机对图像进行滤波并且与最小值滤波、均值滤波和维纳滤波等常用的滤波方法相比较,还比较了SVM各种核函数对不同噪声的滤波效果和分析了不同阶数的Multinomial核的滤波效果。实验结果表明了ε-支持向量回归机能够有效地去除噪声,不但信噪比较高而且比较清晰,同时具有良好的稀疏性。     

基于梯度算法的支持向量机参数优化方法

首先介绍最近出现的参数优化方法,概括了高效率的参数优化算法应具备的若干特点.然后提出了一种新的支持向量机参数优化方法.该方法先在局域内用混沌优化搜索局域最优点,再将此最优点作为梯度方向,通过改变局域范围跳出局部寻优区域.该方法降低了对性能函数连续且可微的要求,收敛速度快,最终优化解与支持向量机的参数初始值无关.最后,通过仿真实验表明了该方法具有更高的分类和回归准确率.     

支持向量机分类回归核函数

基于统计学习理论的支持向量机算法以其优秀的学习性能已广泛用于解决分类与回归问题。分类算法通过求两类样本之间的最大间隔来获得最优分离超平面,其几何意义相当直观,而回归算法的几何意义就不那么直观了。另外,有些适用于分类问题的快速优化算法岁不能用于回归算法中。研究了分类与回归算法之间的关系,为快速分类算法应用于回归模型提供了一定的理论依据。     

基于支持向量回归机的HHT边界效应处理

针对希尔伯特-黄变换中的边界效应，提出了基于支持向量回归机的时间序列预测方法．在支持向量回归机的应用当中，参数的选取对它的泛化性能有很大影响．在讨论了参数对支持向量回归机的泛化性能的影响基础上，提出了通过微粒群优化算法来优化支持向量回归机参数的方法，使得支持向量回归机在应用中能够自适应的选择最优参数，从而获得了更好的泛化性能，提高了在端点处的延拓精度，很好地抑制了端点效应．试验表明，该优化算法能够很好解决支持向量回归机的参数选取问题．通过与神经网络的延拓方法和黄等人的HHTDPS结果对比，基于支持向量回归机的时间序列预测方法可以更好地解决在希尔伯特-黄变换中存在的边界效应，得到的固有模态函数具有较小的失真．     

基于支持向量回归机的股票价格预测

研究股票价格预测问题,股票价格变化具有非线性、时变性,传统线性预测模型难以准确刻画股价变化规律,且非线性神经网络存在过拟合、局部最小等缺陷,预测精度比较低。为提高股票价格预测精度,提出一种基于粒子群优化支持向量机的股票价格预测模型。利用粒子群算法良好的寻优能力,对支持向量机参数进行优化,加快支持向量机学习速度,再采用非线性预测能力优异的支持向量机对股票价格进行预测。以南天信息股票价格对模型性能进行仿真,实验结果证明,支持向量机预测模型能全面反映股票价格变化的非线性的时变规律,获得更高预测精度,预测结果对股民实际操作具有较大的指导价值。     

基于启发式信息的支持向量机规则抽取

提出一种基于启发式信息的支持向量机规则抽取方法,解决了规则抽取中处理连续属性困难的问题。将支持向量回归（SVR）分类超曲面位置和形状特征作为启发式信息指导属性选择和属性区间的合理分割,然后给出了分类规则抽取的具体算法。通过UCI中多个数据集进行测试,证明与其他规则抽取方法相比,该方法显著提高了分类规则抽取的效率,尤其对复杂的分类问题。     

基于ε-支持向量回归理论的区域交通信号智能控制

城市交通信号控制是当前智能交通领域的研究热点之一.针对区域交通信号协同控制的实时性和准确性,提出一种基于ε-支持向量回归(SVR)非线性回归理论的智能控制方法(ICSRTS).该方法在无线传感网络结构的基础上结合已有的数据汇聚算法,并采用分簇策略将区域交通控制系统建模成一类集成信息调度与控制的离散切换系统.在离散切换系统中,不仅考虑了数据包传输的网络时延和丢包率,而且观测器利用改进的ε-SVR训练方法实现对多数据源融合的交通信号状态的在线预测并通过控制器进行总体协调控制.运用Lyapunov函数方法验证了该系统的渐近稳定性及其可调度性.仿真结果表明,ICSRTS方法相比普通模糊神经网络控制和普通ε-SVR预测算法在交叉口平均延误时间方面具有较好的性能.因此,该方法能实时、有效地对区域交通信号进行协调控制,从而减少了区域内的交通拥堵和能源消耗.     

一种ε可调的在线支持向量回归及其训练算法

标准支持向量回归问题中,噪声较大的时段将包含较多的支持向量。提出一种时间窗内?着可调的支持向量回归方法,根据各时间窗的支持向量的比例动态调整?着,能够处理噪声时变的回归问题。并给出一种?着调整时的在线训练算法,避免重复求解凸规划问题。实例表明该方法的泛化能力和拟合精度较标准支持向量回归为优。