ε-支持向量回归机算法及其应用

针对现有传统的一些图像去噪方法难以获得清晰图像边缘的问题,提出了利用ε-SVR技术构建图像去噪滤波器的新方法。ε-支持向量回归机通过引入ε不敏感损失函数,可以实现具有较强鲁棒性的回归,而且回归估计是稀疏的,保留了SVM的所有优点。分析了ε-支持向量回归机理论算法及其在图像去噪中的应用,使用ε-支持向量回归机对图像进行滤波并且与最小值滤波、均值滤波和维纳滤波等常用的滤波方法相比较,还比较了SVM各种核函数对不同噪声的滤波效果和分析了不同阶数的Multinomial核的滤波效果。实验结果表明了ε-支持向量回归机能够有效地去除噪声,不但信噪比较高而且比较清晰,同时具有良好的稀疏性。     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机（TSVR）是在支持向量回归机（SVR）基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化（SRM）原则提出了一种鲁棒的孪生支持向量回归机（Hε-TSVR）,并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。     

鲁棒r-支持向量回归机中参数r 的选择研究

为使r-支持向量回归机更具鲁棒性．研究了r-支持向量回归机r-SVR中参数r与输入噪声之间的关系．将r-SVR的优化问题转换成最大后验估计问题．推导出r-SVR后验估计最大化的条件．得出了输入噪声为高斯分布时r-SVR中参数r与σ之间的近似线性反比关系．为已知输入高斯噪声方差σ时合理选择r提供了理论依据．     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

一种求ε-不敏感支持向量回归机光滑函数的新方法

2008年熊金志等人提出了一种求光滑函数的方法, 就理论而言可求得ε 不敏感支持向量回归机的无穷个光滑函数,但该方法每次都需要对光滑函数的导数进行积分,推导过程很繁琐。为克服这个缺点,本文利用支持向量分类机的光滑函数,通过相关的理论推导,用新的递推方式来表示支持向量回归机的光滑函数,简化了原方法的推导过程,得到了一种求支持向量回归机光滑函数的新方法。通过用原方法和新方法分别求光滑函数的两个算例,表明了新方法的有效性。还用新方法导出了光滑函数的一个重要性质,即光滑函数关于光滑阶数是单调减函数,为进一步研究光滑支持向量回归机提供了理论依据。     

ε-不敏感的光滑支持向量回归机的收敛性

?-不敏感的光滑支持向量回归机采用快速的迭代方法进行求解,使回归性能及效率得到了提高,但并没有考虑该回归机的收敛性。针对该问题,采用集合论等方法,通过相关的理论推导,证明该光滑支持向量回归机对任意给定的惩罚参数都是全局收敛的,并给出它的收敛上界,为该光滑支持向量机提供了基本的理论支持。     

Lagrange支持向量回归机算法研究

支持向量回归机问题的研究远没有像支持向量机问题成熟完善,支持向量回归机对函数拟合(回归逼近)具有重要的理论和应用意义.借鉴分类问题的有效算法,将其推广到回归问题中来,针对Lagrange支持向量机(LSVM)算法,提出了有效的Lagrange支持向量回归机(LSVR)算法,在若干不同维数的数据集上,对LSVR算法、ASVR算法和LibSVM算法进行数值试验,并进行比较分析.数值试验表明LSVR算法是有效的,与当前流行的求解支持向量回归机的算法相比,在时间和正确度上都有一定的优势.     

支持向量机分类回归核函数

基于统计学习理论的支持向量机算法以其优秀的学习性能已广泛用于解决分类与回归问题。分类算法通过求两类样本之间的最大间隔来获得最优分离超平面,其几何意义相当直观,而回归算法的几何意义就不那么直观了。另外,有些适用于分类问题的快速优化算法岁不能用于回归算法中。研究了分类与回归算法之间的关系,为快速分类算法应用于回归模型提供了一定的理论依据。     

支持向量回归机的光滑函数研究

光滑数能将不光滑模型变为光滑模型,改善支持向量机的回归性能和效率.Lee等人用一个光滑函数逼近ε-不敏感损失函数的平方,提出ε-不敏感的光滑支持向量回归机模型(ε-SSVR).本文为求ε-不敏感支持向量回归机的新光滑函数,运用插值函数和复合函数的方法,首先求正号函数的光滑逼近,然后将其复合成ε-不敏感损失函数平方的光滑函数,得到一类新的光滑函数.并从理论上证明该类光滑函数的逼近精度比以往的光滑函数高一个数量级.实验结果表明回归效果得到改善,从而为支持向量回归机提供一类新的光滑函数.     

多项式光滑的支持向量回归机

光滑函数将不光滑的模型变为光滑模型,改善支持向量回归机的回归性能和效率,从而降低计算的复杂性.寻找性能更好的光滑函数是研究光滑向量回归机的一个关键问题.本文用级数展开的方法得出了ε–不敏感的支持向量回归机|x|ε2的一类新的光滑函数.证明了这类函数的性能,它能满足任意阶光滑的要求,也能达到任意给定的逼近精度.实验结果表明,随着光滑阶数的提高,逼近精度和回归性能也相应提高.从而为支持向量回归机和相关研究领域提供了一类新的、性能更好的多项式光滑函数.     

具有多分段损失函数的多输出支持向量机回归

对多维输入、多维输出数据的回归,可以采用多输出支持向量机回归算法.本文介绍具有多分段损失函数的多输出支持向量机回归,其损失函数对落在不同区间的误差值采用不同的惩罚函数形式,并利用变权迭代算法,给出回归函数权系数和偏置的迭代公式.仿真实验表明,该算法的精确性和计算工作量都优于使用多个单输出的支持向量机回归算法.     

一种求ε-不敏感支持向量回归机光滑函数的新方法

2008年熊金志等人提出了一种求光滑函数的方法,就理论而言可求得ε-不敏感支持向量回归机的无穷个光滑函数,但该方法每次都需要对光滑函数的导数进行积分,推导过程很繁琐。为克服这个缺点,本文利用支持向量分类机的光滑函数,通过相关的理论推导,用新的递推方式来表示支持向量回归机的光滑函数,简化了原方法的推导过程,得到了一种求支持向量回归机光滑函数的新方法。通过用原方法和新方法分别求光滑函数的两个算例,表明了新方法的有效性。还用新方法导出了光滑函数的一个重要性质,即光滑函数关于光滑阶数是单调减函数,为进一步研究光滑支持向量回归机提供了理论依据。     

具分段损失函数的支持向量机回归及在投资决策中的应用

支持向量机回归模型的性能与所选用的损失函数有很大关系.本文提出一种具分段损失函数的支持向量机回归模型,其分段损失函数对落在不同区间的误差项采用不同的惩罚函数形式,并将该模型应用于投资决策问题中,估计收益率向量的联合概率密度函数和最优投资组合.仿真实验表明,其性能要优于一般的支持向量回归方法.     

支持向量机回归的参数选择方法

综合4种支持向量机回归的参数选择方法的优点,提出一种对训练样本进行分析并直接确定参数的方法。在标准测试数据集上的试验证明,该方法与传统网格搜索法相比,在时间和预测精度方面取得了更好的结果,可以较好地解决支持向量机在实际应用中参数难以选择、消耗时间长的问题。     

支持向量机回归在线建模及应用

支持向量机（SVM）回归理论与神经网络等非线性回归理论相比具有许多独特的优点，讨论了建模中SVM核函数，损失函数的选取和容量控制等问题，并用实验加以验证，将SVM回归动态建模理论应用于非线性，时变，大时延温室环境温度变化的建模和预测，模型简单，预测效果好。     

支持向量机在钻井工程数据拟合中的应用

支持向量机(SVM)是近年来发展起来的一种通用的机器学习方法,在小样本数据的拟合中已获得了很好的效果。对于常见的支持向量回归机方法:ε-支持向量回归机和最小二乘支持向量回归机进行了归纳总结,并给出了一具体应用案例。     

回归支持向量机SMO算法的改进

在Smola 和Sch?觟lkopf的SMO算法中,由于使用了单一的极限值而使得算法的效果没有完全表现出来。使用KKT条件来检验二次规划问题,使用两个极限参量来对回归SMO算法进行改进。通过对比实验,这一改进算法在执行速度上表现出了非常好的性能。     

支持向量机在分类和回归中的应用研究

SVM在许多领域的分类和回归方面起了越来越重要的作用,显示了它的优势。由于SVM方法较好的理论基础和它在一些领域的应用中表现出来的与众不同的优秀的泛化性能,近年来,许多关于SVM方法的应用研究陆续提了出来。围绕支持向量机在分类和回归中的问题进行了阐述,使我国在这一领域的研究和应用能够尽快赶上国际先进水平具有十分重要的意义。     

支持向量机回归方法在故障诊断中的应用研究

支持向量回归是支持向量机用于回归中的情况,首先介绍基于支持向量机的线性回归和非线性回归的基本原理,然后提出一种时间序列预测方法和误差评价的方法,最后在matlab中模拟简化同步的异常情况,通过实时采集的数据与多步预测值的残差来判断电机的异常,实验表明利用支持向量机回归能及时跟踪输出数据的变化,对设备进行在线故障检测是非常有效的。