一种SVM非线性回归算法

提出了一种新的基于分类的SVM非线性回归算法（CSVR）,首先将Y扩展为Y＋ε和Y-ε两个数据集,再将n维输入空间X中的数据连同Y＋ε和Y-ε组成n＋1维空间χ中的两类数据,并用Z∈（＋1,-1）来标识两类数据,再利用标准的SVM二分类算法求解。利用该算法对一系列的基准函数进行测试,取得了令人满意的结果。该算法对噪声数据不敏感,具有较好的鲁棒性,并且可以根据实际需要设定ε的大小,防止出现过拟合现象。该算法由于不需要先验地建立一个参数未知的回归模型,因此可以用在其他传统统计回归算法失效的场合。     

求解非半正定核Huber-支持向量回归机问题的序列最小最优化算法

序列最小最优化(SMO)算法是求解大型支持向量机(SVM)问题的有效算法.已有的算法都要求核函数是正定的或半正定的,从而使其应用受到限制.针对这种缺点,本文提出一种新的的SMO算法,可求解非半正定核Huber-SVR问题.提出的算法在保证收敛的前提下可使非半正定Huber-SVR能够达到比较理想的回归精度,因而具有一定的理论意义和实用价值.     

拉格朗日支持向量回归的有限牛顿算法

拉格朗日支持向量回归是一种有效的快速回归算法,求解时需要对维数等于样本数加一的矩阵求逆,求解需要较多的迭代次数才能收敛。采用一种Armijo步长有限牛顿迭代算法求解拉格朗日支持向量回归的优化问题,只需有限次求解一组线性等式而不需要求解二次规划问题,该方法具有全局收敛和有限步终止的性质。在多个标准数据集上的实验验证了所提算法的有效性和快速性。     

加权支持向量回归算法

Support vector regression machines based on structural risk minimization have a good generalization performance. However, its effect is not good if there exists heterogeneity of variance in the regression models. In order to solve the problem, a kind of weighting support vector regression is proposed in this paper. The results of simulation experiments show the feasibility and effectiveness of the method.     

双支持向量回归的牛顿算法

为提高支持向量回归的运算速度,提出一种双支持向量回归的牛顿算法。求解2个只带一组约束的支持向量问题,以减少运算量,将2个约束优化问题转化为无约束最优化问题,并采用牛顿迭代算法求解。实验结果表明,在保证与支持向量回归和双支持向量回归拟合能力相当的同时,该算法能减少训练时间。     

快速原空间孪生支持向量回归算法

孪生支持向量回归(TSVR)通过快速优化一对较小规模的支持向量机问题获得回归函数。文中提出在原始输入空间中采用Newton法直接优化TSVR的目标函数,从而有效克服TSVR通过对偶二次规划问题求得近似最优解导致性能上的损失。数值模拟实验表明该方法不仅能提高TSVR的性能,并且可降低学习时间。     

一种改进的支持向量回归集成算法

提出了一种基于改进Adaboost的ε不敏感支持向量回归集成算法。该算法使用多个支持向量机按照某种学习规则协调各支持向量机的输出,从而提高其泛化性能。将该方法应用于双酚A生产过程的质量指标软测量建模,仿真结果表明了该集成算法的可行性和有效性。     

Lagrange支持向量回归机算法研究

支持向量回归机问题的研究远没有像支持向量机问题成熟完善,支持向量回归机对函数拟合(回归逼近)具有重要的理论和应用意义.借鉴分类问题的有效算法,将其推广到回归问题中来,针对Lagrange支持向量机(LSVM)算法,提出了有效的Lagrange支持向量回归机(LSVR)算法,在若干不同维数的数据集上,对LSVR算法、ASVR算法和LibSVM算法进行数值试验,并进行比较分析.数值试验表明LSVR算法是有效的,与当前流行的求解支持向量回归机的算法相比,在时间和正确度上都有一定的优势.     

基于连续过松弛方法的支持向量回归算法

支持向量回归(support vector regression,简称SVR)训练算法需要解决在大规模样本条件下的凸二次规划(quadratic programming,简称QP)问题.尽管此种优化算法的机理已经有了较为明确的认识,但已有的支持向量回归训练算法仍较为复杂且收敛速度较慢.为解决这些问题.首先采用扩展方法使SVR与支撑向量机分类(SVC)具有相似的数学形式,并在此基础上针对大规模样本回归问题提出一种用于SVR的简化SOR(successive overrelaxation)算法.实验表明,这种新的回归训练方法在数据量较大时,相对其他训练方法有较快的收敛速度,特别适于在大规模样本条件下的回归训练算法设计.     

回归型支持向量机改进算法及应用

对用于回归估计的标准SVR算法加以改进,提出了回归型支持向量机的一种改进算法。并针对医学上胆固醇含量测定问题进行了回归估计。实验表明,该算法在运算速度和回归估计精度的稳定性上都明显优于标准算法,特别适于解决大规模样本问题。     

回归型支持向量机的简化算法

针对支持向量机应用于函数估计时支持向量过多所引起的计算复杂性,提出一种简化算法,可以大幅度地减少支持向量的数量,从而简化其应用.采用简化算法还可以将最小平方支持向量机算法和串行最小化算法结合起来,达到学习效率高且生成的支持向量少的效果.     

一种改进的SVM回归估计算法

支持向量机是一种基于结构风险最小化原理的学习技术,也是一种新的具有很好泛化性能的回归方法。目前,如何设计快速有效的回归估计算法仍然是支持向量机实际应用中的问题之一。文中对标准SVM回归估计算法加以改进,提出一种改进的SVM回归估计算法,并从学习速度和回归估计精度两个方面对提出的改进的SVM回归估计算法与标准SVM回归估计算法进行了比较。实验结果表明,在学习速度与回归估计精度之间取折衷时,文中提出的回归估计算法自由度更大。     

无参数鲁棒线性规划支持向量机分类的牛顿法

Mangasarian最近提出的用于分类的无参数鲁棒线性规划支持向量机克服了标准支持向最机的一些缺点，而且模型简单，容易实现。该文讨论了这种新型支持向最机的线性规划问题的最小2-范数解，在此基础上给出了一个快速的牛顿算法。     

Lagrange双支撑向量回归机

提出一种快速的支撑向量回归算法。首先将支撑向量回归的带有两组约束的二次规划问题转化为两个小的分别带有一组约束的二次规划问题,而每一个小的二次规划问题又采用一种快速迭代算法求解,该迭代算法能从任何初始点快速收敛,避免了二次优化问题求解,因此能显著提高训练速度。在多个标准数据集上的实验表明,该算法比传统支撑向量机快很多,同时具有良好的泛化性能。     

一种向量预选取的分段支持向量机回归算法

针对数据波动剧烈时,一组特定的支持向量机回归参数无法满足随数据分布而改变的要求,导致回归曲线达不到所要求的精度的问题,同时针对如何有效删除在回归过程中某些非必要的数据以加快求解速度的问题,本文提出一种向量预选取的分段支持向量机回归算法．该算法首先根据数据空间分布特点删除一些非必要数据,然后根据不同区域样本的复杂程度对区间进行分段,针对各个区域设置相应的参数．仿真实验证明：p-p-SVR算法在保持回归精度的同时,较传统方法具有更好的泛化性能．     

一类非平坦函数的多核最小二乘支持向量机的鲁棒回归算法

给出了标准最小二乘支持向量机的数学回归模型,并提出了多核最小二乘支持向量机算法,用于提高非平坦函数的回归精度.运用谱系聚类方法解决多核最小二乘支持向量机的解缺乏稀疏性的问题.利用偏最小二乘回归方法对多核最小二乘支持向量机进行了鲁棒回归.通过仿真实例证实了所提方法的有效性.     

基于支持向量回归的非线性多功能传感器信号重构

在多功能传感器信号重构中,通常采用经验风险最小化准则实现函数回归,在小样本情况下,该方法易导致泛化性差和过拟合问题.本文利用支持向量回归方法实现非线性多功能传感器信号重构,支持向量机是基于结构风险最小化准则的新型机器学习方法,可有效抑制过拟合问题并改善泛化性能.仿真结果表明经该算法重构后的信号重构误差率在0.4%以下,重构效果较好,验证了该算法的有效性.