新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机（TSVR）是在支持向量回归机（SVR）基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化（SRM）原则提出了一种鲁棒的孪生支持向量回归机（Hε-TSVR）,并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。     

基于最小二乘支持向量回归的水质预测

水质系统是一个开放的、复杂的、非线性动力学系统,具有时变复杂性,针对水质预测方法的研究虽然已经取得了一些成果,但也存在预测精度与计算复杂度等难题。为此,本文提出一种基于最小二乘支持向量回归的水质预测算法。支持向量机是机器学习中一种常用的分类模型,通过核函数将非线性数据从低维映射到高维空间,在高维空间实现线性分类和回归,最小二乘支持向量回归（LS-SVR）利用所有的样本参与回归拟合,使得回归的损失函数不再只与小部分支持向量样本有关,而是由所有样本参与学习修正误差,提高预测精度;同时该算法将标准SVR求解问题由不等式的约束条件及凸二次规划问题转化成线性方程组来求解,提高了运算速度,解决了非线性复杂特性的水质预测问题。     

支持向量回归估计性能分析

本文对支持向量机用于回归估计进行了详细的性能分析,得出了不敏感系数、惩罚因子和核函数及其参数是影响支持向量机回归估计性能的主要因素。不敏感系数可控制模型的泛化推广能力,其值的确定应考虑样本可能带有的噪声分布状况,惩罚因子可控制拟合曲线复杂性,核函数宽度系数可影响回归曲线光滑程度。因此,在采用支持向量机回归建模时,应根据建模对象选定合适的参数值,以保证回归建模效果。最后通过对原油实沸点蒸馏曲线的拟合问题验证了分析结果,为进一步研究确定SVM参数的优化方法打下了基础。     

基于DE的ε-SVRM参数优化研究

参数优化是ε-支持向量回归机研究领域的重要问题,其本质是一个优化搜索的过程。基于差异演化算法在求解优化问题上的有效性,提出了以差异演化算法寻优技巧的ε 支持向量回归机参数优化方法。将该算法应用于受噪声影响的标准函数,与采用遗传算法、蚁群算法、粒子群算法对支持向量机进行优化的仿真实验结果对比表明由DE算法所确定的ε 支持向量回归机具有较好的预测性能。     

支持向量回归的一种网络优化策略

提出一种用于支持向量回归的网络优化策略．学习策略分为两个阶段：首先训练支持向量机,得到支持向量回归的初始结构和参数,构造一个无阈值的支持向量回归网络;然后通过带有遗忘因子的递归最小二乘算法,优化计算支持向量回归网络的权值,以达到更好的函数拟合精度．与支持向量回归相比,这种策略可以得到最优的权值和阈值．仿真结果表明,该网络性能优良,具有在线应用的潜力．     

具分段损失函数的支持向量机回归及在投资决策中的应用

支持向量机回归模型的性能与所选用的损失函数有很大关系.本文提出一种具分段损失函数的支持向量机回归模型,其分段损失函数对落在不同区间的误差项采用不同的惩罚函数形式,并将该模型应用于投资决策问题中,估计收益率向量的联合概率密度函数和最优投资组合.仿真实验表明,其性能要优于一般的支持向量回归方法.     

支持向量回归与常用近似模型的非线性预测性能比较研究

为降低计算成本和提高优化效率,工程实践中广泛应用近似模型拟合或预测非线性系统响应是研究的前沿与热点。引入支持向量回归方法,通过典型数值案例对比分析其与多项式响应面、kriging和径向基函数的非线性预测性能。利用箱线图直观的证明支持向量回归的非线性预测性能明显优于多项式响应面、kriging和径向基函数,且支持向量回归的预测精度对DOE的依赖性最弱,体现出良好的稳健性能,进一步验证了支持向量回归适用于非线性系统响应的近似建模。     

基于支持向量回归机的HHT边界效应处理

针对希尔伯特-黄变换中的边界效应，提出了基于支持向量回归机的时间序列预测方法．在支持向量回归机的应用当中，参数的选取对它的泛化性能有很大影响．在讨论了参数对支持向量回归机的泛化性能的影响基础上，提出了通过微粒群优化算法来优化支持向量回归机参数的方法，使得支持向量回归机在应用中能够自适应的选择最优参数，从而获得了更好的泛化性能，提高了在端点处的延拓精度，很好地抑制了端点效应．试验表明，该优化算法能够很好解决支持向量回归机的参数选取问题．通过与神经网络的延拓方法和黄等人的HHTDPS结果对比，基于支持向量回归机的时间序列预测方法可以更好地解决在希尔伯特-黄变换中存在的边界效应，得到的固有模态函数具有较小的失真．     

支持向量回归机的光滑函数研究

光滑数能将不光滑模型变为光滑模型,改善支持向量机的回归性能和效率.Lee等人用一个光滑函数逼近ε-不敏感损失函数的平方,提出ε-不敏感的光滑支持向量回归机模型(ε-SSVR).本文为求ε-不敏感支持向量回归机的新光滑函数,运用插值函数和复合函数的方法,首先求正号函数的光滑逼近,然后将其复合成ε-不敏感损失函数平方的光滑函数,得到一类新的光滑函数.并从理论上证明该类光滑函数的逼近精度比以往的光滑函数高一个数量级.实验结果表明回归效果得到改善,从而为支持向量回归机提供一类新的光滑函数.     

用于回归的临近支持向量机

将临近支持向量分类杌应用在回归问题上,提出临近支持向量回归机,给出线性与非线性情况下的回归函数,该方法比支持向量回归机(svR)问题减少了参数和一半变量,比最小二乘支持向量回归机(LSSVMR)求解公式更加简单,且核函数不需要满足Mercer条件.数值实验结果表明,与SVR和LSSVMR相比,该方法的学习速度更快,且泛化能力较之不相上下.     

双支持向量回归的牛顿算法

为提高支持向量回归的运算速度,提出一种双支持向量回归的牛顿算法。求解2个只带一组约束的支持向量问题,以减少运算量,将2个约束优化问题转化为无约束最优化问题,并采用牛顿迭代算法求解。实验结果表明,在保证与支持向量回归和双支持向量回归拟合能力相当的同时,该算法能减少训练时间。     

用于图像恢复的基于SVR的自适应新滤波器的研究*

提出了一种用SVR回归器识别脉冲噪声的思想,并将其应用于图像滤波和恢复,形成了用于对脉冲噪声进行滤波的SVR自适应滤波器。这种滤波器在滤波时,先用SVR对待识别像素作噪声识别,再对含噪声的像素作中值滤波。用SVR作噪声识别时,先对滤波窗口作SVR回归,通过待识别像素回归距的大小判断其是否含有噪声。在进行SVR回归时,使用鲁棒的Huber损失函数。由于更充分地利用了待识别像素点的局部背景信息,这种滤波器提高了脉冲噪声识别的正确率。实验表明,在保留原图像的细节信息方面,其滤波效果要优于基于SVC的中值滤波器。     

新的稀疏支持向量回归机算法及实验研究

支持向量回归机是一种解决回归问题的重要方法,其预测速度与支持向量的稀疏性成正比。为了改进支持向量回归机的稀疏性,提出了一种直接稀疏支持向量回归算法DSKR（Direct Sparse Kernel Support Vector Regression）,用于构造稀疏性支持向量回归机。DSKR算法对ε-SVR（ε-Support Vector Regression）增加一个非凸约束,通过迭代优化的方式,得到稀疏性好的支持向量回归机。在人工数据集和真实世界数据集上研究DSKR算法的性能,实验结果表明,DSKR算法可以通过调控支持向量的数目,提高支持向量回归机的稀疏性,且具有较好的鲁棒性。     

利用串行最小优化算法求解回归估计问题

支撑矢量机是以Vapnik的统计学习理论为基础,以结构风险最小化为原则的新型学习机。目前,对它的研究是国际上的一个研究热点。针对大数据量的回归估计问题,论文提出了一种新的求解方法。为了说明该方法的有效性,给出了数值模拟的例子。     

一种改进的支持向量回归集成算法

提出了一种基于改进Adaboost的ε不敏感支持向量回归集成算法。该算法使用多个支持向量机按照某种学习规则协调各支持向量机的输出,从而提高其泛化性能。将该方法应用于双酚A生产过程的质量指标软测量建模,仿真结果表明了该集成算法的可行性和有效性。     

从近似超平面到SVR的算法研究

本文证明了SVM存在近似超平面;根据SV分布于SVM超平面附近,也必然分布于其近似超平面附近的特点,提出了从近似超平面出发,通过向量距近似超平面的距离的大小逐步搜索SV,建立SVR的算法思想;列举了基于该算法思想的一个算法实例——从多元回归平面构建LS-SVM;分析了其时空复杂度,并与LS-SVM的线性方程组解法和直接分解算法进行比较,其结果是该算法能够收敛到l个训练样本直接建立的SVR,并降低了计算时间复杂度和显著降低了计算空间复杂度。     

Smooth twin support vector regression

Twin support vector regression (TSVR) was proposed recently as a novel regressor that tries to find a pair of nonparallel planes, i.e., ε-insensitive up- and down-bounds, by solving two related SVM-type problems. However, it may incur suboptimal solution since its objective function is positive semi-definite and the lack of complexity control. In order to address this shortcoming, we develop a novel SVR algorithm termed as smooth twin SVR (STSVR). The idea is to reformulate TSVR as a strongly convex problem, which results in unique global optimal solution for each subproblem. To solve the proposed optimization problem, we first adopt a smoothing technique to convert the original constrained quadratic programming problems into unconstrained minimization problems, and then use the well-known Newton–Armijo algorithm to solve the smooth TSVR. The effectiveness of the proposed method is demonstrated via experiments on synthetic and real-world benchmark datasets.     

An efficient implicit regularized Lagrangian twin support vector regression

Twin support vector regression (TSVR) and Lagrangian TSVR (LTSVR) satisfy only empirical risk minimization principle. Moreover, the matrices in their formulations are always positive semi-definite. To overcome these problems, we propose an efficient implicit Lagrangian formulation for the dual regularized twin support vector regression, called IRLTSVR for short. By introducing a regularization term to each objective function, the optimization problems in our IRLTSVR are positive definite and implement the structural risk minimization principle. Moreover, the 1-norm of the vector of slack variable is replaced with 2-norm to make the objective functions strongly convex. Our IRLTSVR solves two systems of linear equations instead of solving two quadratic programming problems (QPPs) in TSVR and one large QPP in SVR, which makes the learning speed of IRLTSVR faster than TSVR and SVR. Particularly, we compare three implementations of IRLTSVR with existing approaches. Computational results on several synthetic and real-world benchmark datasets clearly indicate the effectiveness and applicability of the IRLTSVR in comparison to SVR, TSVR and LTSVR.     

基于SVR与微分进化策略的话务量预测

采用支持向量回归机(SVR)与微分进化策略相结合的方法,对新疆2个地区的月平均忙时话务量进行预测。由微分进化策略良好的全局搜索性质,以预测平均相对误差为目标函数,对SVR的超参数进行寻优,利用优化后的SVR月平均忙时话务量进行预测。与传统的网格寻优算法和RBF神经网络方法进行比较,结果表明,SVR的泛化能力与微分进化策略的搜索能力相结合,可以得到更好的预测 效果。