新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机（TSVR）是在支持向量回归机（SVR）基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化（SRM）原则提出了一种鲁棒的孪生支持向量回归机（Hε-TSVR）,并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。     

增量式约简最小二乘孪生支持向量回归机

为了解决增量式最小二乘孪生支持向量回归机存在构成的核矩阵无法很好地逼近原核矩阵的问题,提出了一种增量式约简最小二乘孪生支持向量回归机(IRLSTSVR)算法.该算法首先利用约简方法,判定核矩阵列向量之间的相关性,筛选出用于构成核矩阵列向量的样本作为支持向量以降低核矩阵中列向量的相关性,使得构成的核矩阵能够更好地逼近原核...     

增量式约简拉氏非对称ν型孪生支持向量回归机

拉氏非对称ν型孪生支持向量回归机是一种泛化性能良好的预测算法,然而其并不适用于增量提供样本的场景。为此,提出了一种增量式约简拉氏非对称ν型孪生支持向量回归机（IRLAsy-ν-TSVR）算法。首先,引入正号函数,将有约束最优化问题转换成无约束最优化问题,并采用半光滑牛顿法在原始空间直接求解,以加快收敛速度。接着,利用矩阵求逆引理,实现半光滑牛顿法中Hessian矩阵求逆的高效增量更新,节省时间开销。然后,为了减少样本累积导致的内存消耗,使用约简技术分别筛选增广核矩阵的列向量和行向量以逼近原增广核矩阵,确保解的稀疏性。最后,在基准测试数据集上验证算法的可行性和有效性。结果表明,与一些代表性算法相比,IRLAsy-ν-TSVR算法继承了离线算法的泛化性能,能够获得稀疏解,更适合大规模数据集的在线学习。     

一种改进的支持向量回归集成算法

提出了一种基于改进Adaboost的ε不敏感支持向量回归集成算法。该算法使用多个支持向量机按照某种学习规则协调各支持向量机的输出,从而提高其泛化性能。将该方法应用于双酚A生产过程的质量指标软测量建模,仿真结果表明了该集成算法的可行性和有效性。     

基于最小二乘支持向量回归的水质预测

水质系统是一个开放的、复杂的、非线性动力学系统,具有时变复杂性,针对水质预测方法的研究虽然已经取得了一些成果,但也存在预测精度与计算复杂度等难题。为此,本文提出一种基于最小二乘支持向量回归的水质预测算法。支持向量机是机器学习中一种常用的分类模型,通过核函数将非线性数据从低维映射到高维空间,在高维空间实现线性分类和回归,最小二乘支持向量回归（LS-SVR）利用所有的样本参与回归拟合,使得回归的损失函数不再只与小部分支持向量样本有关,而是由所有样本参与学习修正误差,提高预测精度;同时该算法将标准SVR求解问题由不等式的约束条件及凸二次规划问题转化成线性方程组来求解,提高了运算速度,解决了非线性复杂特性的水质预测问题。     

基于特征加权的支持向量回归机研究

基于统计学习理论的支持向量回归机有比较好的泛化能力,然而当样本含有与该问题不完全相关甚至完全无关的特征时,会使得各个特征对问题的相关程度差异很大,从而使得支持向量回归机的效果受到影响。为了解决这个问题,提出了一种基于特征加权的支持向量回归机。模拟的计算结果显示出此方法的有效性。     

加权光滑投影孪生支持向量回归算法

现有双边移位投影孪生支持向量回归（PPTSVR）算法在训练阶段没有考虑不同位置样本对超平面构造的影响,当样本中存在异常点时会降低算法拟合性能。针对该问题,提出一种加权光滑投影孪生支持向量回归算法。采用孤立森林法赋予每个样本不同的权值,并且赋予样本中异常点很小的权值,通过将权值引入算法目标函数,削弱异常点对超平面构造的影响。为直接在原空间中寻求最优超平面,引入正号函数,将有约束优化问题转化为无约束优化问题,并采用Sigmoid光滑函数对目标函数进行光滑处理,证明其任意阶可微且严格凸的特性,进而在原空间中采用牛顿迭代法进行求解。在基准数据集和人工测试函数上的实验结果表明,该算法相比于现有代表性回归算法具备更好的拟合性能和更快的训练速度,尤其当训练样本中存在异常点时,相比于PPTSVR算法拟合性能提升更明显。     

基于核路径算法的支持向量回归机参数选择

参数选择是支持向量机研究领域的重要问题.针对核参数的选择,提出一种基于二分法的核参数解路径算法.由于解为核参数的非线性光滑函数,该算法随着参数的更新,可以在已有参数得出的解的基础上通过更新公式进行推导计算,从而求得当前参数所对应的解,其目标函数的极值所对应的参数值即为最优参数解.该算法可以快速地求得最优参数.将该方法应用于双酚A生产过程的质量指标软测量建模,仿真结果表明了该算法的可行性和有效性.     

光滑CHKS孪生支持向量回归机

针对目前光滑孪生支持向量回归机(smooth twin support vector regression, STSVR)中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑(chen-harker-kanzow-smale, CHKS)函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了光滑CHKS孪生支持向量回归机(smooth CHKS twin support vector regression, SCTSVR).不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能.     

基于支持向量回归的乒乓球机器人击球策略学习方法

针对7自由度仿人型乒乓球机器人的定点回球问题,提出了一种基于支持向量回归的击球策略学习方法.首先,把机器人的击球过程形式化为击球评价函数,该函数以来球状态和击球轨迹参数为输入,以回报值为输出.然后,提出一种基于物理模型置信域的随机搜索方法以提高训练数据的采集效率,并基于ε支持向量回归(ε-SVR)对经验数据集进行泛化从而得到击球评价函数.最后,在决策过程中,采用多初值拟牛顿法最大化击球评价函数以求解出最优击球轨迹.将该方法应用于7自由度乒乓球机器人系统中,实验结果验证了其有效性.     

双支持向量回归的牛顿算法

为提高支持向量回归的运算速度,提出一种双支持向量回归的牛顿算法。求解2个只带一组约束的支持向量问题,以减少运算量,将2个约束优化问题转化为无约束最优化问题,并采用牛顿迭代算法求解。实验结果表明,在保证与支持向量回归和双支持向量回归拟合能力相当的同时,该算法能减少训练时间。     

新的稀疏支持向量回归机算法及实验研究

支持向量回归机是一种解决回归问题的重要方法,其预测速度与支持向量的稀疏性成正比。为了改进支持向量回归机的稀疏性,提出了一种直接稀疏支持向量回归算法DSKR（Direct Sparse Kernel Support Vector Regression）,用于构造稀疏性支持向量回归机。DSKR算法对ε-SVR（ε-Support Vector Regression）增加一个非凸约束,通过迭代优化的方式,得到稀疏性好的支持向量回归机。在人工数据集和真实世界数据集上研究DSKR算法的性能,实验结果表明,DSKR算法可以通过调控支持向量的数目,提高支持向量回归机的稀疏性,且具有较好的鲁棒性。     

支持向量回归机模型结构及性能的研究

总结了目前提出的四类不同结构的支持向量回归机（Support Vector Regression,SVR）模型,并在此基础上提出了三种新的模型结构,通过试验手段对比了几种典型模型的逼近性能,分析了各个模型在应用中存在的优缺点,为实际应用中采用合适的模型提供一种选择方法。     

A new hybrid Modified Firefly Algorithm and Support Vector Regression model for accurate Short Term Load Forecasting

Precise forecast of the electrical load plays a highly significant role in the electricity industry and market. It provides economic operations and effective future plans for the utilities and power system operators. Due to the intermittent and uncertain characteristic of the electrical load, many research studies have been directed to nonlinear prediction methods. In this paper, a hybrid prediction algorithm comprised of Support Vector Regression (SVR) and Modified Firefly Algorithm (MFA) is proposed to provide the short term electrical load forecast. The SVR models utilize the nonlinear mapping feature to deal with nonlinear regressions. However, such models suffer from a methodical algorithm for obtaining the appropriate model parameters. Therefore, in the proposed method the MFA is employed to obtain the SVR parameters accurately and effectively. In order to evaluate the efficiency of the proposed methodology, it is applied to the electrical load demand in Fars, Iran. The obtained results are compared with those obtained from the ARMA model, ANN, SVR-GA, SVR-HBMO, SVR-PSO and SVR-FA. The experimental results affirm that the proposed algorithm outperforms other techniques.     

R-SVR中r与输入噪声间近似线性反比关系

为使r范数SVR更具鲁棒性,深入研究了r范数SVR中参数与输入噪声之间的关系。运用SVR的贝叶斯框架,分别推导出了鲁棒的r范数SVR中参数r与拉斯噪声和均匀噪声之间呈近似的线性反比关系。并结合仿真结果和已有的相关结论,得到了更为一般的结论,即鲁棒的r范数SVR中参数r与输入噪声之间呈近似的线性反比关系。这一结论为输入样本含有分布未知噪声的情况下r范数SVR参数的选择提供了理论依据。     

一种支持向量回归机自动模型选择方法

为解决SVR(支持向量回归)自动模型选择的问题,提出一种基于梯度下降算法的支持向量回归机模型参数优化方法.通过最小化模型选择准则R2w2,对核参数集采用梯度下降算法得到局部最优的模型参数.依据黎曼几何为理论,提出一种适合于SVR的保角变换,对核函数进行数据依赖的改进,进一步提高SVR的泛化能力.仿真试验的结果验证了该方...     

稀疏结构化最小二乘双支持向量回归机

最小二乘双支持向量回归机（LSTSVR）通过引入最小二乘损失将双支持向量回归机（TSVR）中的二次规划问题简化为两个线性方程组的求解,从而大大减少了训练时间。然而,LSTSVR最小化基于最小二乘损失的经验风险易导致以下不足：（1）“过学习”问题;（2）模型的解缺乏稀疏性,难以训练大规模数据。针对（1）,提出结构化最小二乘双支持向量回归机（S-LSTSVR）以提升模型的泛化能力;针对（2）,进一步利用不完全Choesky分解对核矩阵进行低秩近似,给出求解S-LSTSVR的稀疏算法SS-LSTSVR,使模型能有效地训练大规模数据。人工数据和UCI数据集中的实验证明SS-LSTSVR不但可以避免“过学习”,而且能够高效地解决大规模训练问题。     

基于PCA与支持向量回归的储层渗透率预测

在测井技术与储层基本特征研究的基础上,对与渗透率相关的测井参数和岩心参数进行了分析,根据传统的储层渗透率预测方法,提出了一种基于主成分分析与支持向量回归的储层渗透率预测方法。应用主成分分析对测井参数和岩心参数进行数据降维,优选出与渗透率最相关的参数,将优选出的测井参数和岩心参数作为支持向量回归模型的输入参数进行渗透率预测。实验结果表明,利用主成分分析算法提取的特征参数与渗透率有较好的相关性,且支持向量回归具有较高的预测精度,显示出主成分分析和支持向量回归在储层渗透率预测中的优势与实际应用价值。