求解非半正定核Huber-支持向量回归机问题的序列最小最优化算法

序列最小最优化(SMO)算法是求解大型支持向量机(SVM)问题的有效算法.已有的算法都要求核函数是正定的或半正定的,从而使其应用受到限制.针对这种缺点,本文提出一种新的的SMO算法,可求解非半正定核Huber-SVR问题.提出的算法在保证收敛的前提下可使非半正定Huber-SVR能够达到比较理想的回归精度,因而具有一定的理论意义和实用价值.     

基于扩展SMO求解核函数非正定的SVR模型算法

将求解SVC模型的算法运用到求解SVR模型中一般要SVR模型的核函数正定且满足Mercer条件,而实际应用中利用几何框架将SVC模型转换成相应的SVR模型时,通常无法保证经转换得到的SVR模型的核函数具有正定性,从而导致SVR模型不是凸规划模型而无法求解。为解决上述问题,本文提出了一种运用扩展的序列最小最优化方法(SMO)来求解基于非正定核的SVR模型,设计了算法中工作集的选择准则,解决了算法中如何选择工作集变量当前的最优值问题。由于该算法不要求核函数具有正定性,从而拓宽了SVR模型核函数的选择范围。实验表明,该算法对基于正定或非正定核的SVR模型都具有很好的泛化性能和回归精度,具有一定的理论意义和实用价值。     

SMO算法的简化及其在非正定核条件下的应用

SMO算法是求解大型支持向量机(SVM)的有效算法.已有的算法都必须判定4个Lagrange乘子位于哪个象限,从而使算法的实现更为复杂.此外,现有算法都假定核矩阵是正定的或半正定的,因此使其应用受到了限制.考虑到传统算法的不足,提出了一种用于ε-SVR的简化SMO算法,进而将其用于求解非正定核的ε-SVR.与已有的算法不同,通过将ε-SVR的原始规划问题进行展开并求解其KKT条件,提出的算法只需考虑2个Lagrange乘子,从而有效地简化了算法的实现,并能方便地应用于非正定核SVR的求解.采用一个常用于衡量预测误差的函数对算法进行了测试,实验表明,与ε-SVR现有的SMO算法相比,在不增加空间复杂度和时间复杂度的前提下避免了大量繁琐的判别条件,简化了算法的实现,这就为不同的损失函数所对应的SVR提供了一个通用的SMO算法,从而有利于SVR的推广应用.另外,提出的求解非正定核的ε-SVR的方法也为求解其他的非正定核SVR提供了一个思路.     

两种求解非正定核Laplace-SVR的SMO算法

提出2种用于求解非正定核Laplace-SVR的序列最小最优化(SMO)算法.第1种算法仅针对Laplace-SVR而设计;第2种算法将Laplace-SVR作为所要解决问题的一种特殊情况,使算法更具通用性.所提出的算法在保证收敛的前提下,使非正定Laplace-SVR能够达到比较理想的回归精度,具有一定的理论意义和实用价值.

Abstract：

Two types of sequential minimal optimization(SMO) algorithms applied in solving Laplace-SVR with nonpositive kernels are proposed. The first algorithm is only designed for Laplace-SVR, and the second one regarding Laplace-SVR as a special case is done for a general purpose. Because of the difficulty of solving SVR with non-positive kernels, the presented algorithms have a certain theoretical and practical significance.     

从SVC核到SVR核的非正定问题的研究

从支持向量回归机的几何框架出发,用理论推导和仿真的方法,提出了两种从SVC到SVR的核函数转换中引起的核函数非正定性问题的解决方法。一是通过引入空间映射变换保证所得到的SVR的核函数是正定的;二是利用近似SVR模型解决具有非正定核的SVR模型的不可解问题。仿真结果表明,该两种方法能够基本解决上述问题。     

基于SVR的煤矿地下水位预测模型

将SVR(Support Vector Regression)回归算法应用于煤矿地下水位预测.基于SVR回归算法分析.筛选了合适的核函数及其参数,提出了基于SVR回归算法的煤矿地下水位预测模型,并根据所选矿区的自然地理和水文地质情况.确定了预测输入因子和输出因子.数值实验表明:预测结果与实际测量结果具有较好的一致性.验证了煤矿地下水位预测模型是有效的.为煤矿地下水位的预测提供了一个新的有效方法.     

混合多个SVR模型的金融时间序列预测

基于支持向量回归(SVR)进行金融时间序列预测,使用PSO算法确定SVR超参数,并用实验的方法选择合适的SVR输入向量。为了解决金融时间序列非平稳性导致的单一SVR模型预测精度不稳定的问题,提出一种混合多个SVR模型的预测算法,选取训练数据的不同子集训练出多个SVR模型,采用对多个模型的预测结果加权求和的方法进行预测,各个模型的权重根据其预测误差动态调整。在全球5大股指上的实验表明,该算法的预测能力明显优于单一SVR模型。     

基于多输出最小二乘支持向量回归建模的自适应非线性预测控制及应用

提出一种可有效提高常规预测控制方法控制性能与计算效率的数据驱动自适应非线性模型预测控制方法.首先,为了提高多输出非线性系统最小二乘支持向量回归(least squares support vector regression, LS–SVR)建模的精度,考虑各维输出间的耦合关系,采用在目标函数中加入样本整体拟合误差项,实现多输出LS–SVR(multi-output LS–SVR,M–LS–SVR)预测建模,同时采用粒子群算法优化模型参数;其次,针对动态过程建模的模型失配问题以及由于M–LS–SVR模型复杂导致传统智能算法求解预测控制律缓慢的问题,提出自适应非线性模型预测控制策略,包括两个非线性优化层:第1层采用梯度下降算法实时优化模型和实际过程输出的偏差,以自适应调节模型参数;第2层采用具有全局收敛性和超线性收敛速度序列二次规划(sequential quadratic programming, SQP)算法设计非线性预测控制器,以加速预测控制律的求解速度. Benchmark仿真实例及在高炉炼铁过程的数据试验表明:所提基于M–LS–SVR预测建模的自适应非线性模型预测控制具有较快的求解速度、较好的设定值跟踪和干扰抑制性能以及较强的鲁棒性.     

基于多尺度高斯核的分布式正则化回归学习算法

针对工业、信息等领域出现的基于较大规模、非平稳变化复杂数据的回归问题,已有算法在计算成本及拟合效果方面无法同时满足要求.因此,文中提出基于多尺度高斯核的分布式正则化回归学习算法.算法中的假设空间为多个具有不同尺度的高斯核生成的再生核Hilbert空间的和空间.考虑到整个数据集划分的不同互斥子集波动程度不同,建立不同组合系数核函数逼近模型.利用最小二乘正则化方法同时独立求解各逼近模型.最后,通过对所得的各个局部估计子加权合成得到整体逼近模型.在2个模拟数据集和4个真实数据集上的实验表明,文中算法既能保证较优的拟合性能,又能降低运行时间.     

两种求解非正定核Laplac-SVR的SMO算法

提出２种用于求解非正定核ＬａｐｌａｃｅＳＶＲ 的序列最小最优化（ＳＭＯ）算法．第１种算法仅针对ＬａｐｌａｃｅＳＶＲ而设计;第２种算法将ＬａｐｌａｃｅＳＶＲ 作为所要解决问题的一种特殊情况,使算法更具通用性．所提出的算法在保证收敛的前提下,使非正定ＬａｐｌａｃｅＳＶＲ 能够达到比较理想的回归精度,具有一定的理论意义和实用价值．     

基于SVR的桥梁健康监测系统缺失数据在线填补研究

针对桥梁健康监测系统所采集的实时数据具有不完备性,严重影响桥梁的安全评估,提出基于支持向量回归SVR(Support Vector Regression)算法的桥梁健康监测系统缺失数据实时在线预测方法.首先,分析实测数据具有时序、非线性和周期性等特点,利用变量的自相关和变量间的相关性重新构造支持向量回归模型的输入样本维数;在此基础上,根据样本在线更新的特点,采用序列最小优化算法对支持向量回归模型中的拉格朗日乘子进行实时更新,解决高精度在线填补的需求;最后,从实际问题出发,实现了支持向量回归模型的在线和离线自适应预测模式.通过对桥梁实测数据进行在线模式和离线模式预测对比,结果表明在线模式以样本更新的方式能够获得对将来值更高的预测精度.     

改进的FS算法选取支持向量回归机参数及应用*

针对支持向量回归机SVR的拟合精度和泛化能力取决于相关参数的选取,提出了基于改进FS算法的SVR参数选择方法,并应用于交通流预测的研究。FS(free search)算法是一种新的进化计算方法,提出基于相对密集度的灾变策略改进FS算法的个体初始位置选择机制,以扩大搜索空间,提高全局搜索能力。对实测交通流量进行滚动预测仿真实验,结果表明该方法优化SVR参数是有效、可行的,与经验估计法和遗传算法相比,得到的SVR模型具有更好的泛化性能和预测精度。     

Exploiting multi-scale support vector regression for image compression

Unlike traditional neural networks that require predefined topology of the network, support vector regression (SVR) approach can model the data within the given level of accuracy with only a small subset of the training data, which are called support vectors (SVs). This property of sparsity has been exploited as the basis for image compression. In this paper, for still image compression, we propose a multi-scale support vector regression (MS-SVR) approach, which can model the images with steep variations and smooth variations very well resulting in good performance. We test our proposed MS-SVR based algorithm on some standard images. The experimental results verify that the proposed MS-SVR achieves better performance than standard SVR. And in a wide range of compression ratio, MS-SVR is very close to JPEG in terms of peak signal-to-noise ratio (PSNR) but exhibits better subjective quality. Furthermore, MS-SVR even outperforms JPEG on both PSNR and subjective quality when the compression ratio is higher enough, for example 25:1 for Lena image. Even when compared with JPEG-2000, the results show greatly similar trend as those in JPEG experiments, except that the compression ratio is a bit higher where our proposed MS-SVR will outperform JPEG-2000.     

Spikernels: predicting arm movements by embedding population spike rate patterns in inner-product spaces

Inner-product operators, often referred to as kernels in statistical learning, define a mapping from some input space into a feature space. The focus of this letter is the construction of biologically motivated kernels for cortical activities. The kernels we derive, termed Spikernels, map spike count sequences into an abstract vector space in which we can perform various prediction tasks. We discuss in detail the derivation of Spikernels and describe an efficient algorithm for computing their value on any two sequences of neural population spike counts. We demonstrate the merits of our modeling approach by comparing the Spikernel to various standard kernels in the task of predicting hand movement velocities from cortical recordings. All of the kernels that we tested in our experiments outperform the standard scalar product used in linear regression, with the Spikernel consistently achieving the best performance.     

基于相空间重构的自适应残差修正支持向量回归预测算法

针对模拟电路故障预测存在的非线性时间序列预测问题和传统支持向量回归（SVR）多步预测时出现的误差累积问题,提出了一种基于相空间重构的自适应残差修正SVR预测算法。首先,分析了SVR多步预测方法对时间序列趋势预测的意义和多步预测导致的误差积累问题;其次,将相空间重构技术引入SVR预测中,对表征模拟电路状态的时间序列进行相空间重构,并进而进行SVR预测;然后,在对多步预测过程中产生的误差累积序列进行二次SVR预测的基础上,实现对初始预测误差的自适应修正;最后,对所提算法进行了预测仿真验证。仿真验证和模拟电路的健康度预测实验结果表明,所提算法能有效降低多步预测导致的误差积累,显著提高回归估计精度,更好地预测模拟电路状态的变化趋势。     

Global convergence of SMO algorithm for support vector regression

Global convergence of the sequential minimal optimization (SMO) algorithm for support vector regression (SVR) is studied in this paper. Given l training samples, SVR is formulated as a convex quadratic programming (QP) problem with l pairs of variables. We prove that if two pairs of variables violating the optimality condition are chosen for update in each step and subproblems are solved in a certain way, then the SMO algorithm always stops within a finite number of iterations after finding an optimal solution. Also, efficient implementation techniques for the SMO algorithm are presented and compared experimentally with other SMO algorithms.     

一种免疫算法与SVR的Hilbert-Huang边界优化

Hilbert-Huang变换(Hilbert-Huang transform,HHT)在对信号进行经验模态分解(Empirical mode decomposition,EMD)和对各内禀模态函数(Intrinsic mode function,IMF)进行Hilbert变换时都会出现边界问题.为了克服该问题,本文提出了基于离散均匀免疫算法(Discrete uniform immune algorithm,DUIA)和支持向量回归(Support vector regression,SVR)的HHT边界优化方法.该方法采用DUIA优化SVR的参数,并利用SVR对数据廷拓,以有效分析HHT边界问题.通过对正弦叠加信号和实际信号的仿真分析表明:所提出的算法可有效解决HHT中存在的边界问题,且其效果优于SVR的数据延拓方法.