在线稀疏最小二乘支持向量机回归的研究

现有最小二乘支持向量机回归的训练和模型输出的计算需要较长的时间,不适合在线实时训练.对此,提出一种在线稀疏最小二乘支持向量机回归,其训练算法采用样本字典,减少了训练样本的计算量.训练样本采用序贯加入的方式,适合在线获取,并且该算法在理论上是收敛的.仿真结果表明,该算法具有较好的稀疏性和实时性,可进一步用于建模与实时控制等方面的研究.     

一类非平坦函数的多核最小二乘支持向量机的鲁棒回归算法

给出了标准最小二乘支持向量机的数学回归模型,并提出了多核最小二乘支持向量机算法,用于提高非平坦函数的回归精度.运用谱系聚类方法解决多核最小二乘支持向量机的解缺乏稀疏性的问题.利用偏最小二乘回归方法对多核最小二乘支持向量机进行了鲁棒回归.通过仿真实例证实了所提方法的有效性.     

基于改进的PCA-LS-SVM的软测量技术及应用

针对工业过程中某些重要过程变量难以实现实时在线检测和高维数据处理的问题,提出了将主元分析与改进的最小二乘支持向量机相结合的软测量建模方法,建立了催化裂化主分馏塔柴油凝固点的软测量模型。最小二乘支持向量机与标准支持向量机相比,失去了"稀疏性",最小二乘支持向量机的稀疏化方法解决了这一难题;主元分析方法的引入,有效地提高了最小二乘支持向量机软测量模型的精度和泛化能力。应用结果表明,该改进的PCA- LS-SVM方法具有学习速度快、跟踪性能好以及泛化能力强等优点。     

混合核函数稀疏LS-SVM软测量建模与应用

针对最小二乘支持向量机存在的稀疏性欠缺和单核函数局限性问题,本文提出一种基于混合核函数稀疏最小二乘支持向量机的软测量建模方法.该方法使用多项式核函数和RBF核函数线性加权构成混合核函数,兼顾最小二乘支持向量机的全局拟合能力与局部拟合能力,以矢量基学习作为稀疏解算法,改善最小二乘支持向量机的稀疏性,在精简模型结构的同时,避免冗余信息中的噪声过多的拟合到模型参数中,进而采用粒子群算法优化模型部分参数.将此方法分别应用于Mackey- Glasss混沌模型的时间序列预测和乙烯精馏塔塔釜乙烯浓度预测,应用结果表明该方法较最小二乘支持向量机、稀疏最小二乘支持向量机以及混合核最小二乘支持向量机具有更好的泛化效果和预报精度,兆示出其良好的应用潜力.     

模糊最小二乘支持向量机回归研究及应用

针对传统支持向量机对训练样本内的噪声和孤立点比较敏感,导致建模精度不高的问题,将模糊集理论引入到最小二乘支持向量机回归中,建立一种基于数据域描述的模糊最小二乘支持向量机回归的数学模型,该方法将样本映射到高维空间,在高维空间中寻找最小包含超球,然后根据样本到超球心的距离确定模糊隶属度的大小,通过仿真实验验证,该算法提高了支持向量机回归的训练精度,将此模型应用于谷氨酸发酵过程菌体浓度预测,结果表明此方法的有效性。     

基于LS-SVM的小样本费用智能预测

最小二乘支持向量机引入最小二乘线性系统到支持向量机中,代替传统的支持向量机采用二次规划方法解决函数估计问题。该文推导了用于函数估计的最小二乘支持向量机算法,构建了基于最小二乘支持向量机的智能预测模型,并对机载电子设备费用预测进行了研究。结果表明最小二乘支持向量机具有比多元对数回归更高的小样本费用预测精度。     

基于改进的PCA—LS—SVM的软测量技术及应用

针对工业过程中某些重要过程变量难以实现实时在线检测和高维数据处理的问题，提出了将主元分析与改进的最小二乘支持向量机相结合的软测量建模方法，建立了催化裂化主分馏塔柴油凝固点的软测量模型。最小二乘支持向量机与标准支持向量机相比，失去了“稀疏性”，最小二乘支持向量机的稀疏化方法解决了这一难题；主元分析方法的引入，有效地提高了最小二乘支持向量机软测量模型的精度和泛化能力。应用结果表明，该改进的PCA—LS-SVM方法具有学习速度快、跟踪性能好以及泛化能力强等优点。     

基于支持向量机的软测量方法研究

针对所有样本点均出现在最小二乘支持向量机模型中的缺陷,提出一种改进的最小二乘支持向量机回归方法．根据最小二乘支持向量机模型学习误差的大小,去除原变量空间中大部分误差较小的样本点,从而获得回归模型的“稀疏”特性,大大简化了模型复杂程度．同时,将此方法应用于生物发酵过程,建立青霉素发酵过程中产物浓度的软测量模型,实现青霉素浓度的在线预估．实验结果表明,该方法为生物发酵过程中难于在线测量质量参数的实时监测提供了一个有效的手段．     

基于改进支持向量机的快速稳健代理模型研究

最小二乘支持向量机代理模型具有较好的泛化能力和强大的非线性处理能力,但其对实际工程中不可避免的异常样本十分敏感,而传统的加权最小二乘支持向量机易产生过度拟合并且未考虑到回归误差分布特性,针对这一问题提出正态分布概率密度函数加权方法,并且采用回归误差的中值作为计算权值的衡量标准,增强了加权算法的稳健性;提出了迭代加权最小二乘支持向量机快速递推算法,利用矩阵关系进行迭代递推计算,减少了计算量,节约了建模时间。通过数值实例验证了该方法的可行性、有效性。     

一种多输出支持向量机的增量学习算法

标准支持向量机主要对单输出样本学习已经进行了广泛的研究,而对多输出样本学习问题的研究较少.在最小二乘支持向量回归机模型的基础上,推广得到多输出最小二乘支持向量回归机模型,并给出它的一种增量学习算法.理论分析和实验结果证明它不但保证了学习精度,而且使得多输出回归问题的学习速度大大加快.     

稀疏最小二乘支持向量机及其应用研究

提出一种构造稀疏化最小二乘支持向量机的方法．该方法首先通过斯密特正交化法对核矩阵进 行简约,得到核矩阵的基向量组;再利用核偏最小二乘方法对最小二乘支持向量机进行回归计算,从而使最 小二乘向量机具有一定稀疏性．基于稀疏最小二乘向量机建立了非线性动态预测模型,对铜转炉造渣期吹炼 时间进行滚动预测．仿真结果表明,基于核偏最小二乘辨识的稀疏最小二乘支持向量机具有计算效率高、预 测精度好的特点．     

增量式约简最小二乘孪生支持向量回归机

为了解决增量式最小二乘孪生支持向量回归机存在构成的核矩阵无法很好地逼近原核矩阵的问题,提出了一种增量式约简最小二乘孪生支持向量回归机(IRLSTSVR)算法。该算法首先利用约简方法,判定核矩阵列向量之间的相关性,筛选出用于构成核矩阵列向量的样本作为支持向量以降低核矩阵中列向量的相关性,使得构成的核矩阵能够更好地逼近原核矩阵,保证解的稀疏性。然后通过分块矩阵求逆引理高效增量更新逆矩阵,进一步缩短了算法的训练时间。最后在基准测试数据集上验证算法的可行性和有效性。实验结果表明,与现有的代表性算法相比,IRLSTSVR算法能够获得稀疏解和更接近离线算法的泛化性能。     

一种快速稀疏最小二乘支持向量回归机

将Jiao法直接应用于最小二乘支持向量回归机上的效果并不理想,为此采用不完全抛弃的策略,提出了改进的Jiao法,并将其应用于最小二乘支持向量回归机.数据集测试的结果表明,基于改进Jiao法的稀疏最小二乘支持向量回归机,无论在支持向量个数和训练时间上都取得了一定的优势.与其他剪枝算法相比,在不丧失回归精度的情况下,改进的Jiao法可大大缩短训练时间.另外,改进的Jiao法同样适用于分类问题.     

基于压缩感知的多尺度最小二乘支持向量机

提出一种基于压缩感知(Compressive sensing, CS)和多分辨分析(Multi-resolution analysis, MRA)的多尺度最小二乘支持向量机(Least squares support vector machine, LS-SVM). 首先将多尺度小波函数作为支持向量核, 推导出多尺度最小二乘支持向量机模型, 然后基于压缩感知理论, 利用最小二乘匹配追踪(Least squares orthogonal matching pursuit, LS-OMP)算法对多尺度最小二乘支持向量机的支持向量进行稀疏化, 最后用稀疏的支持向量实现函数回归. 实验结果表明, 本文方法利用不同尺度小波核逼近信号的不同细节, 而且以比较少的支持向量能达到很好的泛化性能, 大大降低了运算成本, 相比普通最小二乘支持向量机, 具有更优越的表现力.     

一种改进的在线最小二乘支持向量机回归算法

针对一般最小二乘支持向量机处理大规模数据集会出现训练速度幔、计算量大、不易在线训练的缺点,将修正后的遗忘因子矩形窗方法与支持向量机相结合,提出一种基于改进的遗忘因子矩形窗算法的在线最小二乘支持向量机回归算法,既突出了当前窗口数据的作用,又考虑了历史数据的影响.所提出的算法可减少计算量,提高在线辨识精度.仿真算例表明了该方法的有效性.     

基于偏最小二乘回归和SVM的水质预测

针对传统水质预测方法中水质因子的多重相关性造成预测精度低的问题,提出了一种将偏最小二乘法和支持向量机相耦合的水质预测方法。利用偏最小二乘法提取对水质因子影响强的成分,从而克服了信息冗余问题,并降低了支持向量的维数。利用支持向量机建模可以较好地解决高维非线性小样本问题。同时利用改进的PSO算法优化SVM参数,减小参数搜索的盲目性。研究结果表明,本耦合模型的预测精度和运行效率明显优于常用的BP人工神经网络和传统的支持向量机,可以更好地应用于水质预测。     

Interval analysis using least squares support vector fuzzy regression

A least squares support vector fuzzy regression model(LS-SVFR) is proposed to estimate uncertain and imprecise data by applying the fuzzy set principle to weight vectors.This model only requires a set of linear equations to obtain the weight vector and the bias term,which is different from the solution of a complicated quadratic programming problem in existing support vector fuzzy regression models.Besides,the proposed LS-SVFR is a model-free method in which the underlying model function doesn’t need to be predefined.Numerical examples and fault detection application are applied to demonstrate the effectiveness and applicability of the proposed model.     

时序峰值预测的最小二乘支持向量回归模型

针对最小二乘支持向量回归模型中,呈稀疏分布的时序峰值样本拟合预测误差偏大的问题,基于加权最小二乘思想,提出一种新的用于时序峰值预测的最小二乘支持向量回归模型.根据样本分布密度和输出期望幅值,优化了经验风险控制目标.解得模型的拟合预测误差不受样本分布的影响,而且在保持整体样本拟合预测精度的同时,对峰值样本的拟合预测精度有了显著提高.Lorenz时序预测和电力负荷预测的仿真结果表明了模型的有效性.     

Sparse representation based on projection method in online least squares support vector machines

A sparse approximation algorithm based on projection is presented in this paper in order to overcome the limitation of the non-sparsity of least squares support vector machines （LS-SVM）. The new inputs are projected into the subspace spanned by previous basis vectors （BV） and those inputs whose squared distance from the subspace is higher than a threshold are added in the BV set, while others are rejected. This consequently results in the sparse approximation. In addition, a recursive approach to deleting an exiting vector in the BV set is proposed. Then the online LS-SVM, sparse approximation and BV removal are combined to produce the sparse online LS-SVM algorithm that can control the size of memory irrespective of the processed data size. The suggested algorithm is applied in the online modeling of a pH neutralizing process and the isomerization plant of a refinery, respectively. The detailed comparison of computing time and precision is also given between the suggested algorithm and the nonsparse one. The results show that the proposed algorithm greatly improves the sparsity just with little cost of precision.