基于核的偏最小二乘特征提取的最小二乘支持向量机回归方法

提出了用核的偏最小二乘进行特征提取．首先把初始输入映射到高维特征空间，然后在高维特征空间中计算得分向量，降低样本的维数，再用最小二乘支持向量机进行回归．通过实验表明，这种方法得到的效果优于没有特征提取的回归．同时与PLS提取特征相比，KPLS分析效果更好．     

稀疏最小二乘支持向量机及其应用研究

提出一种构造稀疏化最小二乘支持向量机的方法．该方法首先通过斯密特正交化法对核矩阵进 行简约,得到核矩阵的基向量组;再利用核偏最小二乘方法对最小二乘支持向量机进行回归计算,从而使最 小二乘向量机具有一定稀疏性．基于稀疏最小二乘向量机建立了非线性动态预测模型,对铜转炉造渣期吹炼 时间进行滚动预测．仿真结果表明,基于核偏最小二乘辨识的稀疏最小二乘支持向量机具有计算效率高、预 测精度好的特点．     

基于偏最小二乘法与支持向量机的人脸识别

该文认为在人脸识别中,偏最小二乘回归方法作为一种新的降维方法,在处理小样本问题时具有明显优势,而主元分析方法作为一种传统的降维方法在选择分量时没有考虑类信息,因而有可能忽略掉重要的分类信息。支持向量机（SVM）模式识别方法具备良好的分类性能和鲁棒性。该文提出了一种基于偏最小二乘与支持向量机的人脸识别方法。利用偏最小二乘回归分析对人脸图像进行降维和特征提取,再利用支持向量机对特征向量进行分类识别。ORL人脸库的仿真结果证明偏最小二乘回归方法比主元分析方法更有效。     

最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数,最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

基于最小二乘支持向量机的热电偶非线性辨识研究

热电偶的电动势和温度之间的函数关系是一种非线性关系。对热电偶进行精确的非线性辨识是提高温度测试精度的关键。采用最小二乘支持向量机方法解决热电偶的非线性辨识问题,可以实现热电偶电动势和温度之间的高精度辨识。该方法采用LS-SVM构建逆模型,并通过该模型映射热电偶的非线性特性。通过K型热电偶的非线性辨识实验结果表明:所提出的LS-SVM模型能很好地拟合热电偶的非线性特征,辨识精度高,误差在0.3℃以内。     

基于偏最小二乘的支持向量机多分类方法

该文提出了一种基于偏最小二乘（PLS）的支持向量机（SVM）多分类方法,该算法利用偏最小二乘思想对样本进行预处理,消除了样本属性之间的相关性,而且得到的综合属性与类信息的相关程度达到最大。通过实验可以看出,该方法不仅可以减少用支持向量机进行分类过程中的支持向量数目,而且当样本属性较多时,可以提高一定的识别率。     

基于最小二乘支持向量机的非线性均衡

从支持向量机(SupportVectorMachine,SVM)学习理论出发,介绍了最小二乘支持向量机(LeastSquaresSupportVectorMachine,LS-SVM)的原理[1],并详细描述了使用共轭梯度(ConjugateGradient,CG)算法来实现LS-SVM。结合通信中常见的非线性均衡问题,讨论了在信道呈现非线性,色噪声干扰情况下,使用LS-SVM实现均衡任务,通过同最优贝叶斯均衡器性能的比较,证明了LS-SVM处理非线性均衡问题的有效性。在实际数字通信中,接收端可以在不知道信道状态的前提下,通过接收训练序列并对其进行学习,确定均衡器模型参数,从而对未知的发送信号进行预测。     

基于递归最小二乘支持向量机的动态系统建模研究

针对递归最小二乘支持向量机的递归性易导致建模中偏微分方程组求解困难的问题,提出用解析法求解偏微分方程组,实现了完整的递归最小二乘支持向量机模型．首先分析了各参数的相关性,然后推导出偏微分方程的解析表达式并求解．仿真实例表明,在动态系统建模中,该模型的性能比常用的串并联模型以及现有不完整递归最小二乘支持向量机模型的精度更高、性能更好．

     

基于最小二乘支持向量机的模糊图像恢复

针对模糊图像恢复问题,提出了一种基于最小二乘支持向量机的模糊图像恢复算法.该方法利用最小二乘支持向量机的非线性映射能力,通过训练样本对的学习训练,在模糊图像与清晰图像之间建立映射关系对测试样本进行恢复.实际图像恢复实验表明,得到的恢复图像在视觉上和定量分析上都获得了比较好的效果.与神经网络方法相比,最小二乘支持向量机克服了神经网络的模型选择与过学习问题、局部极小问题等.     

最小二乘支持向量机算法研究

1 引言支持向量机(SVM,Support Vector Machines)是基于结构风险最小化的统计学习方法,它具有完备的统计学习理论基础和出色的学习性能,在模式识别和函数估计中得到了有效的应用(Vapnik,1995,1998)。支持向量机方法一方面通过把数据映射到高维空间,解决原始空间中数据线性不可分问题;另一方面,通过构造最优分类超平面进行数据分类。神经网络通过基于梯度迭代的方法进行数据学习,容易陷入局部最小值,支持向量机是通过解决一个二次规划问题,来获得     

Temperature prediction control based on least squares support vector machines

A prediction control algorithm is presented based on least squares support vector machines (LS-SVM) model for a class of complex systems with strong nonlinearity. The nonlinear off-line model of the controUed plant is built by LS-SVM with radial basis function (RBF) kernel. In the process of system running, the off-line model is linearized at each sampling instant, and the generalized prediction control (GPC) algorithm is employed to implement the prediction control for the controlled plant. The obtained algorithm is applied to a boiler temperature control system with complicated nonlinearity and large time delay. The results of the experiment verify the effectiveness and merit of the algorithm.     

一种改进的在线最小二乘支持向量机回归算法

针对一般最小二乘支持向量机处理大规模数据集会出现训练速度幔、计算量大、不易在线训练的缺点,将修正后的遗忘因子矩形窗方法与支持向量机相结合,提出一种基于改进的遗忘因子矩形窗算法的在线最小二乘支持向量机回归算法,既突出了当前窗口数据的作用,又考虑了历史数据的影响.所提出的算法可减少计算量,提高在线辨识精度.仿真算例表明了该方法的有效性.     

Sparse representation based on projection method in online least squares support vector machines

A sparse approximation algorithm based on projection is presented in this paper in order to overcome the limitation of the non-sparsity of least squares support vector machines （LS-SVM）. The new inputs are projected into the subspace spanned by previous basis vectors （BV） and those inputs whose squared distance from the subspace is higher than a threshold are added in the BV set, while others are rejected. This consequently results in the sparse approximation. In addition, a recursive approach to deleting an exiting vector in the BV set is proposed. Then the online LS-SVM, sparse approximation and BV removal are combined to produce the sparse online LS-SVM algorithm that can control the size of memory irrespective of the processed data size. The suggested algorithm is applied in the online modeling of a pH neutralizing process and the isomerization plant of a refinery, respectively. The detailed comparison of computing time and precision is also given between the suggested algorithm and the nonsparse one. The results show that the proposed algorithm greatly improves the sparsity just with little cost of precision.     

一种基于最小二乘支持向量机的预测控制算法

针对工业过程中普遍存在的非线性被控对象，提出一种基于最小二乘支持向量机建模的预测控制算法．首先，用具有RBF核函数的LS-SVM离线建立被控对象的非线性模型；然后，在系统运行过程中，将离线模型在每一个采样周期关于当前采样点进行线性化，并用广义预测算法实现对被控系统的预测控制．仿真结果表明了该算法的有效性和优越性．     

Dual least squares support vector machines based spatiotemporal modeling for nonlinear distributed thermal processes

In this paper, a dual least squares support vector machines (LS-SVM) is proposed to model the thermal process. The infinite-dimensional system is first transformed into a finite-dimensional system through space-time separation. Then, the dual LS-SVM model is to approximate the two nonlinearities embedded in the system. Through space-time synthesis, the dual LS-SVM based spatiotemporal model is able to approximate the complex DPS with inherent coupled nonlinearities. The generalization performance of the proposed model is discussed using Rademacher complexity. Finally, simulations on a curing process demonstrate the effectiveness of the proposed modeling method.     

基于模糊最小二乘支持向量机的软测量建模

将模糊隶属度概念引入最小二乘支持向量机,提出一种基于支持向量数据域描述的模蝴隶属度函数模型,将输入空间中的样本映射到一个高维的特征空间;然后根据其偏离数据域的程度赋予不同的隶属度．该方法提高了最小二乘支持向量机的抗噪声能力,尤其适用于未能完全揭示输入样本特性的情况．将提出的方法用于催化裂化分馏塔轻柴油凝固点的软测量建模,仿真结果表明,该模糊隶属度函数模型能够提高最小二乘支持向量机的预测精度．     

Least squares support vector machines with tuning based on chaotic differential evolution approach applied to the identification of a thermal process

In the past decade, support vector machines (SVMs) have gained the attention of many researchers. SVMs are non-parametric supervised learning schemes that rely on statistical learning theory which enables learning machines to generalize well to unseen data. SVMs refer to kernel-based methods that have been introduced as a robust approach to classification and regression problems, lately has handled nonlinear identification problems, the so called support vector regression. In SVMs designs for nonlinear identification, a nonlinear model is represented by an expansion in terms of nonlinear mappings of the model input. The nonlinear mappings define a feature space, which may have infinite dimension. In this context, a relevant identification approach is the least squares support vector machines (LS-SVMs). Compared to the other identification method, LS-SVMs possess prominent advantages: its generalization performance (i.e. error rates on test sets) either matches or is significantly better than that of the competing methods, and more importantly, the performance does not depend on the dimensionality of the input data. Consider a constrained optimization problem of quadratic programing with a regularized cost function, the training process of LS-SVM involves the selection of kernel parameters and the regularization parameter of the objective function. A good choice of these parameters is crucial for the performance of the estimator. In this paper, the LS-SVMs design proposed is the combination of LS-SVM and a new chaotic differential evolution optimization approach based on Ikeda map (CDEK). The CDEK is adopted in tuning of regularization parameter and the radial basis function bandwith. Simulations using LS-SVMs on NARX (Nonlinear AutoRegressive with eXogenous inputs) for the identification of a thermal process show the effectiveness and practicality of the proposed CDEK algorithm when compared with the classical DE approach.     

在线稀疏最小二乘支持向量机回归的研究

现有最小二乘支持向量机回归的训练和模型输出的计算需要较长的时间,不适合在线实时训练.对此,提出一种在线稀疏最小二乘支持向量机回归,其训练算法采用样本字典,减少了训练样本的计算量.训练样本采用序贯加入的方式,适合在线获取,并且该算法在理论上是收敛的.仿真结果表明,该算法具有较好的稀疏性和实时性,可进一步用于建模与实时控制等方面的研究.     

融合小波变换与贝叶斯LS-SVM的网络流量预测

为了提高网络流量预测的精度,研究了一种融合小波变换与贝叶斯LSSVM的网络流量预测方法。首先将原始流量数据时间序列进行小波分解,并将分解得到的近似部分和各细节部分分别单支重构到原级别上;对各个重构后的序列分别用最小二乘支持向量机进行预测,将贝叶斯证据框架应用于最小二乘支持向量机模型参数的选择;将各个预测结果重构后得到对原始序列的预测结果。对比实验表明,该模型不仅具有较快的运行速度,而且具有较高的预测精度。     

基于支持向量机的非线性离散动力学系统控制

提出了一种用支持向量机辨识系统状态空间模型的非线性离散动力学系统控制新方法. 在本方法中, 采用最小二乘支持向量机在每一个工作点辨识非线性系统的局部最优线性化模型. 针对该模型, 采用常规的线性控制方法在每个工作点设计局部线性控制器, 并在整个控制任务的每个工作点重复此设计过程.用该方法对两个典型的非线性离散系统采用极点配置技术进行了仿真验证, 结果显示系统对参考输入具有满意的跟踪性能, 证明该方法是有效和可行的.