一种快速最小二乘支持向量机分类算法

最小二乘支持向量机不需要求解凸二次规划问题,通过求解一组线性方程而获得最优分类面,但是,最小二乘支持向量机失去了解的稀疏性,当训练样本数量较大时,算法的计算量非常大。提出了一种快速最小二乘支持向量机算法,在保证支持向量机推广能力的同时,算法的速度得到了提高,尤其是当训练样本数量较大时算法的速度优势更明显。新算法通过选择那些支持值较大样本作为训练样本,以减少训练样本数量,提高算法的速度;然后,利用最小二乘支持向量机算法获得近似最优解。实验结果显示,新算法的训练速度确实较快。     

最小二乘双支持向量机的在线学习算法

针对具有两个非并行分类超平面的最小二乘双支持向量机,提出了一种在线学习算法。通过利用矩阵求逆分解引理,所提在线学习算法能充分利用历史的训练结果,避免了大型矩阵的求逆计算过程,从而降低了计算的复杂性。仿真结果验证了所提学习算法的有效性。     

基于最小二乘支持向量机的特征增量学习算法

本文针对传统的增量学习算法无法处理后采集到的样本中含有新增特征的问题,设计适应样本特征维数增加的训练算法。在基于最小二乘支持向量机的基础上,提出了特征增量学习算法。该算法充分利用先前训练得到的分类器的结构参数,仅对新增特征采用最小二乘支持向量机进行学习。实验结果表明,该算法能够在保证分类精度的同时,有效效地提高训练速度并降低存储空间。     

最小二乘支持向量机的一种稀疏化算法

介绍了一种稀疏化最小二乘支持向量机的剪枝算法。由于支持值图谱中小的支持值所对应的训练样本在算法执行阶段所起的作用较小,所以删除它们不会引起性能的显著下降。仿真实验表明,该算法不但简单、易于实现,而且能够保持良好的分类性能。     

最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数,最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

基于约简核矩阵的稀疏最小二乘支持向量机

为了解决最小二乘支持向量机模型稀疏性不足的问题,提出了一种约简核矩阵的LS-SVM稀疏化方法.按照空间两点的欧式距离寻找核矩阵中相近的行(列),并通过特定的规则进行合并,以减小核矩阵的规模,进而求得稀疏LS-SVM模型.以高斯径向基核函数为例,详细阐述了改进方法的实现步骤,并通过仿真表明了采用该方法求得的稀疏LS-SVM模型泛化能力良好.     

最小二乘支持向量机算法研究

1 引言支持向量机(SVM,Support Vector Machines)是基于结构风险最小化的统计学习方法,它具有完备的统计学习理论基础和出色的学习性能,在模式识别和函数估计中得到了有效的应用(Vapnik,1995,1998)。支持向量机方法一方面通过把数据映射到高维空间,解决原始空间中数据线性不可分问题;另一方面,通过构造最优分类超平面进行数据分类。神经网络通过基于梯度迭代的方法进行数据学习,容易陷入局部最小值,支持向量机是通过解决一个二次规划问题,来获得     

在线稀疏最小二乘支持向量机回归的研究

现有最小二乘支持向量机回归的训练和模型输出的计算需要较长的时间,不适合在线实时训练.对此,提出一种在线稀疏最小二乘支持向量机回归,其训练算法采用样本字典,减少了训练样本的计算量.训练样本采用序贯加入的方式,适合在线获取,并且该算法在理论上是收敛的.仿真结果表明,该算法具有较好的稀疏性和实时性,可进一步用于建模与实时控制等方面的研究.     

基于矢量基学习的最小二乘支持向量机建模

为使最小二乘支持向量机的解具有稀疏性,本文提出了一种稀疏解算法-矢量基学习．首先引入基矢量、基矢量集与矢量空间的概念,并分析新样本矢量与矢量空间的夹角,从而推导出该样本是否为基矢量的判断准则．随着新样本的到来,在线判别支持向量,使LS-SVM的支持向量具有稀疏性．提升LS-SVM动态建模的实时性,本文进一步提出用于矢量基学习的增长记忆模式递推公式．仿真分析及水处理厂的应用实例,验证了该方法的可行性和有效性．     

一种高效的最小二乘支持向量机分类器剪枝算法

针对最小二乘支持向量机丧失稀疏性的问题,提出了一种高效的剪枝算法.为了避免解初始的线性代数方程组,采用了一种自下而上的策略.在训练的过程中,根据一些特定的剪枝条件,块增量学习和逆学习交替进行,一个小的支持向量集能够自动形成.使用此集合,可以构造最终的分类器.为了测试新算法的有效性,把它应用于5个UCI数据集.实验结果表明：使用新的剪枝算法,当增量块的大小等于2时,在几乎不损失精度的情况下,可以得到稀疏解.另外,和SMO算法相比,新算法的速度更快.新的算法不仅适用于最小二乘支持向量机分类器,也可向最小二乘支持向量回归机推广.     

Least Square Transduction Support Vector Machine

Support vector machine (SVM) is a general and powerful learning machine, which adopts supervised manner. However, for many practical machine learning and data mining applications, unlabeled training examples are readily available but labeled ones are very expensive to be obtained. Therefore, semi-supervised learning emerges as the times require. At present, the combination of SVM and semi-supervised learning principle such as transductive learning has attracted more and more attentions. Transductive support vector machine (TSVM) learns a large margin hyperplane classifier using labeled training data, but simultaneously force this hyperplane to be far away from the unlabeled data. TSVM might seem to be the perfect semi-supervised algorithm since it combines the powerful regularization of SVMs and a direct implementation of the clustering assumption, nevertheless its objective function is non-convex and then it is difficult to be optimized. This paper aims to solve this difficult problem. We apply least square support vector machine to implement TSVM, which can ensure that the objective function is convex and the optimization solution can then be easily found by solving a set of linear equations. Simulation results demonstrate that the proposed method can exploit unlabeled data to yield good performance effectively.     

回归最小二乘支持向量机的增量和在线式学习算法

首先给出回归最小二乘支持向量机的数学模型,并分析了它的性质,然后在此基础上根据分块矩阵计算公式和核函数矩阵本身的特点设计了支持向量机的增量式学习算法和在线学习算法．该算法能充分利用历史的训练结果,减少存储空间和计算时间．仿真实验表明了这两种学习方法的有效性．     

Short-Term Traffic Flow Prediction Based on Least Square Support Vector Machine with Hybrid Optimization Algorithm

Accurate short-term traffic flow prediction plays an indispensable role for solving traffic congestion. However, the structure of traffic data is nonlinear     

维纳模型的最小二乘支持向量机辨识

针对传统维纳模型辨识方法存在算法复杂、精度低的问题,通过对最小二乘支持向量机建模原理和维纳模型结构特点的分析,提出一种基于最小二乘支持向量机的维纳模型辨识新方法.该方法充分利用了维纳模型中具有线性环节这一先验知识,实现了线性和非线性环节参数的同时辨识.对于多变量维纳模型,该方法同样适用.给出并证明了该方法存在唯一解的约束条件 - 参数部分列满秩.仿真实验表明了该方法的有效性,与标准最小二乘支持向量机辨识方法相比,该方法具有更高的精度.     

基于LSSVM的木材干燥建模研究

针对木材干燥过程的强非线性特点,提出以最小二乘支持向量机LSSVM建立木材干燥基准模型.通过实验用小型木材干燥窑实际干燥过程中采集的数据作为训练样本进行仿真实验,结果表明基于LSSVM的木材干燥模型预测输出能够准确反映干燥过程木材含水率的变化,模型结构简单、预测精度高、泛化能力强,验证了LSSVM对木材干燥过程建模是一种可行而有效的方法.     

基于最小二乘支持向量机的瓦斯传感器非线性校正

依据瓦斯传感器样本,文章提出了一种采用最小二乘支持向量机辨识传感器逆模特征的校正瓦斯传感器非线性误差的方法,详细介绍了SVM回归估计校正方法和LS-SVM校正方法的原理。该方法不需逆模型函数形式的先验知识,能够保证找到的极值解就是局最优解,具有较好的泛化能力。实例应用表明,采用该方法校正后的传感器的检测精度可达到0.4%,效果令人满意。     

基于支持向量机的发酵过程建模研究

发酵过程有众多关键性的变量难以在线检测,给过程优化策略的有效实施带来了障碍。最小二乘支持向量机（LS-SVM）是标准支持向量机（SVM）的一种扩展,LS-SVM算法精度高,速度快,适合于在线预估。将该算法用于青霉素发酵过程建模,用具有RBF核函数的LS-SVM建立菌体浓度、青霉素浓度的模型,并通过仿真实验与标准支持向量机进行比较。结果表明,最小二乘支持向量机是青霉素发酵过程建模与控制的一种有效的方法。     

增量式剪枝最小二乘支持向量机的时间序列预测

根据分块矩阵计算公式和支持向量机核函数矩阵本身特点,在增量式最小二乘支持向量机算法的基础上,通过引入剪枝方法改善最小二乘支持向量机的稀疏性,并将这种方法应用于时间序列预测,试验表明这一方法在预测精度及速度上具有一定的优越性。     

增量回归支持向量机改进学习算法

传统的支持向量机不具有增量学习性能,而常用的增量学习方法具有不同的优缺点,为了解决这些问题,提高支持向量机的训练速度,文章分析了支持向量机的本质特征,根据支持向量机回归仅与支持向量有关的特点,提出了一种适合于支持向量机增量学习的算法(IRSVM),提高了支持向量机的训练速度和大样本学习的能力,而支持向量机的回归能力基本不受影响,取得了较好的效果。