基于边界近邻的最小二乘支持向量机实现

最小二乘支持向量机采用最小二乘线性系统代替传统的支持向量即采用二次规划方法解决模式识别问题,能够有效地减少计算的复杂性。但最小二乘支持向量机失去了对支持向量的稀疏性。文中提出了一种基于边界近邻的最小二乘支持向量机,采用寻找边界近邻的方法对训练样本进行修剪,以减少了支持向量的数目。将边界近邻最小二乘支持向量机用来解决由1-a-r(one-against-rest)方法构造的支持向量机分类问题,有效地克服了用1-a-r(one-against-rest)方法构造的支持向量机分类器训练速度慢、计算资源需求比较大、存在拒分区域等缺点。实验结果表明,采用边界近邻最小二乘支持向量机分类器,识别精度和识别速度都得到了提高。     

基于约简核矩阵的稀疏最小二乘支持向量机

为了解决最小二乘支持向量机模型稀疏性不足的问题,提出了一种约简核矩阵的LS-SVM稀疏化方法.按照空间两点的欧式距离寻找核矩阵中相近的行(列),并通过特定的规则进行合并,以减小核矩阵的规模,进而求得稀疏LS-SVM模型.以高斯径向基核函数为例,详细阐述了改进方法的实现步骤,并通过仿真表明了采用该方法求得的稀疏LS-SVM模型泛化能力良好.     

最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数,最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

在线稀疏最小二乘支持向量机回归的研究

现有最小二乘支持向量机回归的训练和模型输出的计算需要较长的时间,不适合在线实时训练.对此,提出一种在线稀疏最小二乘支持向量机回归,其训练算法采用样本字典,减少了训练样本的计算量.训练样本采用序贯加入的方式,适合在线获取,并且该算法在理论上是收敛的.仿真结果表明,该算法具有较好的稀疏性和实时性,可进一步用于建模与实时控制等方面的研究.     

一种稀疏最小二乘支持向量机

针对最小二乘支持向量机缺乏稀疏性的问题,提出了一种基于边界样本的最小二乘支持向量机算法。该算法利用中心距离比来选取支持度较大的边界样本作为训练样本,从而减少了支持向量的数目,提高了算法的速度。最后将该算法在4个UCI数据集上进行实验,结果表明：在几乎不损失精度的情况下,可以得到稀疏解,且算法的识别速度有了一定的提高。     

一种快速最小二乘支持向量机分类算法

最小二乘支持向量机不需要求解凸二次规划问题,通过求解一组线性方程而获得最优分类面,但是,最小二乘支持向量机失去了解的稀疏性,当训练样本数量较大时,算法的计算量非常大。提出了一种快速最小二乘支持向量机算法,在保证支持向量机推广能力的同时,算法的速度得到了提高,尤其是当训练样本数量较大时算法的速度优势更明显。新算法通过选择那些支持值较大样本作为训练样本,以减少训练样本数量,提高算法的速度;然后,利用最小二乘支持向量机算法获得近似最优解。实验结果显示,新算法的训练速度确实较快。     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

基于支持向量机和最小二乘支持向量机的入侵检测比较

将支持向量机和最小二乘支持向量机用于入侵检测之中,利用主元分析对数据进行约简,然后使用SVM和 LS-SVM对数据进行训练和测试.基于KDDCUP'99做了三组对比实验,对支持向量机和最小二乘支持向量机的性能做了统计.实验结果表明,SVM比LS-SVM分类能力强,但是LS-SVM耗时较少.     

基于矢量基学习的最小二乘支持向量机建模

为使最小二乘支持向量机的解具有稀疏性,本文提出了一种稀疏解算法-矢量基学习．首先引入基矢量、基矢量集与矢量空间的概念,并分析新样本矢量与矢量空间的夹角,从而推导出该样本是否为基矢量的判断准则．随着新样本的到来,在线判别支持向量,使LS-SVM的支持向量具有稀疏性．提升LS-SVM动态建模的实时性,本文进一步提出用于矢量基学习的增长记忆模式递推公式．仿真分析及水处理厂的应用实例,验证了该方法的可行性和有效性．     

一种稀疏最小二乘支持向量分类机

一般的支持向量分类机需要求解二次规划问题,最小二乘支持向量机只需求解一个线性方程组,但其缺乏稀疏性.为了改进最小二乘支持向量分类机,本文结合中心距离比值及增量学习的思想提出一种基于预选、筛选支持向量的稀疏最小二乘支持向量机.该方法既能弥补最小二乘向量机的稀疏性,减少计算机的存储量和计算量,加快最小二乘支持向量机的训练速度和决策速度,又能对非均衡训练数据造成的分类面的偏移进行纠正,还不影响最小二乘支持向量机的分类能力.3组实验结果也证实了这一点.     

基于最小二乘支持向量机的预测控制

最小二乘支持向量机（LS—SVM）方法克服了经典二次规划方法求解支持向量机的维数灾问题。适合于大样本的学习。提出一种新的基于LS—SVM模型的预测控制结构,对一典型非线性系统-连续搅拌槽反应器（CSTR）的仿真表明,该控制方案表现出优良的控制品质并能适应被控对象参数的变化,具有较强的鲁棒性和自适应能力。     

基于最小二乘支持向量机的非线性均衡

从支持向量机(SupportVectorMachine,SVM)学习理论出发,介绍了最小二乘支持向量机(LeastSquaresSupportVectorMachine,LS-SVM)的原理[1],并详细描述了使用共轭梯度(ConjugateGradient,CG)算法来实现LS-SVM。结合通信中常见的非线性均衡问题,讨论了在信道呈现非线性,色噪声干扰情况下,使用LS-SVM实现均衡任务,通过同最优贝叶斯均衡器性能的比较,证明了LS-SVM处理非线性均衡问题的有效性。在实际数字通信中,接收端可以在不知道信道状态的前提下,通过接收训练序列并对其进行学习,确定均衡器模型参数,从而对未知的发送信号进行预测。     

Least Squares Support Vector Machine Classifiers

In this letter we discuss a least squares version for support vector machine (SVM) classifiers. Due to equality type constraints in the formulation, the solution follows from solving a set of linear equations, instead of quadratic programming for classical SVM's. The approach is illustrated on a two-spiral benchmark classification problem.     

基于协同最小二乘支持向量机的Q学习

针对强化学习系统收敛速度慢的问题, 提出一种适用于连续状态、离散动作空间的基于协同最小二乘支持向量机的Q学习. 该Q学习系统由一个最小二乘支持向量回归机(Least squares support vector regression machine, LS-SVRM)和一个最小二乘支持向量分类机(Least squares support vector classification machine, LS-SVCM)构成. LS-SVRM用于逼近状态--动作对到值函数的映射, LS-SVCM则用于逼近连续状态空间到离散动作空间的映射, 并为LS-SVRM提供实时、动态的知识或建议(建议动作值)以促进值函数的学习. 小车爬山最短时间控制仿真结果表明, 与基于单一LS-SVRM的Q学习系统相比, 该方法加快了系统的学习收敛速度, 具有较好的学习性能.     

基于尺度核函数的最小二乘支持向量机

支持向量机的核函数一直是影响其学习效果的重要因素.本文基于小波分解理论和支持向量机核函数的条件,提出一种多维允许支持向量尺度核函数.该核函数不仅具有平移正交性,且可以以其正交性逼近二次可积空间上的任意曲线,从而提升支持向量机的泛化性能.在尺度函数作为支持向量核函数的基础之上,提出基于尺度核函数的最小二乘支持向量机(LS-SSVM).实验结果表明,LS-SSVM在同等条件下比传统支持向量机的学习精度更高,因而更适用于复杂函数的学习问题.     

基于最小二乘支持向量机的双模控制

提出一种保证闭环系统稳定性的双模控制:采用预测控制将状态驱动到终端约束域,再利用局部线性控制将状态驱动到原点.在分析一类基于最小二乘支持向量机(LS-SVM)的预测控制的基础上,在常规的性能指标后附加了一个终端约束,并利用李亚普诺夫方法推导了确保闭环系统稳定性的4个充分条件.在此基础上,推导了基于最小二乘支持向量机的双模控制算法.仿真结果显示了算法的优越性.     

基于熵值法的加权最小二乘支持向量机

支持向量机是一种以统计学习理论为基础的机器学习算法,着重解决小样本的建模问题,并且对非线性高维数据具有较好的处理能力。通常对于多维特征的数据,会对每一维数据做归一化处理以消除量纲的影响,但缺点在于忽视了各维特征的权重差异。提出了一种加权最小二乘支持向量机的建模方法,通过熵值法确定每一维特征的权重,根据特征权重对数据进行加权处理,最后由最小二乘支持向量机建立该系统模型。实验表明,对于多维特征的数据,所提方法具有更好的建模效果。     

基于支持向量机的网格负载信息预测模型

提出了采用小波分析和最小二乘支持向量机（LS-SVM）混合模型对网格负载信息进行预测。该模型首先基于小波多分辨率分析对非平稳的网格负载样本做序列分解,得到不同尺度下的负载分量,然后利用LS-SVM对不同尺度的分量进行预测,最后通过对各分量预测信息进行重构得到相应的预测值。实验结果表明,使用本模型进行短期负荷预测比传统小波神经网络方法可以获得更好的预测精度。     

基于特征指数加权的最小二乘支持向量机算法

根据支持向量回归机原理,针对样本特征对回归预测重要性的差异,采用最小二乘支持向量回归机(LS-SVR)算法,减少参数数量,针对参数对预测效果的影响,并考虑到特征加权的意义,采用特征指数进行加权,其权重系数由灰色关联度确定,提出了基于特征指数加权的最小二乘支持向量回归机算法。为验证该算法的有效性,对实际股票价格进行预测,结果表明该算法较传统最小二乘支持向量回归机算法,其回归估计函数的预测能力明显提高,具有一定的实用价值。