基于鲁棒学习的最小二乘支持向量机及其应用

鉴于最小二乘支持向量机比标准支持向量机具有更高的计算效率和拟合精度,但缺少标准支持向量机的鲁棒性,即当采样数据存在奇异点或者误差变量的高斯分布假设不成立时,会导致不稳健的估计结果,提出了一种鲁棒最小二乘支持向量机方法.该方法在最小二乘支持向量机基础上,通过引入鲁棒学习方法来获得鲁棒估计.仿真分析及某湿法冶金厂的应用实例验证了该方法的可行性和有效性.     

在线鲁棒最小二乘支持向量机回归建模

鉴于工业过程的时变特性以及现场采集的数据通常具有非线性特性且包含离群点,利用最小二乘支持向量机回归（least squares support vector regression,LSSVR）建模易受离群点的影响.针对这一问题,结合鲁棒学习算法（robust learning algorithm,RLA）,本文提出了一种在线鲁棒最小二乘支持向量机回归建模方法.该方法首先利用LSSVR模型对过程输出进行预测,与真实输出相比较得到预测误差;然后利用RLA方法训练LSSVR模型的权值,建立鲁棒LSSVR模型;最后应用增量学习方法在线更新鲁棒LSSVR模型,从而得到在线鲁棒LSSVR模型.仿真研究验证了所提方法的有效性.     

鲁棒最小二乘支持向量回归机

针对最小二乘支持向量回归机(LS-SVR)对异常值较敏感的问题,通过设置异常值所造成的损失上界,提出一种非凸的Ramp损失函数。该损失函数导致相应的优化问题的非凸性,利用凹凸过程(CCCP)将非凸优化问题转化为凸优化问题。给出Newton算法进行求解并分析了算法的计算复杂度。数据集测试的结果表明,与最小二乘支持向量回归机相比,该算法对异常值具有较强的鲁棒性,获得了更优的泛化能力,同时在运行时间上也具有明显优势。     

鲁棒最小二乘孪生支持向量机及其稀疏算法

最小二乘孪生支持向量机通过求解两个线性规划问题来代替求解复杂的二次规划问题,具有计算简单和训练速度快的优势。然而,最小二乘孪生支持向量机得到的超平面易受异常点影响且解缺乏稀疏性。针对这一问题,基于截断最小二乘损失提出了一种鲁棒最小二乘孪生支持向量机模型,并从理论上验证了模型对异常点具有鲁棒性。为使模型可处理大规模数据,基于表示定理和不完全Cholesky分解得到了新模型的稀疏解,并提出了适合处理带异常点的大规模数据的稀疏鲁棒最小二乘孪生支持向量机算法。数值实验表明,新算法比已有算法分类准确率、稀疏性、收敛速度分别提高了1.97%~37.7%、26~199倍和6.6~2 027.4倍。     

基于最小二乘支持向量机的函数拟合的研究

函数拟合通常要在有限的训练样本下对函数变量之间的关系做出预测,在实践中由于训练样本有限,并且训练样本本身存在噪音和孤立点,用传统的方法进行函数拟合的结果往往不能满足要求.本文主要利用最小二乘支持向量机对函数进行拟合.首先介绍了最小二乘支持向量机的工作原理,并对参数选择方法进行了研究,然后通过仿真实验对利用最小二乘支持向量机进行函数拟合的效果加以对比说明.     

航向保持鲁棒最小二乘支持向量机控制

考虑到船舶航向控制中,存在的大量不确定因素及对控制系统的实时性要求,提出一种基于鲁棒最小二乘支持向量机(RLSSVM)的船舶航向保持控制方案.该控制策略充分利用最小二乘支持向量机良好的非线性映射能力、自学习适应能力和并行信息处理能力,并与H~2/H~∞鲁棒控制算法相结合,优势互补,形成闭环控制.仿真结果表明,该系统对海情的变化有良好的自适应能力,鲁棒性强,实现了航向保持精确控制.     

最小二乘支持向量机算法研究

1 引言支持向量机(SVM,Support Vector Machines)是基于结构风险最小化的统计学习方法,它具有完备的统计学习理论基础和出色的学习性能,在模式识别和函数估计中得到了有效的应用(Vapnik,1995,1998)。支持向量机方法一方面通过把数据映射到高维空间,解决原始空间中数据线性不可分问题;另一方面,通过构造最优分类超平面进行数据分类。神经网络通过基于梯度迭代的方法进行数据学习,容易陷入局部最小值,支持向量机是通过解决一个二次规划问题,来获得     

最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数,最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

基于人工免疫算法的最小二乘支持向量机参数优化算法*

针对最小二乘支持向量机（LSSVM）处理大数据集时确定最优模型参数耗时长、占内存大的问题,提出了一种基于人工免疫算法的参数寻优方法。通过分析LSSVM模型参数对分类准确率的影响发现,存在多种参数组合,使得分类准确率相同;当其中一个参数固定,另外一个参数在某些范围内变化取值时,它们的组合并不影响分类的准确率。将LSSVM模型参数作为抗体的基因设计了抗体的编码方案,利用人工免疫算法对LSSVM参数优化搜索。仿真结果表明,与使用交叉验证和网格搜索方法相比,提出的LSSVM参数优化算法在不降低分类准确率的前提下,寻优效率大大提高。     

基于最小二乘小波支持向量机的数据拟合实验

针对目前使用的SVM核函数在回归中不能逼近任意目标函数的问题,在支持向量机的核方法和小波框架理论的基础上,提出了LS-WSVM结构模型。该模型在LS－SVM中使用一种新的由小波构成的SVM核函数。实验结果表明,与标准的SVM及LS－SVM比较起来,在同等条件下,LS-WSVM在函数回归方面LS-WSVM具有优良的逼近性能,拟合效果更为细腻。     

一种快速最小二乘支持向量机分类算法

最小二乘支持向量机不需要求解凸二次规划问题,通过求解一组线性方程而获得最优分类面,但是,最小二乘支持向量机失去了解的稀疏性,当训练样本数量较大时,算法的计算量非常大。提出了一种快速最小二乘支持向量机算法,在保证支持向量机推广能力的同时,算法的速度得到了提高,尤其是当训练样本数量较大时算法的速度优势更明显。新算法通过选择那些支持值较大样本作为训练样本,以减少训练样本数量,提高算法的速度;然后,利用最小二乘支持向量机算法获得近似最优解。实验结果显示,新算法的训练速度确实较快。     

改进的模糊最小二乘支持向量机模型

针对最小二乘支持向量机对噪声或孤立点敏感的问题,提出一种融合先验知识的模糊最小二乘支持向量机模型。在训练过程中考虑样本的噪声分布模型,结合样本紧密度策略,自动生成相应样本的模糊隶属度。实验结果表明,该模型对噪声样本具有较好的分类精度。     

基于偏最小二乘的支持向量机多分类方法

该文提出了一种基于偏最小二乘（PLS）的支持向量机（SVM）多分类方法,该算法利用偏最小二乘思想对样本进行预处理,消除了样本属性之间的相关性,而且得到的综合属性与类信息的相关程度达到最大。通过实验可以看出,该方法不仅可以减少用支持向量机进行分类过程中的支持向量数目,而且当样本属性较多时,可以提高一定的识别率。     

一种新的最小二乘支持向量机算法

基于核方法的学习算法在机器学习领域占有很重要的地位（如支持向量机support vector machines,简称SVM）。但该方法在处理回归问题时的计算复杂度为数据量的立方级。最小二乘支持向量机(least squares support vector machines 简称LS-SVM)在计算复杂性方面对传统的支持向量机的作了很大改进,但是它的计算量也达到样本点数目的平方级。在处理海量数据回归问题时,求解LS-SVM占用大量的CPU和内存资源。本文提出了一种带非齐次多项式核的最小二乘支持向量机算法,由于特征向量中含有常数分量,所以本文去掉了模型中的偏差因子,简化了LS-SVM的回归模型。新方法特别适合于海量数据回归问题。实验显示新方法的求解速度比传统LS-SVM要快很多,同时新方法的准确性却丝毫不亚于LS-SVM     

基于最小二乘支持向量机的声波测距系统消噪处理

针对声波测距系统噪声复杂,淹没在噪声中的回波难以检测的问题,以机器统计学习理论为基础,采用最小二乘支持向量机(LS-SVM)建立系统模型,实现了声波测距系统异常值的预测和噪声的消除,并与传统的时间序列分析方法建立的自回归滑动平均求和模型(ARIMA)的消噪效果进行了仿真对比。仿真结果表明,利用最小二乘支持向量机建立的模型预测精度高,能有效地抑制声波测距系统中的噪声。     

一种广义最小二乘支持向量机算法及其应用

最小二乘支持向量机(LS SVM)是处理不可分样本集情况下模式分类的有效工具,但是该算法在处理很多实际分类问题时,表现出了一定的局限性。为了进一步增强最小二乘支持向量机的推广能力,提出一种通用的广义最小二乘支持向量机算法,并且把这种新算法首先应用到雷达一维距离像的识别中,实验表明新的算法能取得更好的识别效果。     

基于动态数据的支持向量分类机算法实现

在支持向量分类机模型中,要从样本中选出具有代表性的数据作为输入值。一般地,选定的数据是静态的,但实际情况中数据是动态的。文章提出了基于动态数据的支持向量分类机模型,并给出了相应的算法。     

基于AdaBoost算法的加权二乘向量回归机

针对二乘向量机(LS-SVM)对所有样本误差惩罚相同、预测精度不高的问题,提出了一种基于AdaBoost模型的二乘向量回归机。该算法使用多个二乘向量机按照某种学习规则协调各二乘向量机的输出,同时根据回归精度,建立各二乘向量机中每一个样本的误差惩罚权重,以突出样本的惩罚差异性,提高算法的泛化性能。实验结果表明,提出的算法提高了二乘向量回归机的预测精度,优化了学习机的性能。     

基于HMM-SVM的图像型火焰识别

针对单一的隐马尔科夫模型在图像型火灾探测中误报率偏高的问题,提出了隐马尔科夫模型和支持向量机相结合的图像型火焰识别算法。对捕获到的图像进行运动区域检测和颜色分析,提取疑似火焰区域,利用隐马尔科夫模型计算疑似区域与火焰模型的相似度,并输入到训练好的支持向量机进行二次识别。实验结果表明,与传统单一隐马尔科夫模型相比,该方法可以有效地降低误报率,提高火焰识别准确性。