最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数,最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

基于支持向量机和最小二乘支持向量机的入侵检测比较

将支持向量机和最小二乘支持向量机用于入侵检测之中,利用主元分析对数据进行约简,然后使用SVM和 LS-SVM对数据进行训练和测试.基于KDDCUP'99做了三组对比实验,对支持向量机和最小二乘支持向量机的性能做了统计.实验结果表明,SVM比LS-SVM分类能力强,但是LS-SVM耗时较少.     

最小二乘支持向量机算法研究

1 引言支持向量机(SVM,Support Vector Machines)是基于结构风险最小化的统计学习方法,它具有完备的统计学习理论基础和出色的学习性能,在模式识别和函数估计中得到了有效的应用(Vapnik,1995,1998)。支持向量机方法一方面通过把数据映射到高维空间,解决原始空间中数据线性不可分问题;另一方面,通过构造最优分类超平面进行数据分类。神经网络通过基于梯度迭代的方法进行数据学习,容易陷入局部最小值,支持向量机是通过解决一个二次规划问题,来获得     

基于核的偏最小二乘特征提取的最小二乘支持向量机回归方法

提出了用核的偏最小二乘进行特征提取．首先把初始输入映射到高维特征空间，然后在高维特征空间中计算得分向量，降低样本的维数，再用最小二乘支持向量机进行回归．通过实验表明，这种方法得到的效果优于没有特征提取的回归．同时与PLS提取特征相比，KPLS分析效果更好．     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

一类非线性系统基于最小二乘支持向量机的直接自适应控制

提出一类非线性系统基于最小二乘支持向量机的直接自适应控制方法.该方法采用最小二乘支持向量机构造自适应控制器,自适应控制器参数的在线调整规律由Lyapunov稳定性理论导出,并严格证明了闭环系统的渐近稳定性.仿真研究表明了此控制方案的可行性和有效性.     

基于最小二乘支持向量机的特征增量学习算法

本文针对传统的增量学习算法无法处理后采集到的样本中含有新增特征的问题,设计适应样本特征维数增加的训练算法。在基于最小二乘支持向量机的基础上,提出了特征增量学习算法。该算法充分利用先前训练得到的分类器的结构参数,仅对新增特征采用最小二乘支持向量机进行学习。实验结果表明,该算法能够在保证分类精度的同时,有效效地提高训练速度并降低存储空间。     

基于最小二乘支持向量机的油罐故障诊断方法

根据油罐故障分析,建立了油罐故障诊断模型。采用新型的支持向量机-最小二乘向量机(LS-SVM)的算法对此诊断模型进行预测,获得了满意的效果。该方法易于使用,很少受不确定性因素的影响,有很高的预测准确性。     

基于遗传优化最小二乘支持向量机的导引头故障诊断

为提高导引头故障诊断准确率,提出了一种采用改进遗传算法优化的最小二乘支持向量机（LSSVM）构造导引头多故障分类模型的方法。该方法基于一对一策略及改进的投票法建立两层LSSVM多故障分类器,并利用一种自适应变步长搜索策略改进的遗传算法对LSSVM的核参数和正则化参数进行自动优选。通过对某型导引头实测数据的仿真并和标准SVM及BP神经网络诊断方法相比较,结果表明该方法具有更高诊断准确率和计算效率。     

基于偏最小二乘法与支持向量机的人脸识别

该文认为在人脸识别中,偏最小二乘回归方法作为一种新的降维方法,在处理小样本问题时具有明显优势,而主元分析方法作为一种传统的降维方法在选择分量时没有考虑类信息,因而有可能忽略掉重要的分类信息。支持向量机（SVM）模式识别方法具备良好的分类性能和鲁棒性。该文提出了一种基于偏最小二乘与支持向量机的人脸识别方法。利用偏最小二乘回归分析对人脸图像进行降维和特征提取,再利用支持向量机对特征向量进行分类识别。ORL人脸库的仿真结果证明偏最小二乘回归方法比主元分析方法更有效。     

改进的模糊最小二乘支持向量机模型

针对最小二乘支持向量机对噪声或孤立点敏感的问题,提出一种融合先验知识的模糊最小二乘支持向量机模型。在训练过程中考虑样本的噪声分布模型,结合样本紧密度策略,自动生成相应样本的模糊隶属度。实验结果表明,该模型对噪声样本具有较好的分类精度。     

基于最小二乘支持向量机的函数拟合的研究

函数拟合通常要在有限的训练样本下对函数变量之间的关系做出预测,在实践中由于训练样本有限,并且训练样本本身存在噪音和孤立点,用传统的方法进行函数拟合的结果往往不能满足要求.本文主要利用最小二乘支持向量机对函数进行拟合.首先介绍了最小二乘支持向量机的工作原理,并对参数选择方法进行了研究,然后通过仿真实验对利用最小二乘支持向量机进行函数拟合的效果加以对比说明.     

一种新的最小二乘支持向量机算法

基于核方法的学习算法在机器学习领域占有很重要的地位（如支持向量机support vector machines,简称SVM）。但该方法在处理回归问题时的计算复杂度为数据量的立方级。最小二乘支持向量机(least squares support vector machines 简称LS-SVM)在计算复杂性方面对传统的支持向量机的作了很大改进,但是它的计算量也达到样本点数目的平方级。在处理海量数据回归问题时,求解LS-SVM占用大量的CPU和内存资源。本文提出了一种带非齐次多项式核的最小二乘支持向量机算法,由于特征向量中含有常数分量,所以本文去掉了模型中的偏差因子,简化了LS-SVM的回归模型。新方法特别适合于海量数据回归问题。实验显示新方法的求解速度比传统LS-SVM要快很多,同时新方法的准确性却丝毫不亚于LS-SVM     

基于假设检验及异常点剔除的稳健LS-SVM回归

提出一种稳健的LS-SVM回归算法。该算法建立在异常样本逐步剔除的框架上,每次循环中选择误差最大的样本加以考察,然后使用统计假设检验方法对其进行诊断。若样本被诊断为异常样本,则将其剔除,并重新训练LS-SVM,为下一轮的异常点诊断和剔除提供更准确的信息。同时为了减少运算复杂度,我们还将减量学习引入到算法的重新训练过程中,从而保证算法的附加复杂度不超过O(N³)。仿真数据集和实际数据集上的详细实验证实该算法的优越性,并提供一种使用该算法建立异常样本检测器的思路。     

New Least Squares Support Vector Machines Based on Matrix Patterns

Support vector machine (SVM), as an effective method in classification problems, tries to find the optimal hyperplane that maximizes the margin between two classes and can be obtained by solving a constrained optimization criterion using quadratic programming (QP). This QP leads to higher computational cost. Least squares support vector machine (LS-SVM), as a variant of SVM, tries to avoid the above shortcoming and obtain an analytical solution directly from solving a set of linear equations instead of QP. Both SVM and LS-SVM operate directly on patterns represented by vector, i.e., before applying SVM or LS-SVM to a pattern, any non-vector pattern such as an image has to be first vectorized into a vector pattern by some techniques like concatenation. However, some implicit structural or local contextual information may be lost in this transformation. Moreover, as the dimension d of the weight vector in SVM or LS-SVM with the linear kernel is equal to the dimension d ₁ × d ₂ of the original input pattern, as a result, the higher the dimension of a vector pattern is, the more space is needed for storing it. In this paper, inspired by the method of feature extraction directly based on matrix patterns and the advantages of LS-SVM, we propose a new classifier design method based on matrix patterns, called MatLSSVM, such that the new method can not only directly operate on original matrix patterns, but also efficiently reduce memory for the weight vector (d) from d ₁ × d ₂ to d ₁ + d ₂. However like LS-SVM, MatLSSVM inherits LS-SVM’s existence of unclassifiable regions when extended to multi-class problems. Thus with the fuzzy version of LS-SVM, a corresponding fuzzy version of MatLSSVM (MatFLSSVM) is further proposed to remove unclassifiable regions effectively for multi-class problems. Experimental results on some benchmark datasets show that the proposed method is competitive in classification performance compared to LS-SVM, fuzzy LS-SVM (FLS-SVM), more-recent MatPCA and MatFLDA. In addition, more importantly, the idea used here has a possibility of providing a novel way of constructing learning model.     

基于总体最小二乘法的图像降噪

来自图像传感器的数字图像会受到各种噪声的干扰,其中主要包括加性噪声、乘性噪声和混合噪声。乘性噪声随信号幅度改变而改变,没有理想的去除方法。为此,运用基于总体最小二乘法的图像估计降噪方法,研究图像块尺寸选取对降噪性能的影响,分析成像系统中去马赛克环节影响噪声传播的内在规律,并通过比较实验给出总体最小二乘法降噪的性能优势。     

基于最小二乘支持向量机的火灾烟雾识别算法

支持向量机在数据量较大时求解时间很长。针对该问题,提出一种基于最小二乘支持向量机的视频火灾烟雾识别算法。对烟雾的可疑区域进行二次分割,选取颜色特征、相关系数和面积变化率作为特征输入向量,由此降低输入向量维数,缩短训练时间。实验结果表明,该算法具有较快的分类速度和较高的识别准确率。     

基于鲁棒最小二乘支持向量机的气动参数拟合

最小二乘支持向量机（LS－SVM）比标准支持向量机具有更高的计算效率,但是却散失了标准支持向量机的稀疏特性,而且当考虑异常值或者误差变量的高斯假设不成立时,会导致不稳健的估计结果。为了克服这两个缺点,在飞行器的气动参数拟合计算中引入了一种鲁棒最小二乘支持向量机（RLS－SVM）,该方法通过加权的支持向量机来获得鲁棒估计,并通过对支持值谱进行剪枝最终得到稀疏解。仿真结果表明：RLS－SVM方法简单,学习速度快,拟合精度高,鲁棒性强,是一种在飞行器轨迹计算中值得推广和采用的方法。     

基于最小二乘支持向量机的预测控制

最小二乘支持向量机（LS—SVM）方法克服了经典二次规划方法求解支持向量机的维数灾问题。适合于大样本的学习。提出一种新的基于LS—SVM模型的预测控制结构,对一典型非线性系统-连续搅拌槽反应器（CSTR）的仿真表明,该控制方案表现出优良的控制品质并能适应被控对象参数的变化,具有较强的鲁棒性和自适应能力。     

混沌理论和LSSVM相结合的网络流量预测

为提高网络流量的预测精度,提出一种基于混沌理论和最小二乘支持向量机相结合的网络流量预测方法。采用相空间重构对网络流量时间序列进行重构,恢复网络流量的演化轨迹,采用非线性预测能力强的最小二乘支持向量机对网络流量时间序列进行训练建模,采用混沌粒子群算法对最小二乘支持向量机参数进行优化,从而获得最优网络流量预测模型。用实际网络流量数据对该算法有效性进行验证,结果表明该方法能够很好刻画网络流量的变化趋势,提高了网络流量的预测精度,预测性能优于传统的预测方法。