最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数,最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

基于偏最小二乘的支持向量机多分类方法

该文提出了一种基于偏最小二乘（PLS）的支持向量机（SVM）多分类方法,该算法利用偏最小二乘思想对样本进行预处理,消除了样本属性之间的相关性,而且得到的综合属性与类信息的相关程度达到最大。通过实验可以看出,该方法不仅可以减少用支持向量机进行分类过程中的支持向量数目,而且当样本属性较多时,可以提高一定的识别率。     

稀疏最小二乘支持向量机及其应用研究

提出一种构造稀疏化最小二乘支持向量机的方法．该方法首先通过斯密特正交化法对核矩阵进行简约,得到核矩阵的基向量组;再利用核偏最小二乘方法对最小二乘支持向量机进行回归计算,从而使最小二乘向量机具有一定稀疏性．基于稀疏最小二乘向量机建立了非线性动态预测模型,对铜转炉造渣期吹炼时间进行滚动预测．仿真结果表明,基于核偏最小二乘辨识的稀疏最小二乘支持向量机具有计算效率高、预测精度好的特点．     

最小二乘支持向量机在故障诊断中的应用

为了提高机械设备故障诊断的精度,将小波包分析与最小二乘支持向量机进行了有机的结合。首先对故障信号功率谱进行小波分解,简化了故障特征向量的提取。然后提出了一种基于最小二乘支持向量机的故障诊断模型,用二次损失函数取代支持向量机中的不敏感损失函数,将不等式约束条件变为等式约束,从而将二次规划问题转变为线性方程组的求解,用最小二乘法实现了支持向量机算法,并提出对核函数的σ参数进行动态选取,提高了诊断的准确率。仿真结果表明该模型具有较强的非线性处理和抗干扰能力。     

最小二乘支持向量机算法研究

1 引言支持向量机(SVM,Support Vector Machines)是基于结构风险最小化的统计学习方法,它具有完备的统计学习理论基础和出色的学习性能,在模式识别和函数估计中得到了有效的应用(Vapnik,1995,1998)。支持向量机方法一方面通过把数据映射到高维空间,解决原始空间中数据线性不可分问题;另一方面,通过构造最优分类超平面进行数据分类。神经网络通过基于梯度迭代的方法进行数据学习,容易陷入局部最小值,支持向量机是通过解决一个二次规划问题,来获得     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

最小二乘支持向量机在黑液波美度软测量中的应用

支持向量机是近几年发展起来的机器学习的新方法,它能兼顾模型的通用性和推广性,较好地解决了小样本、非线性、高维数、局部极小点等实际问题。针对造纸工业碱回收蒸发工段黑液浓度不易在线实时测量的现状,本文提出了一种基于最小二乘支持向量机的软测量建模方法,实践结果表明该方法是可行的和有效的,其测量的精度完全能够满足生产的需要。     

最小二乘小波支持向量机的DNA序列分类方法

目前使用的已有SVM核函数,在分类中不能逼近某一L₂（R）（平方可积空间）子空间上的任意分类界面。针对上述问题,在支持向量机的核函数方法和小波框架理论的基础上,提出了LS-WSVM结构模型。实验结果表明,和标准的SVM和LS-SVM比较起来,在同等条件下,LS-WSVM在分类方面具有优良的特征提取性能。     

基于多类最小二乘支持向量机的神经元信号识别

针对大脑运动皮层群体神经元信号与运动行为关系的分析,提出一种基于二叉树的最小二乘支持向量机多类分类算法.在对猴子进行三维空间中8个方向手臂运动实验记录的多通道神经元信号的分析中,通过与标准支持向量机和学习矢量量化神经网络的比较,说明该方法不仅与标准支持向量机同样具有比学习矢量量化方法更强的学习能力和预测能力,而且运算时间比标准支持向量机更短.比较结果表明最小二乘支持向量机对于神经元信号分析的有效性和优越性,进而有利于实现性能更高的用于神经康复的脑机接口系统.     

最小二乘支持向量机交通事件检测算法

根据高速公路有事件发生时交通流将产生突变这一原理,采用最小二乘支持向量机研究高速公路事件检测问题。阐述了最小二乘支持向量机分类算法,设计了事件检测系统结构,分析了交通事件对交通流的影响规律,并合理地选取了最小二乘支持向量机的输入量。仿真实验表明,最小二乘支持向量机事件检测算法具有检测准确率高、学习速度快等优点,具有良好的应用前景。     

基于最小二乘支持向量机的函数拟合的研究

函数拟合通常要在有限的训练样本下对函数变量之间的关系做出预测,在实践中由于训练样本有限,并且训练样本本身存在噪音和孤立点,用传统的方法进行函数拟合的结果往往不能满足要求.本文主要利用最小二乘支持向量机对函数进行拟合.首先介绍了最小二乘支持向量机的工作原理,并对参数选择方法进行了研究,然后通过仿真实验对利用最小二乘支持向量机进行函数拟合的效果加以对比说明.     

一种快速最小二乘支持向量机分类算法

最小二乘支持向量机不需要求解凸二次规划问题,通过求解一组线性方程而获得最优分类面,但是,最小二乘支持向量机失去了解的稀疏性,当训练样本数量较大时,算法的计算量非常大。提出了一种快速最小二乘支持向量机算法,在保证支持向量机推广能力的同时,算法的速度得到了提高,尤其是当训练样本数量较大时算法的速度优势更明显。新算法通过选择那些支持值较大样本作为训练样本,以减少训练样本数量,提高算法的速度;然后,利用最小二乘支持向量机算法获得近似最优解。实验结果显示,新算法的训练速度确实较快。     

Additive Regularization Trade-Off: Fusion of Training and Validation Levels in Kernel Methods

This paper presents a convex optimization perspective towards the task of tuning the regularization trade-off with validation and cross-validation criteria in the context of kernel machines. We focus on the problem of tuning the regularization trade-off in the context of Least Squares Support Vector Machines (LS-SVMs) for function approximation and classification. By adopting an additive regularization trade-off scheme, the task of tuning the regularization trade-off with respect to a validation and cross-validation criterion can be written as a convex optimization problem. The solution of this problem then contains both the optimal regularization constants with respect to the model selection criterion at hand, and the corresponding training solution. We refer to such formulations as the fusion of training with model selection. The major tool to accomplish this task is found in the primal-dual derivations as occuring in convex optimization theory. The paper advances the discussion by relating the additive regularization trade-off scheme with the classical Tikhonov scheme. Motivations are given for the usefulness of the former scheme. Furthermore, it is illustrated how to restrict the additive trade-off scheme towards the solution path corresponding with a Tikhonov scheme while retaining convexity of the overall problem of fusion of model selection and training. We relate such a scheme with an ensemble learning problem and with stability of learning machines. The approach is illustrated on a number of artificial and benchmark datasets relating the proposed method with the classical practice of tuning the Tikhonov scheme with a cross-validation measure.     

基于LS-SVM的乙醇浓度软测量在酵母生产中的应用

在酵母生产过程中,乙醇浓度是一个很重要的控制参数,但目前的检测手段多为离线人工测量,不能实现乙醇浓度的测控自动化,是束缚生产效率的重要原因。本文采用最小二乘支持向量机(LS-SVM)方法进行回归估计,完成了对乙醇浓度的软测量。试验结果表明基于LS-SVM的软测量方法可以很好地实现乙醇浓度在线自动测量。     

改进的模糊最小二乘支持向量机模型

针对最小二乘支持向量机对噪声或孤立点敏感的问题,提出一种融合先验知识的模糊最小二乘支持向量机模型。在训练过程中考虑样本的噪声分布模型,结合样本紧密度策略,自动生成相应样本的模糊隶属度。实验结果表明,该模型对噪声样本具有较好的分类精度。     

基于粒子群优化算法的LS-SVM财务预警

提出一种基于粒子群优化算法优化有关参数的最小二乘支持向量机的财务预警模型。通过提出适当的验证性能指标,用粒子群优化算法优化最小二乘支持向量机的有关参数,利用上市公司的财务数据对该方法进行实证财务预警分析。仿真结果表明,该模型的精确度令人满意,该方法是可行且有效的。     

一种广义最小二乘支持向量机算法及其应用

最小二乘支持向量机(LS SVM)是处理不可分样本集情况下模式分类的有效工具,但是该算法在处理很多实际分类问题时,表现出了一定的局限性。为了进一步增强最小二乘支持向量机的推广能力,提出一种通用的广义最小二乘支持向量机算法,并且把这种新算法首先应用到雷达一维距离像的识别中,实验表明新的算法能取得更好的识别效果。     

离散数据拟合模型的研究与实现

最小二乘支持向量机引入到离散数据拟合中,代替传统的最小二乘法解决离散数据拟合问题。推导了用于函数估计的最小二乘支持向量机算法,构建了基于最小二乘支持向量机的离散数据拟合模型,并对电机数据拟合进行了研究。结果表明,最小二乘支持向量机拟合离散数据比最小二乘法精度更高、拟合效果更好。     

局部KPLS特征提取的LSSVM软测量建模方法

针对复杂工业过程的非线性、变量间的强相关性以及工况时变的特点,提出了一种基于局部KPLS特征提取的LSSVM建模方法。该方法通过属性加权的欧式距离指标选取局部训练样本子集,利用KPLS算法对该子集进行特征提取,使用LSSVM算法在线建立局部软测量模型。实验结果表明,该方法可以有效实现特征提取,具有更好的推广能力和预测精度,比基于全局KPLS特征提取的LSSVM模型和未经特征提取的全局LSSVM模型具有更好的泛化能力。     

基于鲁棒最小二乘支持向量机的气动参数拟合

最小二乘支持向量机（LS－SVM）比标准支持向量机具有更高的计算效率,但是却散失了标准支持向量机的稀疏特性,而且当考虑异常值或者误差变量的高斯假设不成立时,会导致不稳健的估计结果。为了克服这两个缺点,在飞行器的气动参数拟合计算中引入了一种鲁棒最小二乘支持向量机（RLS－SVM）,该方法通过加权的支持向量机来获得鲁棒估计,并通过对支持值谱进行剪枝最终得到稀疏解。仿真结果表明：RLS－SVM方法简单,学习速度快,拟合精度高,鲁棒性强,是一种在飞行器轨迹计算中值得推广和采用的方法。