最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数,最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

基于遗传优化最小二乘支持向量机的导引头故障诊断

为提高导引头故障诊断准确率,提出了一种采用改进遗传算法优化的最小二乘支持向量机（LSSVM）构造导引头多故障分类模型的方法。该方法基于一对一策略及改进的投票法建立两层LSSVM多故障分类器,并利用一种自适应变步长搜索策略改进的遗传算法对LSSVM的核参数和正则化参数进行自动优选。通过对某型导引头实测数据的仿真并和标准SVM及BP神经网络诊断方法相比较,结果表明该方法具有更高诊断准确率和计算效率。     

基于遗传算法和最小二乘支持向量机可靠性分配*

为了提高系统可靠性的精确快速分配,采用支持向量机对系统可靠性进行建模,采用逆向思维对系统可靠性进行分配;为了提高求解速度和鲁棒性,用最小二乘法对支持向量机进行算法优化,并用遗传算法对最小二乘支持向量机进行参数优化;为了提高分配精度,用三角模糊数进行模糊处理;最后针对某系统的可靠性,采用遗传算法优化和模糊处理的最小二乘支持向量机进行分配,并与神经网络和普通遗传算法优化的最小二乘支持向量机进行对比。结果表明,用遗传算法优化和模糊数处理的最小二乘支持向量机具有分配精度高,泛化能力强等优点。     

采用遗传算法优化最小二乘支持向量机参数的方法

支持向量机是建立在统计学习理论上的一种学习算法,较好地解决了小样本学习问题.由不同的参数和核函数构造的支持向量机在性能上存在很大差异,而在参数和核函数的选择上目前还没有明确的理论依据.针对支持向量机的参数选择问题,提出了一种采用遗传算法优化最小二乘支持向量机参数的方法.结合LS-SVMlab工具箱,在MATLAB实验平台的仿真实验表明,该方法提高了支持向量机的参数选择效率,得到的参数对测试样本的分类结果是最优的,从而避免了人为设定参数的不足,同时缩短了优化时间.     

基于支持向量机和最小二乘支持向量机的入侵检测比较

将支持向量机和最小二乘支持向量机用于入侵检测之中,利用主元分析对数据进行约简,然后使用SVM和 LS-SVM对数据进行训练和测试.基于KDDCUP'99做了三组对比实验,对支持向量机和最小二乘支持向量机的性能做了统计.实验结果表明,SVM比LS-SVM分类能力强,但是LS-SVM耗时较少.     

基于智能遗传算法与复合最小二乘支持向量机的长江水质预测与评价*

由于水质的非线性、不确定性等特性,水质预测与评价是很复杂的一个问题;最小二乘支持向量机已经成功地应用于解决非线性问题和时间级数问题。提出一种新的IGALSSM模型,即基于一种新型遗传算法——智能遗传算法参数优选的最小二乘支持向量机模型,并且将提出的模型应用于长江水质的分类识别和预测。实验结果表明,所提出的模型比神经网络有更准确的识别率和更高的预测精度,具有较强的实用价值。     

基于核的偏最小二乘特征提取的最小二乘支持向量机回归方法

提出了用核的偏最小二乘进行特征提取．首先把初始输入映射到高维特征空间，然后在高维特征空间中计算得分向量，降低样本的维数，再用最小二乘支持向量机进行回归．通过实验表明，这种方法得到的效果优于没有特征提取的回归．同时与PLS提取特征相比，KPLS分析效果更好．     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

最小二乘支持向量机算法研究

1 引言支持向量机(SVM,Support Vector Machines)是基于结构风险最小化的统计学习方法,它具有完备的统计学习理论基础和出色的学习性能,在模式识别和函数估计中得到了有效的应用(Vapnik,1995,1998)。支持向量机方法一方面通过把数据映射到高维空间,解决原始空间中数据线性不可分问题;另一方面,通过构造最优分类超平面进行数据分类。神经网络通过基于梯度迭代的方法进行数据学习,容易陷入局部最小值,支持向量机是通过解决一个二次规划问题,来获得     

基于最小二乘支持向量机的特征增量学习算法

本文针对传统的增量学习算法无法处理后采集到的样本中含有新增特征的问题,设计适应样本特征维数增加的训练算法。在基于最小二乘支持向量机的基础上,提出了特征增量学习算法。该算法充分利用先前训练得到的分类器的结构参数,仅对新增特征采用最小二乘支持向量机进行学习。实验结果表明,该算法能够在保证分类精度的同时,有效效地提高训练速度并降低存储空间。     

一种新的最小二乘支持向量机稀疏化算法

普通的最小二乘支持向量机(LS-SVM)稀疏化算法在处理有些常见的模式识别问题时,随着训练样本的删减,识别率下滑很快,往往达不到稀疏化的目的。针对这种情况,提出了一种新的LS-SVM稀疏化算法来弥补这种不足,从而使得LS-SVM稀疏化算法体系更加完善。将新算法应用到雷达一维距离像的识别中,实验结果证明了新算法的有效性。     

一种快速最小二乘支持向量机分类算法

最小二乘支持向量机不需要求解凸二次规划问题,通过求解一组线性方程而获得最优分类面,但是,最小二乘支持向量机失去了解的稀疏性,当训练样本数量较大时,算法的计算量非常大。提出了一种快速最小二乘支持向量机算法,在保证支持向量机推广能力的同时,算法的速度得到了提高,尤其是当训练样本数量较大时算法的速度优势更明显。新算法通过选择那些支持值较大样本作为训练样本,以减少训练样本数量,提高算法的速度;然后,利用最小二乘支持向量机算法获得近似最优解。实验结果显示,新算法的训练速度确实较快。     

基于核偏最小二乘的支持向量机回归算法研究

对SVM的特征提取问题进行了研究,提出了KPLS-SVM组合回归建模方法.该方法在输入空间映射得到的高维特征空间中进行PLS特征提取后,再进行SVM回归,不仅保持了SVM良好的模型性能,并且兼具KPLS和SVM的优点.仿真和实验结果表明,该KPLS-SVM建模方法是正确且有效的,采用该方法构建的SVM模型,泛化性能明显优于没有特征提取的SVM.     

基于鲁棒学习的最小二乘支持向量机及其应用

鉴于最小二乘支持向量机比标准支持向量机具有更高的计算效率和拟合精度,但缺少标准支持向量机的鲁棒性,即当采样数据存在奇异点或者误差变量的高斯分布假设不成立时,会导致不稳健的估计结果,提出了一种鲁棒最小二乘支持向量机方法.该方法在最小二乘支持向量机基础上,通过引入鲁棒学习方法来获得鲁棒估计.仿真分析及某湿法冶金厂的应用实例验证了该方法的可行性和有效性.     

Adaptive pruning algorithm for least squares support vector machine classifier

As a new version of support vector machine (SVM), least squares SVM (LS-SVM) involves equality instead of inequality constraints and works with a least squares cost function. A well-known drawback in the LS-SVM applications is that the sparseness is lost. In this paper, we develop an adaptive pruning algorithm based on the bottom-to-top strategy, which can deal with this drawback. In the proposed algorithm, the incremental and decremental learning procedures are used alternately and a small support vector set, which can cover most of the information in the training set, can be formed adaptively. Using this set, one can construct the final classifier. In general, the number of the elements in the support vector set is much smaller than that in the training set and a sparse solution is obtained. In order to test the efficiency of the proposed algorithm, we apply it to eight UCI datasets and one benchmarking dataset. The experimental results show that the presented algorithm can obtain adaptively the sparse solutions with losing a little generalization performance for the classification problems with no-noises or noises, and its training speed is much faster than sequential minimal optimization algorithm (SMO) for the large-scale classification problems with no-noises.     

Improved least squares support vector machine based on metric learning

Neural Computing and Applications - As two kinds of popular data mining methods, metric learning and SVM have a interesting and valuable internal relationship. The basic idea of metric learning is...     

氢氧化铝气态悬浮焙烧监控系统的开发与应用

气态悬浮焙烧炉具有装置结构紧凑、操作简便、经济技术指标良好等特点,在氧化铝和其它焙烧工业中有着广泛的应用。结合国内外先进焙烧控制技术,开发了基于PLC的焙烧监控系统。采用设备、控制和管理三层逻辑结构,PLC加上位机模式,实现温度闭环控制、过程协同调节、燃烧安全操作和生产过程指导等基本功能。系统在生产过程中得到成功应用。实验表明,该系统具有很好的经济、技术、安全和指导性能。系统开发和应用工作有利于我国氧化铝企业自动控制水平的提高,有利于企业实现降本增效和开展技术创新。     

基于LS_SVM的在线建模方法在大肠杆菌发酵过程中的应用

为了实现大肠杆菌发酵过程菌体浓度基于模型的优化控制,提出一种基于最小二乘支持向量机(LS_SVM)在线建立大肠杆菌发酵过程局部模型的方法.该方法首先将当前批次滑动时间窗内采集到的数据作为查询序列,以动态时间弯曲距离(DTW)为判断时间序列相似性的标准,从历史批次数据库中搜索与之相似度最高的数据区间,组成训练样本集.然后利用LS_SVM在线建立发酵过程的局部模型.最后通过实际的大肠杆菌发酵过程数据,对本建模方法与传统的LS_SVM离线全局建模方法进行了仿真验证.结果显示,本方法在线建立的大肠杆菌发酵过程菌体浓度预估模型具有更高的精度以及动态适应能力.     

基于AdaBoost算法的加权二乘向量回归机

针对二乘向量机(LS-SVM)对所有样本误差惩罚相同、预测精度不高的问题,提出了一种基于AdaBoost模型的二乘向量回归机。该算法使用多个二乘向量机按照某种学习规则协调各二乘向量机的输出,同时根据回归精度,建立各二乘向量机中每一个样本的误差惩罚权重,以突出样本的惩罚差异性,提高算法的泛化性能。实验结果表明,提出的算法提高了二乘向量回归机的预测精度,优化了学习机的性能。