基于改进PSO优化LSSVM的传感器补偿研究

针对最小二乘支持向量机在对传感器进行补偿时,正则化参数和核函数参数对补偿精度影响较大的问题,提出一种利用改进的粒子群优化算法优化最小二乘支持向量机模型参数的传感器补偿方法。该方法利用改进的粒子群优化算法优化最小二乘支持向量机模型的正则化参数和核函数参数,避免了人工选择参数的盲目性,提高了最小二乘支持向量机模型的预测精度。仿真实验表明,在传感器的补偿时,该方法比最小二乘支持向量机模型的补偿精度更高。     

多尺度最小二乘小波支持向量机的回归建模

普通最小二乘支持向量机算法用于多尺度回归建模时精度较低。针对该问题,选取墨西哥草帽小波函数作为最小二乘支持向量机的核函数,设计一种基于小波核的多尺度最小二乘小波支持向量机。在此基础上,通过解二次优化问题求出多尺度回归建模问题的全局最优解,最终得出的多尺度回归模型能够有效地逼近多尺度信号。仿真结果表明,该算法具有较高的精度。     

混合核函数稀疏LS-SVM软测量建模与应用

针对最小二乘支持向量机存在的稀疏性欠缺和单核函数局限性问题,本文提出一种基于混合核函数稀疏最小二乘支持向量机的软测量建模方法.该方法使用多项式核函数和RBF核函数线性加权构成混合核函数,兼顾最小二乘支持向量机的全局拟合能力与局部拟合能力,以矢量基学习作为稀疏解算法,改善最小二乘支持向量机的稀疏性,在精简模型结构的同时,避免冗余信息中的噪声过多的拟合到模型参数中,进而采用粒子群算法优化模型部分参数.将此方法分别应用于Mackey- Glasss混沌模型的时间序列预测和乙烯精馏塔塔釜乙烯浓度预测,应用结果表明该方法较最小二乘支持向量机、稀疏最小二乘支持向量机以及混合核最小二乘支持向量机具有更好的泛化效果和预报精度,兆示出其良好的应用潜力.     

基于改进PSO算法和LS-SVM的短期电力负荷预测

针对电力负荷的小样本、非线性、高维数和局部极小点等问题,提出采用最小二乘支持向量机方法建模,以历史负荷、温度、湿度等数据作为输入量,对短期电力负荷进行预测;针对最小二乘支持向量机在建模中存在的参数选取问题,采用一种根据种群多样性信息来指导初始种群选取和避免粒子早熟收敛现象的改进粒子群优化算法来优化最小二乘支持向量机的惩罚因子和核参数。仿真结果表明,基于改进粒子群优化算法和最小二乘支持向量机的短期电力负荷预测方法较最小二乘支持向量机预测方法、基于基本粒子群优化算法和最小二乘向量机的预测方法具有更好的预测精确度。     

最小二乘支持向量机在睡眠打鼾诊断中的应用

支持向量机是数据挖掘和机器学习领域中的重要方法之一,最小二乘支持向量机是支持向量机学习算法的重要扩展,在训练速度方面有明显优势。对支持向量机现有的多类分类算法（一对一方法、一对多方法、纠错输出编码方法和最小输出编码方法）引入了最小二乘支持向量机,并应用于睡眠打鼾疾病的诊断预测中,取得了较好的效果。     

基于改进PSO优化LSSVM的MEMS陀螺随机漂移预测

提出一种基于改进粒子群算法（PSO）优化最小二乘支持向量机（LSSVM）的MEMS陀螺随机漂移的预测模型建立方法。该方法首先应用最小二乘支持向量机对MEMS陀螺随机漂移建立预测模型,然后应用改进粒子群算法对该模型进行优化,最后应用参数优化后的LSSVM预测模型对随机漂移进行预测。该方法不仅解决了支持向量机训练速度慢和所需计算资源多的问题,而且文中提出的改进的惯性权值递减策略使PSO算法在全局或局部搜索能力上的侧重具有更好的适应度。实验结果表明,该预测模型可以有效地进行陀螺随机漂移的预测,且预测效果优于基本PSO优化的最小二乘支持向量机。     

基于KPLS-LSSVM的航煤闪点和干点软测量应用研究

软测量技术是解决流程工业中一类难以在线测量变量估计问题的有效方法。本文提出了一种基于核偏最小二乘方法(KPLS)和最小二乘支持向量机(LS-SVM)的航煤闪点和干点软测量建模方法,采用核偏最小二乘方法对输入变量进行数据压缩,消除变量之间的相关性,简化最小二乘支持向量机模型结构,并通过混沌粒子群—模拟退火方法(CPSO-SA)对最小二乘支持向量机的参数进行优化选择。将优化结果应用于CDU航煤闪点和干点软测量建模,结果表明:该方法具有学习速度快、跟踪性能好以及泛化能力强等优点,为分馏过程在线质量控制的实施奠定了基础。     

基于最小二乘支持向量机的车牌字符特征分类研究

最小二乘支持向量机是一种新的有效的机器学习算法。论文介绍了最小二乘支持向量机模型,研究了最小二乘支持向量机算法和经典的多类分类算法,提取车牌字符的奇异值特征,将奇异值系数特征作为最小二乘支持向量机的输入进行训练和分类。实验采用 LS‐SVM 工具箱,得到了较好的结果。     

基于最小二乘模糊单类支持向量机的网络故障检测

针对基于单类支持向量机的网络故障异常检测存在的训练速度慢和检测精度低等问题,提出一种最小二乘模糊单类支持向量机(LSFOC-SVM)。该方法采用最小二乘损失函数和等式化约束改进标准单类支持向量机的训练算法,将二次规划转化为解线性方程组,降低了计算代价;并通过构造基于特征空间距离的模糊隶属度函数和优化选择告警阈值,适当扩大了故障预警范围,提高了故障检测率。与同类方法相比,该方法在保证检测效果的同时大幅度地提升了训练效率。应用测试结果表明该方法是可行的。     

基于最小二乘支持向量机的油气判别技术

最小二乘支持向量机是支持向量机的一种变型,它用线性方程组来替代原始支持向量机的二次规划.本文将最小二乘支持向量机应用于油气勘探开发中的油气判别,提出了基于最小二乘支持向量机算法的油气判别技术.储集层油气横向预测和测井资料油气判别的试验结果证明了本文方法的有效性.     

坐标下降l2范数LS-SVM分类算法

研究l₂范数正则化最小二乘支持向量机的坐标下降算法实现.在图像处理、人类基因组分析、信息检索、数据管理和数据挖掘中经常会遇到机器学习目标函数要处理的数据无法在内存中处理的场景.最近研究表明大规模线性支持向量机使用坐标下降方法具有较好的分类性能,在此工作基础上,文中扩展坐标下降方法到最小二乘支持向量机上,提出坐标下降l₂范数LS-SVM分类算法.该算法把LS-SVM目标函数中模型向量的优化问题简化为特征分量的单目标逐次优化问题.在高维小样本数据集、中等规模数据集和大样本数据集上的实验验证了该算法的有效性,与LS-SVM分类算法相比,在数据内存中无法处理的情况下可作为备用方法.     

Extreme learning machine for regression and multiclass classification

Due to the simplicity of their implementations, least square support vector machine (LS-SVM) and proximal support vector machine (PSVM) have been widely used in binary classification applications. The conventional LS-SVM and PSVM cannot be used in regression and multiclass classification applications directly, although variants of LS-SVM and PSVM have been proposed to handle such cases. This paper shows that both LS-SVM and PSVM can be simplified further and a unified learning framework of LS-SVM, PSVM, and other regularization algorithms referred to extreme learning machine (ELM) can be built. ELM works for the "generalized" single-hidden-layer feedforward networks (SLFNs), but the hidden layer (or called feature mapping) in ELM need not be tuned. Such SLFNs include but are not limited to SVM, polynomial network, and the conventional feedforward neural networks. This paper shows the following: 1) ELM provides a unified learning platform with a widespread type of feature mappings and can be applied in regression and multiclass classification applications directly; 2) from the optimization method point of view, ELM has milder optimization constraints compared to LS-SVM and PSVM; 3) in theory, compared to ELM, LS-SVM and PSVM achieve suboptimal solutions and require higher computational complexity; and 4) in theory, ELM can approximate any target continuous function and classify any disjoint regions. As verified by the simulation results, ELM tends to have better scalability and achieve similar (for regression and binary class cases) or much better (for multiclass cases) generalization performance at much faster learning speed (up to thousands times) than traditional SVM and LS-SVM.     

A normal least squares support vector machine (NLS-SVM) and its learning algorithm

Least squares support vector machine (LS-SVM) is a successful method for classification or regression problems, in which the margin and sum square errors (SSEs) on training samples are simultaneously minimized. However, LS-SVM only considers the SSEs of input variable. In this paper, a novel normal least squares support vector machine (NLS-SVM) is proposed, which effectively considers the noises on both input and response variables. It introduces a two-stage learning method to solve NLS-SVM. More importantly, a fast iterative updating algorithm is presented, which reaches the solution of NLS-SVM with lower computational complexity instead of directly adopting the two-stage learning method. Several experiments on artificial and real-world datasets are simulated, in which the results show that NLS-SVM outperforms LS-SVM.     

基于支持向量机的发酵过程建模研究

发酵过程有众多关键性的变量难以在线检测，给过程优化策略的有效实施带来了障碍。最小二乘支持向量机（LS-SVM）是标准支持向量机（SVM）的一种扩展，LS-SVM算法精度高，速度快，适合于在线预估。将该算法用于青霉素发酵过程建模，用具有RBF核函数的LS-SVM建立菌体浓度、青霉素浓度的模型，并通过仿真实验与标准支持向量机进行比较。结果表明，最小二乘支持向量机是青霉素发酵过程建模与控制的一种有效的方法。     

一种新型的多元分类支持向量机

最小二乘支持向量机采用最小二乘线性系统代替传统的支持向量机采用二次规划方法解决模式识别问题。该文详细推理和分析了二元分类最小二乘支持向量机算法，构建了多元分类最小二乘支持向量机，并通过典型样本进行测试，结果表明采用多元分类最小二乘支持向量机进行模式识别是有效、可行的。     

基于支持向量机的软测量技术及其应用

支持向量机(SVM)是一种基于结构风险最小化原理,具有很好推广性能的学习算法。讨论了基于最小二乘支持向量机(LS-SVM)的软测量数据建模原理和方法,并将其应用在汽车排放的氮氧化合物NOX软测量中。通过与基于神经网络的软测量方法进行比较,结果显示出SVM的明显的优势,特别是对小样本、非线性、高维数一类软测量问题的建模,提供了一种有效的途径。     

基于最小二乘支持向量机的模糊图像恢复

针对模糊图像恢复问题,提出了一种基于最小二乘支持向量机的模糊图像恢复算法.该方法利用最小二乘支持向量机的非线性映射能力,通过训练样本对的学习训练,在模糊图像与清晰图像之间建立映射关系对测试样本进行恢复.实际图像恢复实验表明,得到的恢复图像在视觉上和定量分析上都获得了比较好的效果.与神经网络方法相比,最小二乘支持向量机克服了神经网络的模型选择与过学习问题、局部极小问题等.     

A study on speaker identification based on weighted LS-SVM

As one of a practical method, least squares support vector machine (LS-SVM) is usable for nonlinear separable problem as speaker identification. However, single LS-SVM can only do such classifying as binary classification, so it always needs multiple LS-SVMs and corresponding algorithms for classifying multiple speakers in a speaker identification database. By comparing pairwise LS-SVM with one-against-all LS-SVM, it is obvious that the pairwise LS-SVM has the advantage of facilitative expanding for different cases, while the one-against-all LS-SVM can not bring. However conventional pairwise LS-SVM needs too many judgment times to do multi-classing. In order to improve the pairwise LS-SVM and make it applicable to multi-speaker identification system, we propose a new notion of classification weight for pairwise LS-SVM and the corresponding algorithm, named as pairwise LS-SVM based on classification weight, i.e., the m-ωLS-SVM method, which can be used in multi-speaker identification system. Experiment results show that, comparing with conventional pairwise LS-SVM, the identification speed of the system with m-ωLS-SVM method is improved while keeping correct rate of identification, or vice versa, with only a little increase of training time.     

一种基于全局代表点的快速最小二乘支持向量机稀疏化算法

非稀疏性是最小二乘支持向量机（Least squares support vector machine,LS-SVM）的主要不足,因此稀疏化是LS-SVM研究的重要内容.在目前LS-SVM稀疏化研究中,多数算法采用的是基于迭代选择的稀疏化策略,但是时间复杂度和稀疏化效果还不够理想.为了进一步改进LS-SVM稀疏化方法的性能,文中提出了一种基于全局代表点选择的快速LS-SVM稀疏化算法（Global-representation-based sparse least squares support vector machine,GRS-LSSVM）.在综合考虑数据局部密度和全局离散度的基础上,给出了数据全局代表性指标来评估每个数据的全局代表性.利用该指标,在全部数据中,一次性地选择出其中最具有全局代表性的数据并构成稀疏化后的支持向量集,然后在此基础上求解决策超平面,是该算法的基本思路.该算法对LS-SVM的非迭代稀疏化研究进行了有益的探索.通过与传统的迭代稀疏化方法进行比较,实验表明GRS-LSSVM具有稀疏度高、稳定性好、计算复杂度低的优点.     

Comparison of different classifier algorithms for diagnosing macular and optic nerve diseases

Abstract: The aim of this research was to compare classifier algorithms including the C4.5 decision tree classifier, the least squares support vector machine (LS-SVM) and the artificial immune recognition system (AIRS) for diagnosing macular and optic nerve diseases from pattern electroretinography signals. The pattern electroretinography signals were obtained by electrophysiological testing devices from 106 subjects who were optic nerve and macular disease subjects. In order to show the test performance of the classifier algorithms, the classification accuracy, receiver operating characteristic curves, sensitivity and specificity values, confusion matrix and 10-fold cross-validation have been used. The classification results obtained are 85.9%, 100% and 81.82% for the C4.5 decision tree classifier, the LS-SVM classifier and the AIRS classifier respectively using 10-fold cross-validation. It is shown that the LS-SVM classifier is a robust and effective classifier system for the determination of macular and optic nerve diseases.