基于支持向量机和最小二乘支持向量机的入侵检测比较

将支持向量机和最小二乘支持向量机用于入侵检测之中,利用主元分析对数据进行约简,然后使用SVM和 LS-SVM对数据进行训练和测试.基于KDDCUP'99做了三组对比实验,对支持向量机和最小二乘支持向量机的性能做了统计.实验结果表明,SVM比LS-SVM分类能力强,但是LS-SVM耗时较少.     

最小二乘隐空间支持向量机

在隐空间中采用最小二乘损失函数,提出了最小二乘隐空间支持向量机（LSHSSVMs）．同隐空间支持向量机（HSSVMs）一样,最小二乘隐空间支持向量机不需要核函数满足正定条件,从而扩展了支持向量机核函数的选择范围．由于采用了最小二乘损失函数,最小二乘隐空问支持向量机产生的优化问题为无约束凸二次规划,这比隐空间支持向量机产生的约束凸二次规划更易求解．仿真实验结果表明所提算法在计算时间和推广能力上较隐空间支持向量机存在一定的优势．     

最小二乘支持向量机在医疗数据分析中的应用

以医疗数据为应用对象,应用网格搜索和交叉验证的方法选择参数,建立最小二乘支持向量机分类器,进行实际验证,并与使用K近邻分类器(K-NN)和C4.5决策树两种方法的结果进行比较.结果表明,LS-SVM分类器取得较高的准确率,表明最小二乘支持向量机在医疗诊断研究中具有很大的应用潜力.     

最小二乘双支持向量回归机

提出了一个最小二乘双支持向量回归机,它是在双支持向量回归机基础之上建立的,打破了标准支持向量回归机利用两条平行超平面构造ε带的思想。事实上,它是利用两条不一定平行的超平面构造ε带,每条超平面确定一个半ε-带,从而得到最终的回归函数,这使该回归函数更符合数据本身的分布情况,回归算法有更好的推广能力。另外,最小二乘双支持向量机只需求解两个较小规模的线性方程组就能得到最后的回归函数,其计算复杂度相对较低。数值实验也表明该回归算法在推广能力和计算效率上有一定的优势。     

最小二乘支持向量机算法研究

1 引言支持向量机(SVM,Support Vector Machines)是基于结构风险最小化的统计学习方法,它具有完备的统计学习理论基础和出色的学习性能,在模式识别和函数估计中得到了有效的应用(Vapnik,1995,1998)。支持向量机方法一方面通过把数据映射到高维空间,解决原始空间中数据线性不可分问题;另一方面,通过构造最优分类超平面进行数据分类。神经网络通过基于梯度迭代的方法进行数据学习,容易陷入局部最小值,支持向量机是通过解决一个二次规划问题,来获得     

最小二乘双支持向量机的在线学习算法

针对具有两个非并行分类超平面的最小二乘双支持向量机,提出了一种在线学习算法。通过利用矩阵求逆分解引理,所提在线学习算法能充分利用历史的训练结果,避免了大型矩阵的求逆计算过程,从而降低了计算的复杂性。仿真结果验证了所提学习算法的有效性。     

最小二乘Littlewood-Paley小波支持向量机

基于小波分解理论和支持向量机核函数的条件，提出了一种多维允许支持向量核函数——Littlewood-Paley小波核函数．该核函数不仅具有平移正交性，而且可以以其正交性逼近二次可积空间上的任意曲线，从而提升了支持向量机的泛化性能．在Littlewood-Paley小波函数作为支持向量核函数的基础上，提出了最小二乘Littlewood-Paley小波支持向量机(LS-LPWSVM)．实验结果表明，LS-LPWSVM在同等条件下比最小二乘支持向量机的学习精度要高，因而更适用于复杂函数的学习问题．     

最小二乘支持向量机建模及应用

在白酒酿制过程中,淀粉的利用率是一个重要而又难测的质量参数.工业多采用化学分析法进行测量,但是该方法需要离线测量,且存在耗时长、误差大的缺陷.针对此问题,提出粒子群优化最小二乘支持向量机回归方法实现淀粉利用率的在线预测.根据酿酒发酵过程的离线数据,建立最小二乘支持向量机回归模型,采用粒子群算法对模型参数进行优化.仿真结果表明,所提方法建立的模型对于淀粉利用率的预测具有较高的预测精度及泛化能力,是一种解决淀粉利用率难测问题的好方法.     

模糊最小二乘支持向量机回归研究及应用

针对传统支持向量机对训练样本内的噪声和孤立点比较敏感,导致建模精度不高的问题,将模糊集理论引入到最小二乘支持向量机回归中,建立一种基于数据域描述的模糊最小二乘支持向量机回归的数学模型,该方法将样本映射到高维空间,在高维空间中寻找最小包含超球,然后根据样本到超球心的距离确定模糊隶属度的大小,通过仿真实验验证,该算法提高了支持向量机回归的训练精度,将此模型应用于谷氨酸发酵过程菌体浓度预测,结果表明此方法的有效性。     

基于最小二乘支持向量机的油罐故障诊断方法

根据油罐故障分析,建立了油罐故障诊断模型。采用新型的支持向量机-最小二乘向量机(LS-SVM)的算法对此诊断模型进行预测,获得了满意的效果。该方法易于使用,很少受不确定性因素的影响,有很高的预测准确性。     

支持向量机分类器在医疗诊断中的应用研究

在医疗诊断中，常根据病人的多项病理检测结果进行诊断，由于存在个体的差异和数据本身的噪声，所以要准确的诊断是困难的，支持向量机是统计学习理论基础上发展而来的一种新的通用学习方法，具有很多独特的优点。该文介绍了支持向量机非线性分类算法，选取径向基核函数，构造了支持向量机非线性分类器，并将其应用于心脏病诊断，所用数据来自UCI benchmark数据集，与其它方法相比，取得了较高的准确率，结果表明支持向量机在医疗诊断中有很大的应用潜力。     

Improved conjugate gradient implementation for least squares support vector machines

As a promising method for pattern recognition and function estimation, least squares support vector machines (LS-SVM) express the training in terms of solving a linear system instead of a quadratic programming problem as for conventional support vector machines (SVM). In this paper, by using the information provided by the equality constraint, we transform the minimization problem with a single equality constraint in LS-SVM into an unconstrained minimization problem, then propose reduced formulations for LS-SVM. By introducing this transformation, the times of using conjugate gradient (CG) method, which is a greatly time-consuming step in obtaining the numerical solution, are reduced to one instead of two as proposed by Suykens et al. (1999). The comparison on computational speed of our method with the CG method proposed by Suykens et al. and the first order and second order SMO methods on several benchmark data sets shows a reduction of training time by up to 44%.     

最小二乘支持向量机在睡眠打鼾诊断中的应用

支持向量机是数据挖掘和机器学习领域中的重要方法之一,最小二乘支持向量机是支持向量机学习算法的重要扩展,在训练速度方面有明显优势。对支持向量机现有的多类分类算法（一对一方法、一对多方法、纠错输出编码方法和最小输出编码方法）引入了最小二乘支持向量机,并应用于睡眠打鼾疾病的诊断预测中,取得了较好的效果。     

基于最小二乘模糊支持向量机的基因分类研究*

随着大量基因表达数据的涌现,把海量的数据划分成数量相对较少的组,有助于提取对生理学和医药学等有价值的生物信息。基因分类技术能够很好地处理和分析这些基因数据。提出了一种应用于基因分类的模糊最小二乘支持向量机方法,通过设置模糊隶属度改变分类中样本的贡献属性。该方法不仅考虑了样本与类中心点的距离关系,还充分考虑样本与样本之间的关系,减弱噪声或野值样本对分类的影响。采用美国威斯康星乳腺癌数据和皮马印第安人糖尿病数据进行实验检测,均取得了很好的效果。     

一种稀疏最小二乘支持向量机

针对最小二乘支持向量机缺乏稀疏性的问题,提出了一种基于边界样本的最小二乘支持向量机算法。该算法利用中心距离比来选取支持度较大的边界样本作为训练样本,从而减少了支持向量的数目,提高了算法的速度。最后将该算法在4个UCI数据集上进行实验,结果表明：在几乎不损失精度的情况下,可以得到稀疏解,且算法的识别速度有了一定的提高。     

一种改进的在线最小二乘支持向量机回归算法

针对一般最小二乘支持向量机处理大规模数据集会出现训练速度幔、计算量大、不易在线训练的缺点,将修正后的遗忘因子矩形窗方法与支持向量机相结合,提出一种基于改进的遗忘因子矩形窗算法的在线最小二乘支持向量机回归算法,既突出了当前窗口数据的作用,又考虑了历史数据的影响.所提出的算法可减少计算量,提高在线辨识精度.仿真算例表明了该方法的有效性.     

一种基于最小二乘支持向量机的预测控制算法

针对工业过程中普遍存在的非线性被控对象，提出一种基于最小二乘支持向量机建模的预测控制算法．首先，用具有RBF核函数的LS-SVM离线建立被控对象的非线性模型；然后，在系统运行过程中，将离线模型在每一个采样周期关于当前采样点进行线性化，并用广义预测算法实现对被控系统的预测控制．仿真结果表明了该算法的有效性和优越性．     

Least squares support vector machines ensemble models for credit scoring

Due to recent financial crisis and regulatory concerns of Basel II, credit risk assessment is becoming one of the most important topics in the field of financial risk management. Quantitative credit scoring models are widely used tools for credit risk assessment in financial institutions. Although single support vector machines (SVM) have been demonstrated with good performance in classification, a single classifier with a fixed group of training samples and parameters setting may have some kind of inductive bias. One effective way to reduce the bias is ensemble model. In this study, several ensemble models based on least squares support vector machines (LSSVM) are brought forward for credit scoring. The models are tested on two real world datasets and the results show that ensemble strategies can help to improve the performance in some degree and are effective for building credit scoring models.     

基于LS-SVM的位置指纹室内定位

基于无线接入点（Access Point,AP）接收信号强度（Received Signal Strength,RSS）的位置指纹室内定位技术近几年已经成为国内外位置感知研究的热点。提出了基于最小二乘支持向量机（Least Squares Support Vector Machines,LS-SVM）的位置指纹定位方法。给出了基于LS-SVM的指纹定位模型,描述了LS-SVM指纹样本训练的具体实现过程。重点在于将定位问题转化为一个多类别分类问题,并分别采用一对一（OAO）和一对多（OAA）方法将其转化为多个二值分类问题。仿真结果表明,LS-SVM较传统支持向量机（SVMs）、K近邻（k-Nearest Neighbors,K-NN）定位方法的分类准确率高且计算代价小,平均分类准确率达92.00%。     

Temperature prediction control based on least squares support vector machines

A prediction control algorithm is presented based on least squares support vector machines (LS-SVM) model for a class of complex systems with strong nonlinearity. The nonlinear off-line model of the controUed plant is built by LS-SVM with radial basis function (RBF) kernel. In the process of system running, the off-line model is linearized at each sampling instant, and the generalized prediction control (GPC) algorithm is employed to implement the prediction control for the controlled plant. The obtained algorithm is applied to a boiler temperature control system with complicated nonlinearity and large time delay. The results of the experiment verify the effectiveness and merit of the algorithm.