一种广义最小二乘支持向量机算法及其应用

最小二乘支持向量机(LS SVM)是处理不可分样本集情况下模式分类的有效工具,但是该算法在处理很多实际分类问题时,表现出了一定的局限性。为了进一步增强最小二乘支持向量机的推广能力,提出一种通用的广义最小二乘支持向量机算法,并且把这种新算法首先应用到雷达一维距离像的识别中,实验表明新的算法能取得更好的识别效果。     

一种稀疏最小二乘支持向量机

针对最小二乘支持向量机缺乏稀疏性的问题,提出了一种基于边界样本的最小二乘支持向量机算法。该算法利用中心距离比来选取支持度较大的边界样本作为训练样本,从而减少了支持向量的数目,提高了算法的速度。最后将该算法在4个UCI数据集上进行实验,结果表明：在几乎不损失精度的情况下,可以得到稀疏解,且算法的识别速度有了一定的提高。     

最小二乘支持向量机的一种稀疏化算法

介绍了一种稀疏化最小二乘支持向量机的剪枝算法。由于支持值图谱中小的支持值所对应的训练样本在算法执行阶段所起的作用较小,所以删除它们不会引起性能的显著下降。仿真实验表明,该算法不但简单、易于实现,而且能够保持良好的分类性能。     

一种稀疏最小二乘支持向量分类机

一般的支持向量分类机需要求解二次规划问题,最小二乘支持向量机只需求解一个线性方程组,但其缺乏稀疏性.为了改进最小二乘支持向量分类机,本文结合中心距离比值及增量学习的思想提出一种基于预选、筛选支持向量的稀疏最小二乘支持向量机.该方法既能弥补最小二乘向量机的稀疏性,减少计算机的存储量和计算量,加快最小二乘支持向量机的训练速度和决策速度,又能对非均衡训练数据造成的分类面的偏移进行纠正,还不影响最小二乘支持向量机的分类能力.3组实验结果也证实了这一点.     

一种快速最小二乘支持向量机分类算法

最小二乘支持向量机不需要求解凸二次规划问题,通过求解一组线性方程而获得最优分类面,但是,最小二乘支持向量机失去了解的稀疏性,当训练样本数量较大时,算法的计算量非常大。提出了一种快速最小二乘支持向量机算法,在保证支持向量机推广能力的同时,算法的速度得到了提高,尤其是当训练样本数量较大时算法的速度优势更明显。新算法通过选择那些支持值较大样本作为训练样本,以减少训练样本数量,提高算法的速度;然后,利用最小二乘支持向量机算法获得近似最优解。实验结果显示,新算法的训练速度确实较快。     

在线稀疏最小二乘支持向量机回归的研究

现有最小二乘支持向量机回归的训练和模型输出的计算需要较长的时间,不适合在线实时训练.对此,提出一种在线稀疏最小二乘支持向量机回归,其训练算法采用样本字典,减少了训练样本的计算量.训练样本采用序贯加入的方式,适合在线获取,并且该算法在理论上是收敛的.仿真结果表明,该算法具有较好的稀疏性和实时性,可进一步用于建模与实时控制等方面的研究.     

最小二乘支持向量机分类的稀疏化方法研究

最小二乘支持向量机在提高求解效率的同时,会丧失解的稀疏性,导致其在预测新样本时速度较慢。为此,提出一种稀疏化最小二乘支持向量机分类算法。在特征空间中寻找近似线性无关向量组,构造分类判别函数的稀疏表示,相应的最小二乘支持向量机优化问题可以通过线性方程组求解,从而得到最优判别函数。实验结果表明,该算法在不损失分类精度的前提下,能够获得比最小二乘支持向量机更快的预测速度。     

基于约简核矩阵的稀疏最小二乘支持向量机

为了解决最小二乘支持向量机模型稀疏性不足的问题,提出了一种约简核矩阵的LS-SVM稀疏化方法.按照空间两点的欧式距离寻找核矩阵中相近的行(列),并通过特定的规则进行合并,以减小核矩阵的规模,进而求得稀疏LS-SVM模型.以高斯径向基核函数为例,详细阐述了改进方法的实现步骤,并通过仿真表明了采用该方法求得的稀疏LS-SVM模型泛化能力良好.     

一种基于全局代表点的快速最小二乘支持向量机稀疏化算法

非稀疏性是最小二乘支持向量机（Least squares support vector machine,LS-SVM）的主要不足,因此稀疏化是LS-SVM研究的重要内容.在目前LS-SVM稀疏化研究中,多数算法采用的是基于迭代选择的稀疏化策略,但是时间复杂度和稀疏化效果还不够理想.为了进一步改进LS-SVM稀疏化方法的性能,文中提出了一种基于全局代表点选择的快速LS-SVM稀疏化算法（Global-representation-based sparse least squares support vector machine,GRS-LSSVM）.在综合考虑数据局部密度和全局离散度的基础上,给出了数据全局代表性指标来评估每个数据的全局代表性.利用该指标,在全部数据中,一次性地选择出其中最具有全局代表性的数据并构成稀疏化后的支持向量集,然后在此基础上求解决策超平面,是该算法的基本思路.该算法对LS-SVM的非迭代稀疏化研究进行了有益的探索.通过与传统的迭代稀疏化方法进行比较,实验表明GRS-LSSVM具有稀疏度高、稳定性好、计算复杂度低的优点.     

改进的最小二乘支持向量机在入侵检测系统中的应用

介绍最小二乘支持向量机的基本原理论．提出基于最小二乘支持向量机的网络入侵检测系统模型。由于计算经验风险的损失函数为二次函数形式．LSSVM丧失了标准支持向量机的稀疏性,为使LSSVM具有稀疏性,从统计分析的角度出发,应用主成分分析的方法,对样本集进行特征提取,消除变量间的相关性。选取训练样本中分类作用最大的若干样本个体作为支持向量,并将非支持向量上的分类信息转移至支持向量上．提出新的LSSVM稀疏化算法——基于主成分分析的最小二乘支持向量机算法。实验结果表明,由此构建的稀疏LSSVM分类器保持了支持向量机的良好分类性能．而稀疏率相对高,其支持向量数甚至少与标准支持向量机,明显提高了LSSVM的分类效率和实时性。     

一种快速稀疏最小二乘支持向量回归机

将Jiao法直接应用于最小二乘支持向量回归机上的效果并不理想,为此采用不完全抛弃的策略,提出了改进的Jiao法,并将其应用于最小二乘支持向量回归机.数据集测试的结果表明,基于改进Jiao法的稀疏最小二乘支持向量回归机,无论在支持向量个数和训练时间上都取得了一定的优势.与其他剪枝算法相比,在不丧失回归精度的情况下,改进的Jiao法可大大缩短训练时间.另外,改进的Jiao法同样适用于分类问题.     

Adaptive pruning algorithm for least squares support vector machine classifier

As a new version of support vector machine (SVM), least squares SVM (LS-SVM) involves equality instead of inequality constraints and works with a least squares cost function. A well-known drawback in the LS-SVM applications is that the sparseness is lost. In this paper, we develop an adaptive pruning algorithm based on the bottom-to-top strategy, which can deal with this drawback. In the proposed algorithm, the incremental and decremental learning procedures are used alternately and a small support vector set, which can cover most of the information in the training set, can be formed adaptively. Using this set, one can construct the final classifier. In general, the number of the elements in the support vector set is much smaller than that in the training set and a sparse solution is obtained. In order to test the efficiency of the proposed algorithm, we apply it to eight UCI datasets and one benchmarking dataset. The experimental results show that the presented algorithm can obtain adaptively the sparse solutions with losing a little generalization performance for the classification problems with no-noises or noises, and its training speed is much faster than sequential minimal optimization algorithm (SMO) for the large-scale classification problems with no-noises.     

动态贝叶斯最小二乘支持向量机

为了对涡扇发动机的运行参数变化进行实时高精度预测,提出一种基于动态贝叶斯最小二乘支持向量机(LS-SVM)的时间序列预测算法。该算法将贝叶斯证据框架理论用于推断LS-SVM的初始模型参数;然后,利用样本增减迭代学习算法实现LS-SVM的参数动态调整。对某型涡扇发动机的摩擦力矩时间序列进行动态预测,并与动态LS-SVM模型的预测结果进行比较。结果显示,动态贝叶斯LS-SVM具有较好的预测精度。     

Multi-category laplacian least squares twin support vector machine

In this paper, we have formulated a Laplacian Least Squares Twin Support Vector Machine called Lap-LST-KSVC for semi-supervised multi-category k-class classification problem. Similar to Least Squares Twin Support Vector Machine for multi-classification(LST-KSVC), Lap-LST-KSVC, evaluates all the training samples into “1-versus-1-versus-rest” classification paradigm, so as to generate ternary output {?1, 0, +1}. Experimental results prove the efficacy of the proposed method over other inline Laplacian Twin Support Vector Machine(Lap-TWSVM) in terms of classification accuracy and computational time.     

SMO-based pruning methods for sparse least squares support vector machines

Solutions of least squares support vector machines (LS-SVMs) are typically nonsparse. The sparseness is imposed by subsequently omitting data that introduce the smallest training errors and retraining the remaining data. Iterative retraining requires more intensive computations than training a single nonsparse LS-SVM. In this paper, we propose a new pruning algorithm for sparse LS-SVMs: the sequential minimal optimization (SMO) method is introduced into pruning process; in addition, instead of determining the pruning points by errors, we omit the data points that will introduce minimum changes to a dual objective function. This new criterion is computationally efficient. The effectiveness of the proposed method in terms of computational cost and classification accuracy is demonstrated by numerical experiments.     

基于核偏最小二乘的支持向量机回归算法研究

对SVM的特征提取问题进行了研究,提出了KPLS-SVM组合回归建模方法.该方法在输入空间映射得到的高维特征空间中进行PLS特征提取后,再进行SVM回归,不仅保持了SVM良好的模型性能,并且兼具KPLS和SVM的优点.仿真和实验结果表明,该KPLS-SVM建模方法是正确且有效的,采用该方法构建的SVM模型,泛化性能明显优于没有特征提取的SVM.     

An efficient Kernel-based matrixized least squares support vector machine

Matrix-pattern-oriented linear classifier design has been proven successful in improving classification performance. This paper proposes an efficient kernelized classifier for Matrixized Least Square Support Vector Machine (MatLSSVM). The classifier is realized by introducing a kernel-induced distance metric and a majority-voting technique into MatLSSVM, and thus is named Kernel-based Matrixized Least Square Support Vector Machine (KMatLSSVM). Firstly, the original Euclidean distance for optimizing MatLSSVM is replaced by a kernel-induced distance, then different initializations for the weight vectors are given and the correspondingly generated sub-classifiers are combined with the majority vote rule, which can expand the solution space and mitigate the local solution of the original MatLSSVM. The experiments have verified that one iteration is enough for each sub-classifier of the presented KMatLSSVM to obtain a superior performance. As a result, compared with the original linear MatLSSVM, the proposed method has significant advantages in terms of classification accuracy and computational complexity.     

基于改进的最大后验概率矢量量化和最小二乘支持向量机集成算法

针对目前说话人识别系统的效率问题,采用集成算法的策略,提出一种新的说话人识别系统框架。首先,考虑到传统的最大后验概率矢量量化(VQ-MAP)算法中只关注平均矢量而不考虑权重的问题,提出了改进的VQ-MAP算法,使用加权平均向量来代替平均向量;然后,由于支持向量机(SVM)算法相对耗时,故采用最小二乘支持向量机(LS-SVM)替代SVM算法;最后,在说话人识别系统中,利用改进的VQ-MAP算法所得参数集作为LS-SVM的训练样本。实验结果表明,基于改进的VQ-MAP和LS-SVM的集成算法,与传统的SVM算法相比,在均使用径向基函数(RBF)核函数时,对40人样本数据建模时间上减少接近40%;在阈值为1,测试语音时长为4 s时,与传统的VQ-MAP和SVM算法相比,误识率降低了1.1%,误拒率降低了2.9%,识别率提高了3.9%;在阈值为1,测试语音时长为4 s时,与传统的VQ-MAP和LS-SVM算法相比,误识率降低了3.6%,误拒率降低了2.7%,识别率提高了4.4%。结果表明,集成算法能够有效提高算法识别率,明显减少运算时间,同时降低误识率和误拒率。