基于LS-SVM的小样本费用智能预测

最小二乘支持向量机引入最小二乘线性系统到支持向量机中,代替传统的支持向量机采用二次规划方法解决函数估计问题。该文推导了用于函数估计的最小二乘支持向量机算法,构建了基于最小二乘支持向量机的智能预测模型,并对机载电子设备费用预测进行了研究。结果表明最小二乘支持向量机具有比多元对数回归更高的小样本费用预测精度。     

回归型支持向量机的简化算法

针对支持向量机应用于函数估计时支持向量过多所引起的计算复杂性,提出一种简化算法,可以大幅度地减少支持向量的数量,从而简化其应用.采用简化算法还可以将最小平方支持向量机算法和串行最小化算法结合起来,达到学习效率高且生成的支持向量少的效果.     

New Least Squares Support Vector Machines Based on Matrix Patterns

Support vector machine (SVM), as an effective method in classification problems, tries to find the optimal hyperplane that maximizes the margin between two classes and can be obtained by solving a constrained optimization criterion using quadratic programming (QP). This QP leads to higher computational cost. Least squares support vector machine (LS-SVM), as a variant of SVM, tries to avoid the above shortcoming and obtain an analytical solution directly from solving a set of linear equations instead of QP. Both SVM and LS-SVM operate directly on patterns represented by vector, i.e., before applying SVM or LS-SVM to a pattern, any non-vector pattern such as an image has to be first vectorized into a vector pattern by some techniques like concatenation. However, some implicit structural or local contextual information may be lost in this transformation. Moreover, as the dimension d of the weight vector in SVM or LS-SVM with the linear kernel is equal to the dimension d ₁ × d ₂ of the original input pattern, as a result, the higher the dimension of a vector pattern is, the more space is needed for storing it. In this paper, inspired by the method of feature extraction directly based on matrix patterns and the advantages of LS-SVM, we propose a new classifier design method based on matrix patterns, called MatLSSVM, such that the new method can not only directly operate on original matrix patterns, but also efficiently reduce memory for the weight vector (d) from d ₁ × d ₂ to d ₁ + d ₂. However like LS-SVM, MatLSSVM inherits LS-SVM’s existence of unclassifiable regions when extended to multi-class problems. Thus with the fuzzy version of LS-SVM, a corresponding fuzzy version of MatLSSVM (MatFLSSVM) is further proposed to remove unclassifiable regions effectively for multi-class problems. Experimental results on some benchmark datasets show that the proposed method is competitive in classification performance compared to LS-SVM, fuzzy LS-SVM (FLS-SVM), more-recent MatPCA and MatFLDA. In addition, more importantly, the idea used here has a possibility of providing a novel way of constructing learning model.     

基于支持向量机的软测量技术及其应用

支持向量机(SVM)是一种基于结构风险最小化原理,具有很好推广性能的学习算法。讨论了基于最小二乘支持向量机(LS-SVM)的软测量数据建模原理和方法,并将其应用在汽车排放的氮氧化合物NOX软测量中。通过与基于神经网络的软测量方法进行比较,结果显示出SVM的明显的优势,特别是对小样本、非线性、高维数一类软测量问题的建模,提供了一种有效的途径。     

可保证分类性能的最小二乘支持向量机

当前支持向量机是分类研究与应用的一个热点。提出了一个新的最小二乘支持向量机算法,该算法向最小二乘支持向量机（LS-SVM）优化模型中融入了类内散度（VSLSVM）思想,即用优化准则Min w′Mw对原LS-SVM进行重组合,w为对应LS-SVM中的权向量,M是类内散度矩阵。提出的方法仅仅需要求解一个线性系统而不是凸规划问题,实验主要对SVM和Suykens等人的方法进行了比较,并验证了提出的算法的有效性。     

基于压缩感知的多尺度最小二乘支持向量机

提出一种基于压缩感知(Compressive sensing, CS)和多分辨分析(Multi-resolution analysis, MRA)的多尺度最小二乘支持向量机(Least squares support vector machine, LS-SVM). 首先将多尺度小波函数作为支持向量核, 推导出多尺度最小二乘支持向量机模型, 然后基于压缩感知理论, 利用最小二乘匹配追踪(Least squares orthogonal matching pursuit, LS-OMP)算法对多尺度最小二乘支持向量机的支持向量进行稀疏化, 最后用稀疏的支持向量实现函数回归. 实验结果表明, 本文方法利用不同尺度小波核逼近信号的不同细节, 而且以比较少的支持向量能达到很好的泛化性能, 大大降低了运算成本, 相比普通最小二乘支持向量机, 具有更优越的表现力.     

一种新型的多元分类支持向量机

最小二乘支持向量机采用最小二乘线性系统代替传统的支持向量机采用二次规划方法解决模式识别问题。该文详细推理和分析了二元分类最小二乘支持向量机算法，构建了多元分类最小二乘支持向量机，并通过典型样本进行测试，结果表明采用多元分类最小二乘支持向量机进行模式识别是有效、可行的。     

基于支持向量机的非线性离散动力学系统控制

提出了一种用支持向量机辨识系统状态空间模型的非线性离散动力学系统控制新方法. 在本方法中, 采用最小二乘支持向量机在每一个工作点辨识非线性系统的局部最优线性化模型. 针对该模型, 采用常规的线性控制方法在每个工作点设计局部线性控制器, 并在整个控制任务的每个工作点重复此设计过程.用该方法对两个典型的非线性离散系统采用极点配置技术进行了仿真验证, 结果显示系统对参考输入具有满意的跟踪性能, 证明该方法是有效和可行的.     

增量密度加权近似支持向量机

近似支持向量机((PSVM)是一个正则化最小二乘问题,有解析解,但是它失去了支持向量机(SVM)的稀疏 性,使得所有的训练样例都成为支持向量。为了有效地控制近似支持向量机的稀疏性,提出了增量密度加权近似支持 向量机(mWPSVM),它在训练集中选取最基本的支持向量。实验表明,IvWPSVM方法与SVM, PSVM和DWPS- VM方法相比,其精度相似,收敛速度快,可有效地控制近似支持向量机的稀疏性。     

多类支持向量机在文本分类中的应用

传统的支持向量机（SVM）是两类分类问题,如何有效地将其推广到多类分类问题仍是一项有待研究的课题。本文在对现有主要的四种多类支持向量机分类算法讨论的基础上,结合文本分类的特点,详细介绍了决策树支持向量机和几种改进多类支持向量机方法在文本分类中的应用。     

基于几何思想的快速支持向量机算法

为了快速地进行分类,根据几何思想来训练支持向量机,提出了一种快速而简单的支持向量机训练算法——几何快速算法。由于支持向量机的最优分类面只由支持向量决定,因此只要找出两类样本中所有支持向量,那么最优分类面就可以完全确定。该新的算法根据两类样本的几何分布,先从两类样本的最近点开始;然后通过不断地寻找违反KKT条件的样本点来找出支持向量;最后确定最优分类面。为了验证新算法的有效性,分别利用两个公共数据库,对新算法与SMO算法及DIRECTSVM算法进行了实验对比,实验结果显示,新算法的分类精度虽与其他两个方法相当,但新算法的运算速度明显比其他两个算法快。     

基于LS-SVM的非线性多功能传感器信号重构方法研究

提出了基于最小二乘支持向量机(Least squares support vector machine, LS-SVM)的非线性多功能传感器信号重构方法. 不同于通常采用的经验风险最小化重构方法, 支持向量机(Support vector machine, SVM)是基于结构风险最小化准则的新型机器学习方法, 适用于小样本标定数据情况, 可有效抑制过拟合问题并改善泛化性能. 在SVM基础上, LS-SVM将不等式约束转化为等式约束, 极大地简化了二次规划问题的求解. 研究中通过L-折交叉验证实现调整参数优化, 在两种非线性情况下对多功能传感器的输入信号进行了重构, 实验结果显示重构精度分别达到0.154\%和1.146\%, 表明提出的LS-SVM重构方法具有高可靠性和稳定性, 验证了方法的有效性.     

计算SVM判别函数值的方法

当支撑矢量或待判别的样本很多时，支撑矢量机(SVM)算法对判别函数值的直接计算会影响整个SVM算法的速度．国外对于SVM的训练算法研究很深入，但判别函数值的算法研究很少．文中将从减少判别值计算的复杂性入手，提出矢量替换法(主要针对线性SVM)、正交矢量法(主要针对非线性SVM)的判别值计算算法．     

用支持向量机进行中文地名识别的研究

用支持向量机（SVM）方法对中文地名的自动识别进行了探讨，对于舍特征词的地名和非地名用支持向量机进行分类：结合中文地名的特点，抽取地名构词可信度及其前后词的词性作为特征向量的属性，建立了一定规模的训练集，并通过对不同kernel函数的测试，得到了地名分类的机器学习模型．实验表明，对于切分正确的地名，本方法具有良好的效果．     

A comparative study on classification of features by SVM and PSVM extracted using Morlet wavelet for fault diagnosis of spur bevel gear box

The condition of an inaccessible gear in an operating machine can be monitored using the vibration signal of the machine measured at some convenient location and further processed to unravel the significance of these signals. This paper deals with the effectiveness of wavelet-based features for fault diagnosis using support vector machines (SVM) and proximal support vector machines (PSVM). The statistical feature vectors from Morlet wavelet coefficients are classified using J48 algorithm and the predominant features were fed as input for training and testing SVM and PSVM and their relative efficiency in classifying the faults in the bevel gear box was compared.     

基于支持向量机和最小二乘支持向量机的入侵检测比较

将支持向量机和最小二乘支持向量机用于入侵检测之中,利用主元分析对数据进行约简,然后使用SVM和 LS-SVM对数据进行训练和测试.基于KDDCUP'99做了三组对比实验,对支持向量机和最小二乘支持向量机的性能做了统计.实验结果表明,SVM比LS-SVM分类能力强,但是LS-SVM耗时较少.     

GPU的并行支持向量机算法(英文)

提出了一种新的并行增量式支持向量机算法来解决图形处理单元(GPU)中大规模数据集的分类问题。SVM以及核相关方法可以用来创建精确分类模型,但学习过程需要大量内存和很长时间。扩展了Suykens和Vandewalle提出的最少次方SVM(LS-SVM)方法来建立增量和并行算法。新算法使用图形处理器以低代价获得高系统性能。实现表明,在UCI和Delve数据集上,基于GPU并行增量算法较CPU实现方法快130倍,而且比现行算法,如LibSVM、SVM-perf和CB-SVM等快的多(超过2500倍)。     

基于最小二乘支持向量机的一类非自治系统自适应控制

提出了一种基于最小二乘支持向量机(LS-SVM)的一类不确定非自治系统自适应控制器设计方法.该方法基于最小二乘支持向量机来估计对象的部分未知非线性项,并给出了最小二乘支持向量机权向量和偏移值的在线学习规则.利用李亚普诺夫理论严格证明了整个闭环系统的跟踪误差、控制器参数以及最小二乘支持向量机权参数和偏移值的一致最终有界.此控制方法可以保证对象在线稳定地跟踪任何光滑的目标轨迹,仿真结果表明了此控制方法的可行性和有效性.     

Sparse representation based on projection method in online least squares support vector machines

A sparse approximation algorithm based on projection is presented in this paper in order to overcome the limitation of the non-sparsity of least squares support vector machines （LS-SVM）. The new inputs are projected into the subspace spanned by previous basis vectors （BV） and those inputs whose squared distance from the subspace is higher than a threshold are added in the BV set, while others are rejected. This consequently results in the sparse approximation. In addition, a recursive approach to deleting an exiting vector in the BV set is proposed. Then the online LS-SVM, sparse approximation and BV removal are combined to produce the sparse online LS-SVM algorithm that can control the size of memory irrespective of the processed data size. The suggested algorithm is applied in the online modeling of a pH neutralizing process and the isomerization plant of a refinery, respectively. The detailed comparison of computing time and precision is also given between the suggested algorithm and the nonsparse one. The results show that the proposed algorithm greatly improves the sparsity just with little cost of precision.     

最小二乘向量机在说话人识别中的应用

说话人识别是语音识别的一种,是当前的研究热点之一。而基于统计学习理论的支持向量机(SVM)方法是一种新的机器学习算法,已成为机器学习研究的热点。讨论了一种改进的SVM即最小二乘向量机(LS-SVM)的方法进行说话人识别研究。研究表明,基于LS-SVM的说话人识别比传统的SVM说话人识别计算复杂度小、效率更高、对说话人识别有很强的适应性。