基于能量的结构化最小二乘孪生支持向量机

针对最小二乘孪生支持向量机对噪声和离群值非常敏感的问题,本文提出了一种基于能量的结构化最小二乘孪生支持向量机。首先对每个类进行聚类分析,然后计算类中各个簇的协方差矩阵并将其引入到目标函数中。其次,为了降低噪声和离群值对算法的影响,本文为每个超平面引入能量因子,在最小二乘的基础上将等式约束转换为基于能量的形式。最后采用“多对一”的策略将提出的算法用于处理多分类问题。研究结果表明:本文提出的基于能量的结构化最小二乘孪生支持向量机具有良好的分类性能。     

一种广义最小二乘支持向量机算法及其应用

最小二乘支持向量机(LS SVM)是处理不可分样本集情况下模式分类的有效工具,但是该算法在处理很多实际分类问题时,表现出了一定的局限性。为了进一步增强最小二乘支持向量机的推广能力,提出一种通用的广义最小二乘支持向量机算法,并且把这种新算法首先应用到雷达一维距离像的识别中,实验表明新的算法能取得更好的识别效果。     

不平衡数据集中的组合分类算法

为提高少数类的分类性能,对基于数据预处理的组合分类器算法进行了研究.利用Tomek links对数据集进行预处理;把新数据集里的多数类样本按照不平衡比拆分为多个子集,每个子集和少数类样本合并成新子集;用最小二乘支持向量机对每个新子集进行训练,把训练后的各个子分类器组合为一个分类系统,新的测试样本的类别将由这个分类系统投票表决.数据试验结果表明,该算法在多数类和少数类的分类性能方面,都优于最小二乘支持向量机过抽样方法和欠抽样方法.     

鲁棒最小二乘孪生支持向量机及其稀疏算法

最小二乘孪生支持向量机通过求解两个线性规划问题来代替求解复杂的二次规划问题,具有计算简单和训练速度快的优势。然而,最小二乘孪生支持向量机得到的超平面易受异常点影响且解缺乏稀疏性。针对这一问题,基于截断最小二乘损失提出了一种鲁棒最小二乘孪生支持向量机模型,并从理论上验证了模型对异常点具有鲁棒性。为使模型可处理大规模数据,基于表示定理和不完全Cholesky分解得到了新模型的稀疏解,并提出了适合处理带异常点的大规模数据的稀疏鲁棒最小二乘孪生支持向量机算法。数值实验表明,新算法比已有算法分类准确率、稀疏性、收敛速度分别提高了1.97%~37.7%、26~199倍和6.6~2 027.4倍。     

一种模糊最小二乘孪生支持向量回归机的改进算法

模糊最小二乘孪生支持向量机模型融合了模糊函数和最小二乘孪生支持向量机算法特性,以解决训练数据集存在孤立点噪声和运算效率低下问题。针对回归过程基于统计学习结构风险最小化原则,对该模型进行L_2范数正则化改进。考虑到大规模数据集的训练效率问题,对原始模型进行了L_1范数正则化改进。基于增量学习特性,对数据集训练过程进行增量选择迭加以加快训练速度。在UCI数据集上验证了相关改进算法的优越性。     

一种改进的偏二叉树孪生支持向量机算法及其应用

针对二叉树分类性能受其层次结构影响较大的问题,提出了一种改进的偏二叉树孪生支持向量机多分类算法。该算法定义了一种基于加权样本类内距离和类间距离的混合分离性测度β,根据β的大小构造出合理层次结构的偏二叉树孪生支持向量机分类器。通过UCI数据集,验证了改进算法相较于其它SVM多分类算法的优越性。以风电机组齿轮箱故障诊断作为研究对象,基于时频联合方法提取其故障特征,应用改进的偏二叉树孪生支持向量机算法实现了对齿轮箱故障的准确识别。     

基于聚类的LS-SVM的入侵检测方法研究

本文针对最小二乘法支持向量机在入侵检测中的训练效率低下的缺点,将聚类方法应用其中。该方法主要用来对数据集进行剪枝,有效地减少距离分类面较远的数据集合数量,而使用靠近聚类中心的数据集合作为有效的样本集合,减少样本的训练时间,提高训练效率。实验表明,使用聚类方法提高了最小二乘法支持向量机的训练效率,而且对入侵检测有很好的效果。     

灰狼优化的混合参数多分类孪生支持向量机

孪生支持向量机(TWSVM)是在支持向量机(SVM)的基础上产生的一种高效二分类算法,由于现实中存在的问题大多数是多分类的,将二分类孪生支持向量机扩展到多分类孪生支持向量机(MTWSVM)是非常重要的。目前常用的MTWSVM一般是基于“一对一”策略,但该策略中各子分类器都采用相同的惩罚参数以及核参数,忽略了不同子分类器之间的差异,不能使其发挥最好的作用。通过提出一种基于混合参数的多分类孪生支持向量机(MP-MTWSVM),为不同的子分类器选取合适的参数,保持分类器的多样性,进而根据“一对一”策略构建MTWSVM。TWSVM本就面临着参数难确定的问题,而MP-MTWSVM算法又引入了大量的参数,通过灰狼算法(GWO)对MP-MTWSVM的参数进行寻优,进一步提出了基于灰狼优化的混合参数多分类孪生支持向量机(GWO-MP-MTWSVM)。通过实验表明,GWO可以快速找到各子分类器的最优参数,并进一步提升了算法的准确率。     

定点孪生支持向量机

孪生支持向量机(TWSVM)以及最近提出的各种变体模型均是在高维空间内独立求解两个带有约束条件的对偶二次规划问题(QPP).然而,由于每个对偶的QPP所需求解的对偶变量的数量由他类样本的数量决定,当需要处理大规模数据集时,这种直接求解标准QPP的方法将会导致非常高的计算复杂度.为此,提出一种改进的孪生支持向量机模型,称为定点孪生支持向量机(FP-TWSVM).所提模型将传统的TWSVM及其变体模型中处在高维空间内的对偶QPP转化成一系列有限个一维空间内的单峰函数优化问题.可以采用高效的线性搜索方法求解这些一维的单峰函数优化问题,例如斐波那契算法、黄金分割法.在标准数据集包括大规模数据集上的数值实验验证了FP-TWSVM算法的有效性.实验结果表明,FP-TWSVM在保持与其他模型相当的分类精度的同时,具有更快的训练速度,消耗更少的内存空间.     

一种改进的多分类孪生支持向量机

现有的多分类孪生支持向量机主要考虑支持向量机的经验风险最小化原则,而忽略了结构化风险。针对该问题,通过引入正则项式,实现算法的结构风险最小化原则,并结合多对一的组合策略和最小二乘法,提出一种改进的最小二乘多分类孪生支持向量机。在UCI数据集上的实验研究表明,该算法相对于传统的多分类支持向量机在分类性能上有明显提高。     

基于人工鱼群算法的孪生支持向量机

孪生支持向量机（twin support vector machine, TWSVM）是在支持向量机的基础上产生的机器学习算法,具有训练速度快、分类性能优越等优点。但是孪生支持向量机无法很好地处理参数选择问题,不合适的参数会降低分类能力。人工鱼群算法（artificial fish swarm algorithm, AFSA）是一种群智能优化算法,具有较强的全局寻优能力和并行处理能力。本文将孪生支持向量机与人工鱼群算法结合,来解决孪生支持向量机的参数选择问题。首先将孪生支持向量机的参数作为人工鱼的位置信息,同时将分类准确率作为目标函数,然后通过人工鱼的觅食、聚群、追尾和随机行为来更新位置和最优解,最后迭代结束时得到最优参数和最优分类准确率。该算法在训练过程中自动确定孪生支持向量机的参数,避免了参数选择的盲目性,提高了孪生支持向量机的分类性能。     

Self-Universum support vector machine

In this paper, for an improved twin support vector machine (TWSVM), we give it a theoretical explanation based on the concept of Universum and then name it Self-Universum support vector machine (SUSVM). For the binary classification problem, SUSVM takes the positive class and negative class as Universum separately to construct two classification problems with Universum; therefore, two nonparallel hyperplanes are derived. SUSVM has several improved advantages compared with TWSVMs. Furthermore, we improve SUSVM by formulating it as a pair of linear programming problems instead of quadratic programming problems (QPPs), which leads to the better generalization performance and less computational time. The effectiveness of the enhanced method is demonstrated by experimental results on several benchmark datasets.     

孪生支持向量机综述

孪生支持向量机(Twin Support Vector Machine,TWSVM)是在支持向量机(Support Vector Machine,SVM)的基础上发展而来的一种新的机器学习方法。作为一种二分类的分类器,其基本思想为寻找两个超平面,使得每一个分类面靠近本类样本点而远离另一类样本点。作为一种新兴的机器学习方法,孪生支持向量机自提出以来便引起了国内外学者的广泛关注,已经成为机器学习领域的研究热点。对孪生支持向量机的最新研究进展进行综述,首先介绍了孪生支持向量机的基本概念与基本模型;然后对近几年来新型的孪生支持向量机模型与研究进展进行了总结,并对其代表算法进行了优缺点分析和实验比较;最后对将来的研究工作进行了展望。     

基于增量学习的直推式支持向量机算法

针对直推式支持向量机在进行大数据量分类时出现精度低、学习速度慢和回溯式学习多的问题,提出了一种基于增量学习的直推式支持向量机分类算法,将增量学习引入直推式支持向量机,使其在训练过程中仅保留有用样本而抛弃无用样本,从而减少学习时间,提高分类速度。实验结果表明,该算法具有较快的分类速度和较高的分类精度。     

基于混合模糊隶属度的模糊双支持向量机研究

双支持向量机是近年提出的一种新的支持向量机.在处理模式分类问题时,双支持向量机速度远远超过传统支持向量机,而且显示出较好的推广能力.但双支持向量机没有考虑不同输入样本点可能会对分类超平面的形成产生不同影响,在某些实际问题中具有局限性.为了克服这个缺点,提出了一种基于混合模糊隶属度的模糊双支持向量机.该算法设计了一种结合距离和紧密度的模糊隶属度函数,给不同的训练样本赋予不同的模糊隶属度,构建两个最优非平行超平面,最终实现二值分类.实验证明,该模糊双支持向量机的分类性能优于传统的双支持向量机.     

一种高准确度多分类结构选择方法

支持向量机SVM是目前最流行的二分类算法之一。现实生活中数据集大多要求能够进行多分类,而有向无环图DAG方法是将SVM应用扩展到多分类的用得最多的方式之一,它调用分类器次数较少,执行速度快,但是由于有错误向下累积和分类偏向性等情况存在,会影响DAG分类结果的准确度。在使用DAG-SVM的时候,对于k种类别有k!种不同的备选结构,根据数据集特性选择合适的DAG结构能够有效提高结果的准确度。提出使用估计准确度的方法,从备选结构中用穷举法选择出最高准确度估计值的DAG结构,以此作为测试集的结构进行分类。实验结果表明,相较其它方法,测试数据集采用该方法选择的DAG结构后的分类准确性得到显著提高,在对类别数量不太多的数据集进行多类分类时有较好的效果。     

基于正则化技术的对支持向量机特征选择算法

对支持向量机(twin support vector machine,TWSVM)的优化思想源于基于广义特征值近似支持向量机(proxi mal SVMbased on generalized eigenvalues,GEPSVM),问题解归结为求解两个SVM型问题,因此,计算开销缩减到标准SVM的1/4.除了保留了GEPSVM优势外,在分类性能上TWSVM远优于GEPSVM,但仍需求解凸规划问题,并且,目前尚无有效的TWSVM的特征提取算法提出.首先,向TWSVM模型中引入正则项,提出了正则化TWSVM(RTWSVM).与TWSVM不同,RTWSVM保证了该问题为一个强凸规划问题.在此基础上,构造了TWSVM的特征提取算法(FRTWSVM).该分类器只需求解一个线性方程系统,无需任何凸规划软件包.在保证得到与TWSVM相当的分类性能以及较快的计算速度上,此方式还减少了输入空间的特征数.对于非线性问题,FRTWSVM可以减少核函数数目.     

Robust minimum class variance twin support vector machine classifier

The recently proposed twin support vector machine (TWSVM) obtains much faster training speed and comparable performance than classical support vector machine. However, it only considers the empirical risk minimization principle, which leads to poor generalization for real-world applications. In this paper, we formulate a robust minimum class variance twin support vector machine (RMCV-TWSVM). RMCV-TWSVM effectively overcomes the shortcoming in TWSVM by introducing a pair of uncertain class variance matrices in its objective functions. As a special case, we present a special type of the uncertain class variance matrices by combining the empirical positive and negative class variance matrices. Computational results on several synthetic as well as benchmark datasets indicate the significant advantages of proposed classifier in both computational time and test accuracy.