平滑支持向量机聚类研究

支持向量聚类（Suppoa Vector Clustering,SVC）的运算有较高的计算复杂性,本文在优化过程中引入惩罚函数,以此作为目标函数的惩罚项,并用一个平滑函数来近似正号函数,并将优化问题的不等式约束消去,得到一个无约束问题。再利用BFGS—Annijo算法来求解该无约束问题。理论和仿真结果表明该方法提高优化问题的求解效率。     

加权光滑CHKS孪生支持向量机

针对光滑孪生支持向量机(smooth twin support vector machines,简称STWSVM)采用的Sigmoid 光滑函数逼近精度低和STWSVM 对异常点敏感的问题,引入一种性能更好的光滑函数——CHKS 函数,提出了光滑CHKS孪生支持向量机模型(smooth CHKS twin support vector machines,简称SCTWSVM).在此基础上,根据样本点的位置为每个训练样本赋予不同的重要性,以降低异常点对非平行超平面的影响,提出了加权光滑CHKS 孪生支持向量机(weighted smooth CHKS twin support vector machines,简称WSCTWSVM).不仅从理论上证明了SCTWSVM 具有严凸性和任意阶光滑的性能,而且在数据集上的实验结果表明,相对于STWSVM,SCTWSVM 可以在更短的时间内获得更高的分类精度,同时验证了WSCTWSVM 的有效性和可行性.     

孪生支持向量机综述

孪生支持向量机(Twin Support Vector Machine,TWSVM)是在支持向量机(Support Vector Machine,SVM)的基础上发展而来的一种新的机器学习方法。作为一种二分类的分类器,其基本思想为寻找两个超平面,使得每一个分类面靠近本类样本点而远离另一类样本点。作为一种新兴的机器学习方法,孪生支持向量机自提出以来便引起了国内外学者的广泛关注,已经成为机器学习领域的研究热点。对孪生支持向量机的最新研究进展进行综述,首先介绍了孪生支持向量机的基本概念与基本模型;然后对近几年来新型的孪生支持向量机模型与研究进展进行了总结,并对其代表算法进行了优缺点分析和实验比较;最后对将来的研究工作进行了展望。     

新型鲁棒孪生支持向量回归机

回归问题是模式识别与机器学习领域的基本问题之一,孪生支持向量回归机（TSVR）是在支持向量回归机（SVR）基础上发展而来的一种处理回归问题的新算法,它在处理无噪声数据时表现出较好的性能,但在处理有噪声数据时往往性能不佳。为了降低噪声对孪生支持向量回归机性能的影响,结合ε-不敏感损失函数与Huber损失函数构造了混合Hε损失函数,该损失函数可以有效地适应于不同分布类型的噪声;然后基于混合Hε损失函数和结构风险最小化（SRM）原则提出了一种鲁棒的孪生支持向量回归机（Hε-TSVR）,并在原始空间中利用牛顿迭代法求解模型。分别在有噪声和无噪声的人工数据集、UCI数据集上进行实验,与支持向量回归机和孪生支持向量回归机等算法比较,实验结果验证了所提算法的有效性。     

基于AP聚类的约简孪生支持向量机快速分类算法

孪生支持向量机TWSVMs分类过程的计算量和样本的数量成正比,当样本个数较多时,其分类过程将会比较耗时。为了提高样本集的稀疏性,从而提高TWSVMs的分类速度,提出了一种基于AP聚类的约简孪生支持向量机快速分类算法FCTSVMs-AP。首先对原始数据集进行AP聚类操作。聚类的中心为约简后新的样本集,按照分类误差最小的原则构建优化模型,用二次规划方法求解新的决策函数的系数,并证明了当样本集压缩时,收紧新的快速决策函数和原始决策函数之间的误差等价于在样本空间对原始数据集进行AP聚类操作。在人工数据集和UCI数据集上的实验表明,保持分类精度的损失在统计意义上不明显的前提下,FCTSVMs-AP可以通过有效压缩样本数量的方式提高分类速度。     

一种改进的鲁棒模糊孪生支持向量机算法

针对模糊孪生支持向量机算法（FTSVM）对噪声仍然敏感,容易过拟合以及不能有效区分支持向量和离群值等问题,提出了一种改进的鲁棒模糊孪生支持向量机算法（IRFTSVM）。将改进的k近邻隶属度函数和基于类内超平面的隶属度函数结合,构造了一种新的混合隶属度函数;在FTSVM算法的目标函数中引入正则化项和额外的约束条件,实现了结构风险最小化,避免了逆矩阵运算,且非线性问题可以像经典的SVM算法一样直接从线性问题扩展而来;将铰链损失函数替换为pinball损失函数,以此降低对噪声的敏感性。此外,在UCI数据集和人工数据集上对该算法进行评估,并与SVM、TWSVM、FTSVM、PTSVM和TBSVM五个算法进行比较。实验结果表明,该算法的分类结果是令人满意的。     

光滑分段孪生支持向量机

为了解决Sigmoid的积分函数对正号函数的逼近精度低的问题,引入一种具有更强逼近正号函数能力的光滑函数即分段函数,提出了光滑分段孪生支持向量机,并用快速Newton-Armijo算法对其求解.在NDC和UCI数据集上的实验结果表明:光滑分段孪生支持向量机能够有效地处理大规模和高维度数据,且分类精度和分类速度与光滑孪生支持向量机相比得到了改进.     

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

基于两阶段聚类的模糊支持向量机

为了提高模糊支持向量机在大数据集上的训练效率,提出一种基于两阶段聚类的模糊支持向量机算法。第1阶段为粗粒度聚类阶段,在每类训练样本上执行密度聚类算法,设置较大的邻域半径(给定邻域内最小点数),保证可能成为支持向量的样本点都被选取;第2阶段为自适应聚类阶段,在粗选的数据集合上,执行自适应密度聚类算法,根据各个点距离分类面的远近,自适应决定该点的邻域半径(给定邻域内最小点数)。这样可有效地减少远离分类面的聚类边缘点的数量,同时在分类面附近保持较多的样本点,试验结果表明,基于两阶段聚类模糊支持向量机算法,相比以往的方法,不仅提高了模糊支持向量机的训练效率,同时保持了较好的分类效果。     

基于聚类的大样本支持向量机研究

针对大样本支持向量机内存开销大、训练速度慢的缺点,本文提出了基于聚类支持向量机,运用k-mean对样本聚类,压缩样本量,构造初始超平面,筛选出靠近超平面的支持粪和可能支持向量,重新构造决策超平面。实验表明,在保持泛化精度基本一致前提下,改进算法的训练速度明显提高。     

基于模糊C均值聚类的支持向量机

基于统计学理论的支持向量机是一种新的很有效的模式识别方法,但对于支持向量的选择还有困难,对此本文利用模糊C均值(FCM,Fuzzy C-Means)聚类,对训练样本进行预处理,大大减少了训练样本的数量,提高了支持向量机的训练速度。仿真实验的结果证实了该方法的可行性和有效性。     

一种改进的基于密度聚类模糊支持向量机

为了提高模糊支持向量机在数据集上的训练效率,提出一种改进的基于密度聚类（DBSCAN）的模糊支持向最机算法。运用DBSCAN算法对原始数据进行预处理,去除对分类贡献小的中心样本,用剩余的边缘样本集合完成模糊支持向量机的训练工作。实验表明,该方法形成的聚类边缘样本较好地保持了原样本的分布情况,在保证分类精度的同时,大大缩短了训练时间,提高了工作效率。     

光滑CHKS孪生支持向量回归机

针对目前光滑孪生支持向量回归机(smooth twin support vector regression, STSVR)中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑(chen-harker-kanzow-smale, CHKS)函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用Newton-Armijo算法求解相应的模型,提出了光滑CHKS孪生支持向量回归机(smooth CHKS twin support vector regression, SCTSVR).不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能.     

模糊聚类光滑支持向量机

为了提高光滑支持向量机的分类速度和精度,构造一种模糊聚类光滑支持向量机(FCSSVM).运用模糊聚类将训练数据分解为若干子簇,通过引入 熵函数近似松弛向量的加函数,并利用最优解处权重向量的表达式导出精确光滑模型;定义测试样本的 最近邻子空间,以选择性集成策略组合若干近邻子空间中的分类决策函数.数值实验表明,FCSSVM的 分类精度高,迭代次数少,鲁棒性好,分类时间短.     

基于几何算法的投影孪生支持向量机

投影孪生支持向量机（PTSVM）是最近提出的一种具有较好泛化性能的分类模型,但由于采用内点算法求解二次规划问题,PTSVM的训练速度较慢。针对该缺陷,提出一种快速的、基于几何算法的 PTSVM（GPTS-VM）。遵循 PTSVM的几何思想,提出一种新的二次规划模型,为每类数据产生一个投影方向;然后基于优化理论推导该模型的对偶问题并给予明确的几何解释,并利用计算几何算法求解。实验表明,提出的方法具有更快的训练速度和更好的泛化性能。     

基于光滑Ramp损失函数的健壮支持向量机

提出一种新型的基于光滑Ramp损失函数的健壮支持向量机,能够有效抑制孤立点对泛化性能的影响,并采用CCCP将它的非凸优化目标函数转换成连续、二次可微的凸优化。在此基础上,给出训练健壮支持向量机的一种Newton型算法并且分析了算法的收敛性质。实验结果表明,提出的健壮支持向量机对孤立点不敏感,在各种数据集上均获得了比传统的SVMlight算法和Newton-Primal算法更优的泛化能力。     

基于聚类支持向量机的船用污水处理装置故障诊断

针对船用污水处理装置状态监测与故障诊断问题,提出了一种聚类支持向量机的故障诊断算法模型。该算法模型首先采用神经网络聚类算法将设备监测状态样本空间聚类分析出正常与异常子空间,再对异常子空间构造多分类支持向量机对故障进行诊断识别。该算法模型避免了盲目故障分类,提高了分类性能。通过对某船用污水处理装置实测样本的训练和检验表明,该算法具有较好的泛化性和推广能力。     

基于改进模糊聚类和支持向量机的模拟电路故障诊断

为解决神经网络训练需要大量的样本,且容易陷入局部最优,收敛速度慢等缺点,采用改进模糊聚类(IFC)和支持向量机(SVM)相结合的模拟电路故障诊断方法.利用小波分解技术提取待诊断电路的测试信息作为故障特征,在模糊聚类算法中为消除孤立点和噪声的影响,对不同样本点引入权值以提高聚类效果,结合改进的模糊聚类算法进一步降低故障特征的维数,将其作为支持向量机的输入量,进行模型训练并预测模拟电路的故障.仿真结果表明,此方法应用于电路故障诊断有效削减计算复杂度并提高了诊断精度.     

基于模糊核聚类粒化的粒度支持向量机

针对传统的粒度支持向量机（granular support vector machine, GSVM）将训练样本在原空间粒化后再映射到核空间,导致数据与原空间的分布不一致,从而降低GSVM的泛化能力的问题,本文提出了一种基于模糊核聚类粒化的粒度支持向量机学习算法（fuzzy kernel cluster granular support vector machine, FKC-GSVM）。FKC-GSVM通过利用模糊核聚类直接在核空间对数据进行粒的划分和支持向量粒的选取,在相同的核空间中进行支持向量粒的GSVM训练。在UCI数据集和NDC大数据上的实验表明:与其他几个算法相比,FKC-GSVM在更短的时间内获得了精度更高的解。     

基于模糊C-均值聚类的支持向量机

支持向量机针对大规模数据集学习问题的处理需要耗费很长的时间,提出一种数据预处理的方法对学习样本进行聚 类,以此为基础得到一种模糊支持向量机.计算机仿真结果表明提出的SVM算法与传统的SVM训练算法相比,在不降低分 类精度的情况下,大大缩短了支持向量机的学习训练时间.