孪生支持向量机综述

孪生支持向量机(Twin Support Vector Machine,TWSVM)是在支持向量机(Support Vector Machine,SVM)的基础上发展而来的一种新的机器学习方法。作为一种二分类的分类器,其基本思想为寻找两个超平面,使得每一个分类面靠近本类样本点而远离另一类样本点。作为一种新兴的机器学习方法,孪生支持向量机自提出以来便引起了国内外学者的广泛关注,已经成为机器学习领域的研究热点。对孪生支持向量机的最新研究进展进行综述,首先介绍了孪生支持向量机的基本概念与基本模型;然后对近几年来新型的孪生支持向量机模型与研究进展进行了总结,并对其代表算法进行了优缺点分析和实验比较;最后对将来的研究工作进行了展望。     

改进的Ramp孪生支持向量机聚类

基于Hinge损失的孪生支持向量机聚类和基于Ramp损失的孪生支持向量机聚类是两种平面聚类的新算法,为解决聚类问题提供了新的研究思路,逐渐成为模式识别等领域的研究热点。然而,它们在处理带有噪声数据的聚类问题时,往往性能表现不佳。为了解决这个问题,构造了非对称的Ramp损失函数,并在此基础上提出了一种改进的Ramp孪生支持向量机聚类算法。非对称Ramp损失函数不仅继承了Ramp损失函数的优点,用非对称的有界函数度量类内散度和类间散度,使得该算法对离聚类中心平面较远的数据点更加鲁棒,而且参数t的引入使得非对称Ramp损失函数更加灵活。特别地,当参数t等于1时,非对称Ramp损失函数退化为Ramp损失函数,使得基于Ramp损失函数的孪生支持向量机聚类算法成为所提算法的特例。同时,基于核技巧推广到了非线性情形,线性和非线性模型均为非凸优化问题,通过交替迭代算法有效求解。分别在多个UCI数据集和人工数据集上进行实验,实验结果验证了所提算法的有效性。     

支持向量机研究进展

基于统计学习理论的支持向量机((Support vector machines, SVM)以其优秀的学习能力受到广泛的关注。但传统支持向量机在处理大规模二次规划问题时会出现训练时间长、效率低下等问题。对SVM训练算法的最新研究成果进行了综述,对主要算法进行了比较深入的分析和比较,指出了各自的优点及其存在的问题,并且着重介绍了目前研究的新进展—模糊SVM和粒度SVM。接着论述了SVM主要的两方面应用—分类和回归。最后给出了今后SVM研究方向的预见。     

局部支持向量机的研究进展

支持向量机是一种用途广泛的分类器,标准的支持向量机在预测每个样本点的类别时使用了训练集中所有的样本信息(即全局信息),然而这种全局化的方法并不蕴含一致性。局部支持向量机的提出符合"一致性蕴含局部性"的思路。首先回顾局部支持向量机的主要思想,然后阐述各种关于局部支持向量机的改进,并提出基于协同聚类的局部支持向量机用于大规模数据集,最后对局部支持向量机进行总结。     

一种并行结构化支持向量机次梯度投影算法

支持向量机的次梯度投影算法是解决支持向量机优化求解问题的一种简单有效的迭代算法。该算法通过梯度下降和投影两个步骤的多轮迭代,找到两类最大间隔的分类面。针对该算法忽略了对寻找分类面同样有指导意义的样本分布信息这一问题,在分类器设计中融入结构信息,并且采用MapReduce并行计算框架,提出了一种并行结构化支持向量机的次梯度投影算法,该算法能够充分利用集群的计算和存储能力,适用于海量数据的优化问题。在NASA的两个软件模块缺陷度量数据集CM1和PC1上的实验结果表明,该算法能够加快收敛速度,提高分类性能,有效地解决海量数据的优化求解问题。     

最小最大模块化支持向量机改进研究

该文提出了一种新的聚类算法以实现训练数据的等分割并将其应用于最小最大模块化支持向量机(M3-SVM)。仿真实验表明:当训练数据不是同分布时,与随机分割方法相比,该文提出的聚类算法不但能提高M3-SVM的一般化能力,缩短训练时间,还能减少支持向量。     

粗糙支持向量机

支持向量机(SVM)是一种重要的数据机器学习工具,其有效性依赖于对数据信息获取的准确性.以往的支持向量机模型都没有考虑到数据等价类信息.为此,基于粗糙集理论和支持向量机思想,提出了一种新的支持向量机模型--粗糙支持向量机(RSVM).采用UCI机器学习数据库中的数据做对比实验,结果表明RSVM比传统支持向量机(SVM)和模糊支持向量机(FSVM)都有较高的测试精度.     

平滑支持向量机聚类研究

支持向量聚类（Suppoa Vector Clustering,SVC）的运算有较高的计算复杂性,本文在优化过程中引入惩罚函数,以此作为目标函数的惩罚项,并用一个平滑函数来近似正号函数,并将优化问题的不等式约束消去,得到一个无约束问题。再利用BFGS—Annijo算法来求解该无约束问题。理论和仿真结果表明该方法提高优化问题的求解效率。     

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

加权光滑CHKS孪生支持向量机

针对光滑孪生支持向量机(smooth twin support vector machines,简称STWSVM)采用的Sigmoid 光滑函数逼近精度低和STWSVM 对异常点敏感的问题,引入一种性能更好的光滑函数——CHKS 函数,提出了光滑CHKS孪生支持向量机模型(smooth CHKS twin support vector machines,简称SCTWSVM).在此基础上,根据样本点的位置为每个训练样本赋予不同的重要性,以降低异常点对非平行超平面的影响,提出了加权光滑CHKS 孪生支持向量机(weighted smooth CHKS twin support vector machines,简称WSCTWSVM).不仅从理论上证明了SCTWSVM 具有严凸性和任意阶光滑的性能,而且在数据集上的实验结果表明,相对于STWSVM,SCTWSVM 可以在更短的时间内获得更高的分类精度,同时验证了WSCTWSVM 的有效性和可行性.     

基于说话人聚类和支持向量机的说话人确认研究

说话人确认系统需要用目标说话人和背景模型说话人的语音数据对模型进行训练。背景模型说话人可随机选取或选取与目标说话人相近的说话人。采用说话人聚类的方法可以有效地解决说话人背景模型的选取问题。支持向量机用作说话人确认模型来训练目标说话人和背景说话人的语音数据。实验表明该方法对与文本无关的说话人确认问题是有效的。     

一种新颖隶属度函数的模糊支持向量机

传统的支持向量机(SVM)训练含有外部点或噪音数据时,容易产生过拟合(over-fitting)。通过模糊隶属度函数来降低外部点或被污染数据的选择。本文提出了一种新的核隶属度函数,这种新的隶属度函数不仅依赖于每个样本点到类型中心的距离,还依赖于该样本点最邻近的K个其他样本点的距离。实验结果表明了具有该隶属度函数的模糊支持向量机的有效性。     

一种向量预选取的分段支持向量机回归算法

针对数据波动剧烈时,一组特定的支持向量机回归参数无法满足随数据分布而改变的要求,导致回归曲线达不到所要求的精度的问题,同时针对如何有效删除在回归过程中某些非必要的数据以加快求解速度的问题,本文提出一种向量预选取的分段支持向量机回归算法．该算法首先根据数据空间分布特点删除一些非必要数据,然后根据不同区域样本的复杂程度对区间进行分段,针对各个区域设置相应的参数．仿真实验证明：p-p-SVR算法在保持回归精度的同时,较传统方法具有更好的泛化性能．     

最小二乘双支持向量机的在线学习算法

针对具有两个非并行分类超平面的最小二乘双支持向量机,提出了一种在线学习算法。通过利用矩阵求逆分解引理,所提在线学习算法能充分利用历史的训练结果,避免了大型矩阵的求逆计算过程,从而降低了计算的复杂性。仿真结果验证了所提学习算法的有效性。     

基于模糊核聚类和SVM的说话人辨识

支持向量机作为一种新的统计学习方法,在说话人识别中得到了广泛应用.本文针对支持向量机在说话人辨识中的大样本训练耗时问题,提出对语音参数进行模糊核聚类的约简方法,选择聚类边界的语音参数作为支持向量,可以在不影响识别率的情况下,减少支持向量机的训练量.并通过实验验证了该方法的有效性.     

一种基于支持向量机的空间数据分类方法

支持向量机是基于小样本统计理论的一种新的机器学习方法,主要解决两分类问题。目前已成为机器学习领域的研究热点,但其应用方面的研究刚刚开始,在文本分类,图像分类、生物序列分析等方面得到成功应用。文章根据空间数据分类数据海量特点将SVM分类算法应用到炮阵地地形分析中,使得识别率大大提高。     

一种改善的基于支持向量机的边缘检测算子

支持向量机是一种新的机器学习方法。它建立在统计学习理论基础上,较好地解决了小样本的学习问题。由于其出色的学习性能,该技术已经成为当前国际机器学习界的研究热点。文中提出了一种基于支持向量机的图像边缘检测新方法。这种方法介绍了如何使用支持向量机来高效的检测图像的边缘。首先用几个边缘简单的图像对支持向量机进行训练,然后使用支持向量分类方法进行边缘检测。针对实际图像的边缘检测实验表明,支持向量机可以有效地进行图像的边缘检测,其检测效果和传统的Canny边缘检测算子相当。