一种改进的临近支持向量机

基于线性临近支持向量机,提出一种改进的分类器一直接支持向量机.该分类器与临近支持向量机相比,对线性分类二者相同;对于非线性分类,直接支持向量机的Lagrangian乘子求解公式和分类器的表达式都更加简单,计算复杂度降低一半,且通过替代核函数就可实现线性与非线性的统一,可使用相同的算法代码,改正了临近支持向量机的不足.数值实验表明,非线性分类时,直接支持向量机的训练速度比临近支持向量机要快一倍左右,而测试速度则快更多,且分类精度并没有降低.     

基于尺度核函数的最小二乘支持向量机

支持向量机的核函数一直是影响其学习效果的重要因素.本文基于小波分解理论和支持向量机核函数的条件,提出一种多维允许支持向量尺度核函数.该核函数不仅具有平移正交性,且可以以其正交性逼近二次可积空间上的任意曲线,从而提升支持向量机的泛化性能.在尺度函数作为支持向量核函数的基础之上,提出基于尺度核函数的最小二乘支持向量机(LS-SSVM).实验结果表明,LS-SSVM在同等条件下比传统支持向量机的学习精度更高,因而更适用于复杂函数的学习问题.     

具分段损失函数的支持向量机回归及在投资决策中的应用

支持向量机回归模型的性能与所选用的损失函数有很大关系.本文提出一种具分段损失函数的支持向量机回归模型,其分段损失函数对落在不同区间的误差项采用不同的惩罚函数形式,并将该模型应用于投资决策问题中,估计收益率向量的联合概率密度函数和最优投资组合.仿真实验表明,其性能要优于一般的支持向量回归方法.     

模糊支持向量机的训练算法研究

支持向量机(support vector machine,SVM)是在统计学习理论基础上发展起来的一种新的数据挖掘方法,并已广泛应用于模式识别与回归分析等领域.并且传统的支持向量机由于噪音教据的存在而易出现过学习现象,因而有必要消除噪音的影响.基于以上考虑,提出了一种模糊支持向量机模型.本论文主要针对该类型的模糊支持向量机进行研究.     

多项式光滑的支持向量回归机一般模型的收敛性研究

2005年Lee等人提出光滑的支持向量回归机模型ε-SSVR(smooth ε-support vector regression),2008年熊金志等人提出一个多项式光滑的支持向量回归机模型ε-PSSVR(polynomial smooth ε-support vector regression),使回归性能及效率得到了一定改善.然而,这种支持向量回归机是否存在一个一般模型,以及一般模型的收敛性等问题没有解决.为此,将一类多项式函数作为新的光滑函数,使用光滑技术,把多项式光滑模型ε-PSSVR推广到一般情形,提出一个多项式光滑的支持向量回归机一般模型ε-dPSSVR(dth-order polynomial smooth ε-support vector regression).并用数学归纳法证明该一般模型的全局收敛性.研究表明:1)多项式光滑的支持向量回归机存在无穷多个模型,可以用一个一般模型来表示;2)该一般模型是全局收敛的,其收敛上界比ε-SSVR缩小半个数量级.成功解决了多项式光滑的支持向量回归机的一般形式及其收敛性问题,为进一步研究多项式光滑的支持向量回归机提供了基本的理论支持.     

基于LS-SVM的小样本费用智能预测

最小二乘支持向量机引入最小二乘线性系统到支持向量机中,代替传统的支持向量机采用二次规划方法解决函数估计问题。该文推导了用于函数估计的最小二乘支持向量机算法,构建了基于最小二乘支持向量机的智能预测模型,并对机载电子设备费用预测进行了研究。结果表明最小二乘支持向量机具有比多元对数回归更高的小样本费用预测精度。     

两种基于等式约束支持向量回归机比较研究

为了减小支持向量回归机(SVR)的计算复杂度、缩短训练时间,将应用于分类问题的近似支持向量机(PSVM)扩展到回归问题中,针对其原始优化问题采用直接法求取最优解,而不是转换为对偶问题求解,给出了近似支持向量回归机(PSVR)线性和非线性回归算法.并与同样基于等式约束的最小二乘支持向量回归机(LSSVR)进行了比较,在一维、二维函数回归以及不同规模通用数据集上的测试结果表明,PSVR算法简单,训练速度快,尤其在大规模数据集处理上更具优势.     

一种改进的再生核支持向量机回归模型

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数进行改进,给出一种新的支持向量机核函数,并提出一种改进的最小二乘再生核支持向量机的回归模型,该回归模型的参数被减少,且仿真实验结果表明：最小二乘支持向量机的核函数采用改进的再生核函数是可行的,改进后的再生核函数不仅具有核函数的非线性映射特征,而且也继承了该再生核函数对非线性逐级精细逼近的特征,回归的效果比一般的核函数更为细腻。     

非对称ν-无核二次曲面支持向量回归机

针对回归问题提出了非对称[ν]-无核二次曲面支持向量回归机。通过引入Pinball损失函数,使得位于[ε]带上方和下方的样本点具有不同的惩罚,从而得到更优的回归函数。进一步从理论上分析了参数[p]和[ν]控制[ε]带上方和下方错误样本点数目的上界。当[p=0.5]时,该方法就退化成了对称[ν]-无核二次曲面支持向量回归机,此时也证明了参数[ν]可控制支持向量的个数。事实上,该算法不需要使用核函数,从而避免了核参数的选择且不损失决策函数的可解释性。数值实验部分展示了该算法具有更好的拟合性能且耗时较少,也分析了参数[p]不会增加计算成本。     

支持向量机在钻井工程数据拟合中的应用

支持向量机(SVM)是近年来发展起来的一种通用的机器学习方法,在小样本数据的拟合中已获得了很好的效果。对于常见的支持向量回归机方法:ε-支持向量回归机和最小二乘支持向量回归机进行了归纳总结,并给出了一具体应用案例。     

基于相关向量机的神经活动分类及译码

脑机接口研究受到越来越多学者的关注,其中对神经活动的分类和译码是研究的重要方面。利用相关向量机的方法对来自脑皮层的一部分运动神经元的激发率进行分类,识别其神经状态,在此基础上利用激发率进行译码,判断其运动轨迹。实验证明,相关向量机能够较好地进行神经活动的分类和译码,并且拥有比支持向量机和信息向量机更好的性能。     

多分类孪生支持向量机研究进展

孪生支持向量机因其简单的模型、快速的训练速度和优秀的性能而受到广泛关注.该算法最初是为解决二分类问题而提出的,不能直接用于解决现实生活中普遍存在的多分类问题.近来,学者们致力于将二分类孪生支持向量机扩展为多分类方法并提出了多种多分类孪生支持向量机.多分类孪生支持向量机的研究已经取得了一定的进展.本文主要工作是回顾多分类孪生支持向量机的发展,对多分类孪生支持向量机进行合理归类,分析各个类型的多分类孪生支持向量机的理论和几何意义.本文以多分类孪生支持向量机的子分类器组织结构为依据,将多分类孪生支持向量机分为：基于“一对多”策略的多分类孪生支持向量机、基于“一对一”策略的多分类孪生支持向量机、基于“一对一对余”策略的多分类孪生支持向量机、基于二叉树结构的多分类孪生支持向量机和基于“多对一”策略的多分类孪生支持向量机.基于有向无环图的多分类孪生支持向量机训练过程与基于“一对一”策略的多分类孪生支持向量机类似,但是其决策方式有其特殊的优缺点,因此本文将其也独立为一类.本文分析和总结了这六种类型的多分类孪生支持向量机的算法思想、理论基础.此外,还通过实验对比了分类性能.本文工作为各种多分类孪生支持向量机之间建立了联系比较,使得初学者能够快速理解不同多分类孪生支持向量机之间的本质区别,也对实际应用中选取合适的多分类孪生支持向量机起到一定的指导作用.     

基于相关向量机的机器学习算法研究与应用

介绍一种新的机器学习方法——相关向量机（Relevance Vector Machine）。相关向量机是一种新的基于贝叶斯统计学习理论的学习方法,与支持向量机（Support Vector Machine）的相比,可以有概率型输出、更稀疏和核函数选择更自由等优点。详细论述相关向量机的研究现况、理论基础及算法思想,并通过仿真实验说明该方法曲有效性,最后展望相关向量机的研究发展趋势,且提出相关向量机中仍需解决的关键问题。     

一种基于属性加权的代价敏感支持向量机算法

针对实际中存在的各类别样本错分造成不同危害程度的分类问题,提出了一种基于属性加权的代价敏感支持向量机分类算法,即在计算各个样本特征属性对分类的重要度之后,对相应的属性进行重要度加权,所得的数据用于训练和测试代价敏感支持向量机。数值实验的结果表明,该方法提高了误分代价高的类别的分类精度,同时属性重要度的引入提高了分类器的整体分类性能。该方法对错分代价不对称的数据分类问题具有重要的现实意义。     

局部支持向量机的研究进展

支持向量机是一种用途广泛的分类器,标准的支持向量机在预测每个样本点的类别时使用了训练集中所有的样本信息(即全局信息),然而这种全局化的方法并不蕴含一致性。局部支持向量机的提出符合"一致性蕴含局部性"的思路。首先回顾局部支持向量机的主要思想,然后阐述各种关于局部支持向量机的改进,并提出基于协同聚类的局部支持向量机用于大规模数据集,最后对局部支持向量机进行总结。     

稀疏贝叶斯模型与相关向量机学习研究

虽然支持向量机在模式识别的相关领域得到了广泛应用,但它自身固有许多不足之处.相关向量机是在稀疏贝叶斯框架下提出的稀疏模型,模型没有规则化系数,核函数不要求满足Mercer条件.相关向量机不仅具备良好的泛化能力,而且还能够得到具有统计意义的预测结果.首先介绍了稀疏贝叶斯回归和分类模型,通过参数推断过程,将相关向量机学习转化为最大化边缘似然函数估计,并分析了3种估计方法,给出了快速序列稀疏贝叶斯学习算法流程.     

基于几何分析的支持向量机快速训练与分类算法

当支持向量机中存在相互混叠的海量训练样本时,不但支持向量求取困难,且支持向量数目巨大,这两个问题已成为限制其应用的瓶颈问题。该文通过对支持向量几何意义的分析,首先研究了支持向量的分布特性,并提出了基于几何分析的支持向量机快速算法,该算法首先从训练样本中选择出部分近邻向量,然后在进行混叠度分析的基础上,选择真实的边界向量样本子空间用来代替全部训练集,这样既大大减少了训练样本数目,同时去除了混叠严重的奇异样本的影响,并大大减少了支持向量的数目。实验结果表明:该算法在不影响分类性能的条件下,可以加快支持向量机的训练速度和分类速度。     

孪生支持向量机综述

孪生支持向量机(Twin Support Vector Machine,TWSVM)是在支持向量机(Support Vector Machine,SVM)的基础上发展而来的一种新的机器学习方法。作为一种二分类的分类器,其基本思想为寻找两个超平面,使得每一个分类面靠近本类样本点而远离另一类样本点。作为一种新兴的机器学习方法,孪生支持向量机自提出以来便引起了国内外学者的广泛关注,已经成为机器学习领域的研究热点。对孪生支持向量机的最新研究进展进行综述,首先介绍了孪生支持向量机的基本概念与基本模型;然后对近几年来新型的孪生支持向量机模型与研究进展进行了总结,并对其代表算法进行了优缺点分析和实验比较;最后对将来的研究工作进行了展望。     

一种新颖隶属度函数的模糊支持向量机

传统的支持向量机(SVM)训练含有外部点或噪音数据时,容易产生过拟合(over-fitting)。通过模糊隶属度函数来降低外部点或被污染数据的选择。本文提出了一种新的核隶属度函数,这种新的隶属度函数不仅依赖于每个样本点到类型中心的距离,还依赖于该样本点最邻近的K个其他样本点的距离。实验结果表明了具有该隶属度函数的模糊支持向量机的有效性。     

一种扩展的紧密度模糊支持向量机及其在文本分类中应用

采用模糊支持向量机时,隶属度函数的设计是整个算法的关键。详细阐述了已存在的隶属度函数,重点分析了目前应用较广的紧密度模糊支持向量机,针对紧密度模糊支持向量机的不足,提出了一种扩展的紧密度模糊支持向量机,并将其应用到文本分类领域。实验结果表明,与传统模糊支持向量机相比,该算法分类性能更好,抗噪能力更强。