Padé32光滑支持向量机模型的构造及其应用

含无约束条件支持向量机的目标函数具有不光滑性,使得研究者难以采用快速的最优化算法对其进行求解.为了克服支持向量机的不可微性,文章首先应用有理逼近的方法,提出了一种新的Padé32逼近式光滑函数并建立了基于该函数的光滑支持向量机模型.其次,分析并证明了新光滑函数的逼近精度均高于已有的各种光滑函数,以及新模型的收敛性.最后,基于UCI机器学习数据库,将本文构造的Padé32–SSVM模型应用于若干种疾病的诊断、钞票验伪和生物可降解性分析中,结果表明本文建立的新光滑支持向量机模型具有较高的分类精度.     

一个新的多项式光滑支持向量机

光滑支持向量机(SSVM)是支持向量机(SVM)的快速求解模型,拥有更快的求解速度和训练效果。基于光滑的分段多项式函数和插值思想推导出一个新的光滑函数,从而可以更好地逼近正号函数。通过所得到的新光滑函数改进多项式光滑支持向量机模型(PSSVM),得到了更新的光滑支持向量机模型。还给出了新光滑函数的逼近性能和精度分析以及新模型的收敛性证明和最优解的逼近上限。数值实验表明,所提出的新光滑支持向量机模型性能优于PSSVM模型。     

一族三次样条光滑半监督支持向量机

针对半监督支持向量分类优化中的非凸非光滑化问题,建立光滑半监督支持向量机模型,提出基于分段多项式函数和插值思想构造一个新的三次样条光滑函数,从而可以更好地逼近对半监督支持向量机中非光滑的对称铰链损失函数部分,构造出基于此光滑函数的具有二阶光滑的半监督支持向量机模型。进而可以用优化中的光滑算法来求解该模型,并分析所构造的三次样条函数对对称铰链损失函数的逼近精度。通过数据实验证明所构造的新的光滑半监督模型具有较好的分类效果和效率。     

光滑分段孪生支持向量机

为了解决Sigmoid的积分函数对正号函数的逼近精度低的问题,引入一种具有更强逼近正号函数能力的光滑函数即分段函数,提出了光滑分段孪生支持向量机,并用快速Newton-Armijo算法对其求解.在NDC和UCI数据集上的实验结果表明:光滑分段孪生支持向量机能够有效地处理大规模和高维度数据,且分类精度和分类速度与光滑孪生支持向量机相比得到了改进.     

支持向量回归机的光滑函数研究

光滑数能将不光滑模型变为光滑模型,改善支持向量机的回归性能和效率.Lee等人用一个光滑函数逼近ε-不敏感损失函数的平方,提出ε-不敏感的光滑支持向量回归机模型(ε-SSVR).本文为求ε-不敏感支持向量回归机的新光滑函数,运用插值函数和复合函数的方法,首先求正号函数的光滑逼近,然后将其复合成ε-不敏感损失函数平方的光滑函数,得到一类新的光滑函数.并从理论上证明该类光滑函数的逼近精度比以往的光滑函数高一个数量级.实验结果表明回归效果得到改善,从而为支持向量回归机提供一类新的光滑函数.     

分段光滑的半监督支持向量分类机

为了解决半监督支持向量分类优化模型中的非凸非光滑问题,基于分段逼近的思想提出了一个分段函数,并以此逼近非凸非光滑的目标函数。给出的分段函数可以根据不同的精度要求选择不同的逼近参数,同时构造出基于上述分段函数的光滑半监督支持向量机模型。采用了LDS(Low Density Separation)算法求解模型,分析了其对对称铰链损失函数的逼进精度。理论分析和数值实验结果都证明分段光滑的半监督支持向量机的分类性能和效率优于以往提出的光滑模型。     

多项式光滑的支持向量回归机

光滑函数将不光滑的模型变为光滑模型,改善支持向量回归机的回归性能和效率,从而降低计算的复杂性.寻找性能更好的光滑函数是研究光滑向量回归机的一个关键问题.本文用级数展开的方法得出了ε–不敏感的支持向量回归机|x|ε2的一类新的光滑函数.证明了这类函数的性能,它能满足任意阶光滑的要求,也能达到任意给定的逼近精度.实验结果表明,随着光滑阶数的提高,逼近精度和回归性能也相应提高.从而为支持向量回归机和相关研究领域提供了一类新的、性能更好的多项式光滑函数.     

多分类光滑支持向量机的人脸识别方法

提出一种新的三阶分段光滑函数,构造三阶光滑支持向量机模型( TPSSVM)。理论证明新三阶分段光滑函数对正号函数的逼近程度更高。在处理多类问题时,提出一种基于编码方式的一对多光滑支持向量机分类方法。对于人脸识别问题,通过主成分分析( PCA)进行特征提取,并利用多分类光滑支持向量机对人脸特征图像进行训练和测试。应用于ORL人脸库和FERET人脸库的测试结果表明,多分类光滑支持向量机比传统的识别方法有更高的识别率。     

一个支持向量机的新光滑函数及其性能分析

光滑函数在支持向量机中起着重要的作用,因此寻找新的光滑函数是研究支持向量机的关键。用求导方法分析了光滑函数的光滑性能,推导并证明了一个六阶光滑函数;同时还用二分法对其逼近性能进行了分析,结果表明：该光滑函数具有比一至五阶光滑函数更高/好的逼近性能,这就为进一步研究支持向量机提供了一个新的光滑函数。     

加权光滑CHKS孪生支持向量机

针对光滑孪生支持向量机(smooth twin support vector machines,简称STWSVM)采用的Sigmoid 光滑函数逼近精度低和STWSVM 对异常点敏感的问题,引入一种性能更好的光滑函数——CHKS 函数,提出了光滑CHKS孪生支持向量机模型(smooth CHKS twin support vector machines,简称SCTWSVM).在此基础上,根据样本点的位置为每个训练样本赋予不同的重要性,以降低异常点对非平行超平面的影响,提出了加权光滑CHKS 孪生支持向量机(weighted smooth CHKS twin support vector machines,简称WSCTWSVM).不仅从理论上证明了SCTWSVM 具有严凸性和任意阶光滑的性能,而且在数据集上的实验结果表明,相对于STWSVM,SCTWSVM 可以在更短的时间内获得更高的分类精度,同时验证了WSCTWSVM 的有效性和可行性.     

基于二次多项式的光滑支持向量机在分类中的若干问题

袁玉波等人采用一个二次多项式作为光滑函数,提出一个基于二次多项式的光滑支持向量机。然而,这种光滑支持向量机作为一种新模型,还存在如下4个尚待解决的问题：能否用其它二次多项式作为光滑函数,构建光滑支持向量机？这种光滑支持向量机有多少个？其收敛性如何？其分类效果如何？本文从二次多项式入手,分析了二次多项式作为光滑函数的问题,还分析了基于二次多项式的光滑支持向量杌问题,解决了上述四个问题。     

光滑CHKS孪生支持向量回归机

针对目前光滑孪生支持向量回归机（smooth twin support vector regression ,STSVR）中采用的Sigmoid光滑函数逼近精度不高,从而导致算法泛化能力不够理想的问题,引入一种具有更强逼近能力的光滑（chen‐harker‐kanzow‐smale ,CHKS）函数,采用CHKS函数逼近孪生支持向量回归机的不可微项,并用 Newton‐Armijo 算法求解相应的模型,提出了光滑 CHKS 孪生支持向量回归机（smooth CHKS twin support vector regression ,SCTSVR）。不仅从理论上证明了SCTSVR具有严格凸,能满足任意阶光滑和全局收敛的性能,而且在人工数据集和UCI数据集上的实验表明了SCTSVR比STSVR具有更好的回归性能。     

支持向量机一阶光滑函数及其逼近精度研究

光滑函数在支持向量机中起着重要作用,熊金志等人用插值函数的方法得到了一个递推公式。论文导出了一阶光滑函数的表达式,并分析了它的逼近性能,为研究光滑支持向量机提供了一些理论支持。     

光滑支持向量机的原理和进展

支持向量机是数据挖掘的新方法,由于其显著的优点,因此得到了广泛的应用.光滑支持向量机是标准支持向量机的一种改进形式,其应用已显示出了优越性.该文论述光滑支持向量机(SSVM)的基本原理、SSVM 模型、多项式光滑的支持向量机模型以及一类新的光滑函数.讨论光滑支持向量机目前尚未解决的一些关键问题,并展望了今后的发展趋势,为进一步研究光滑支持向量机理论提供了基本思路.     

基于三次样条插值的支持向量机研究

在传统支持向量机的分类求解算法中,严格凸的无约束最优化问题中单变量函数X+是不可微的,三次样条插值多项式光滑的支持向量机模型采用的是一种多项式光滑技术,使用三次样条插值二次多项式来逼近单变量函数O+,将原始非光滑的支持向量机模型转化为光滑模型,从而可以使用最常用的最优化的算法进行求解,给出了使用三次样条插值方法来光滑单变量函数的具体推导过程.使用UCI机器学习数据集中的数据,通过实验验证了该模型的有效性.     

一类多项式光滑函数的逼近精度

针对一类支持向量机的多项式光滑函数,采用二分法求解它们尚未解决的逼近精度问题。为克服二分法可能会漏根的缺点,首先把多项式光滑函数的逼近精度问题表示为一个求逼近函数的最大值问题,把这个逼近函数分成4 段,分别求出每段的最大值,然后得到逼近函数在整个x轴上的最大值。并以1阶和2阶多项式光滑函数为例,用二分法解决了它们的逼近精度问题。研究表明,二分法是求解这类多项式光滑函数逼近精度的有效方法。     

线性支持向量机优化问题的一种光滑算法

线性支持向量机的无约束优化模型的目标函数不是一个二阶可微函数,因此不能应用一些快速牛顿算法来求解。提出了目标函数的一种光滑化技巧,从而得到了相应的光滑线性支持向量机模型,并给出了求解该光滑线性支持向量机模型的Newton-Armijo算法,该算法是全局收敛的和二次收敛的。     

基于尺度核函数的最小二乘支持向量机

支持向量机的核函数一直是影响其学习效果的重要因素.本文基于小波分解理论和支持向量机核函数的条件,提出一种多维允许支持向量尺度核函数.该核函数不仅具有平移正交性,且可以以其正交性逼近二次可积空间上的任意曲线,从而提升支持向量机的泛化性能.在尺度函数作为支持向量核函数的基础之上,提出基于尺度核函数的最小二乘支持向量机(LS-SSVM).实验结果表明,LS-SSVM在同等条件下比传统支持向量机的学习精度更高,因而更适用于复杂函数的学习问题.     

支持向量机的5阶光滑函数及其性能分析

光滑函数在支持向量机中起着重要作用,熊金志等人用插值函数的方法导出了一个递推公式,得到了一类新的光滑函数,解决了一个关于是否存在以及如何寻求性能更好的光滑函数的问题。然而其中五阶光滑的多项式函数还未进行性能分析。首先推导出了该光滑函数的表达式,然后分析了它的若干性能。结果表明,该光滑函数具有良好的逼近性能,其逼近精度高于以往的光滑函数。     

新型光滑正则半监督SVM方法及其在信用评级中的应用

提出了一种基于光滑正则的半监督支持向量机方法,并将其用于建立中小信用评级模型.它从少量标签样本和大量无标签样本中构造反映数据流形结构的光滑正则项,并结合到支持向量机的最大间隔分类器的学习过程.然后,提出一种渐进式方法来迭代获得“半标签”样本,稳健地提升支持向量机的泛化性能.在真实数据集上的实验结果表明,新方法获得的测试精度显著优于多种现有方法,非常适用于中小企业的信用评级任务.