基于正交多项式的核函数性质研究

核函数及其参数的选择是支持向量机(SVM)研究中的一个核心问题.正交多项式的正交性和可变性使其可以构造通用核函数以代替多项式核、高斯核等常用核函数.基于正交多项式构造核函数的参数仅在自然数中取值,因而能较大地简化核参数的选择.分析基于切比雪夫多项式、埃尔米特多项式、勒让德多项式及拉盖尔多项式构造的6类正交多项式核函数的性质,并在多个数据集上对比这些核函数的鲁棒性和泛化性,所得结论可为选择这些核函数进行支持向量分类提供理论依据和技术支持.     

基于支持向量机分类问题的勒让德核函数

基于勒让德正交多项式,提出了一类新的核函数——勒让德核函数。在双螺旋集和标准UCI数据集上的实验表明,在鲁棒性与泛化性能方面,该核函数比常用的核函数(多项式核、高斯径向基核等)具有更好的表现,而且其参数仅在自然数中取值,能大大缩短参数优化时间。     

基于欧式距离的一种新的核函数

支持向量机表现的好坏很大程度上取决于核函数的选取,因此最近几年关于核函数的研究有许多。越来越多的核函数也被提了出来!但是选取合适的核函数往往却不容易,因为数据的特征往往不知道。文中利用函数的Taylor展开思想,提出了一种新的核函数,叫T—KMOD,基于KMOD提出的。该核函数的灵活性更好,可以处理很多分类的问题。用网络入侵的数据对该核函数进行了仿真,从仿真的结果可以看出,和一些常用的核函数相比,它的鲁棒性更好,有更强的分类能力。同时该函数的分类效果更好。所以该核函数和一般常用的核函数相比,可能更具有一般选择性。     

核函数的选择研究综述

核方法是解决非线性模式分析问题的一种有效方法,是当前机器学习领域的一个研究热点.核函数是影响核方法性能的关键因素,以支持向量机作为核函数的载体,从核函数的构造、核函数中参数的选择、多核学习3个角度对核函数的选择的研究现状及其进展情况进行了系统地概述,并指出根据特定应用领域选择核函数、设计有效的核函数度量标准和拓宽核函数选择的研究范围是其中3个值得进一步研究的方向.     

一类改进的埃尔米特核函数

核函数及其参数的选择是决定支持向量机(support vector machine,SVM)分类性能的关键。基于埃尔米特多项式,利用三角核函数构造并证明了一类改进的埃尔米特核函数——三角埃尔米特核函数。该类核函数含两个核参数,其中一个核参数可由样本点到样本均值的距离简单确定,而另一个核参数仅在自然数集中选取,从而简化了该类核函数的参数优化。在双螺线数据集、棋盘格数据集及7个UCI数据集上的实验表明,该类核函数比常见的多项式核函数、高斯核函数及文献[6]提出的埃尔米特核函数有着更好的泛化性能和鲁棒性。     

基于插值的核函数构造

近年来，统计学习(SLT)和支持向量机(SVM)理论的研究日益受到当前国际机器学习领域的重视．有关核函数的研究则一直是研究的重点．这是因为不同的核函数会导致SVM的泛化能力有很大的不同．如何根据所给数据选择合适的核函数成为人们所关注的核心问题．该文首先指出满足Mercer条件的核函数的具体表达式并非问题关键，在此基础上，该文进一步提出利用散乱数据插值的办法确定特征空间中感兴趣点的内积值以代替传统核函数的一般表达式所起的作用．实验表明该方法不仅能够有效改善支持向量机的设计训练过程中的不确定性，而且泛化能力要优于绝大部分的基于传统核函数的支持向量机．     

基于尺度核函数的最小二乘支持向量机

支持向量机的核函数一直是影响其学习效果的重要因素.本文基于小波分解理论和支持向量机核函数的条件,提出一种多维允许支持向量尺度核函数.该核函数不仅具有平移正交性,且可以以其正交性逼近二次可积空间上的任意曲线,从而提升支持向量机的泛化性能.在尺度函数作为支持向量核函数的基础之上,提出基于尺度核函数的最小二乘支持向量机(LS-SSVM).实验结果表明,LS-SSVM在同等条件下比传统支持向量机的学习精度更高,因而更适用于复杂函数的学习问题.     

一种新的支持向量回归核函数构建方法

首先，讨论了支持向量回归（support vector regression，SVR）的基本原理．然后，从信息几何的角度分析了核函数的几何结构，通过共形变换（conformal transformation）构建与数据依赖(data-dependent)的核函数，使得特征空间在支持向量附近的体积元缩小，以改善SVR的机器性能．实验结果表明了方法的有效性．     

基于混合核函数的SVM及其应用

支持向量机可以很好地应用于函数拟合中,其中核函数的选择尤其重要。由于普通核函数各有其利弊,为了得到学习能力和泛化性能都很强的核函数,文中采用了混合核函数,并将由其构造的支持向量机运用于函数拟合中,且与普通核函数构造的支持向量机的实验结果进行了比较。结果表明其性能明显优于由普通核函数构造的支持向量机。     

基于混合核函数的SVM及其应用

支持向量机可以很好地应用于函数拟合中．其中核函数的选择尤其重要。由于普通核函数各有其利弊，为了得到学习能力和泛化性能都很强的核函数，文中采用了混合核函数，并将由其构造的支持向量机运用于函数拟合中，且与普通核函数构造的支持向量机的实验结果进行了比较。结果表明其性能明显优于由普通核函数构造的支持向量机。     

组合核支持向量机的模式分析新方法

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数和多项式核函数进行有效的线性组合,给出一种新的支持向量机的组合核函数,提出一种基于再生核的组合核函数支持向量机的模式分析方法,该方法兼具了全局核函数与局部核函数的优点,且算法的复杂度被降低。仿真实验结果表明：支持向量机的核函数采用基于再生核的组合核函数是可行的,且此核函数不仅具有核函数的非线性映射特征,而且也继承了核函数对非线性逐级精细逼近的特征,模式分析的效果比单核函数可以更加细腻。     

基于半模糊核聚类算法的收视率预测研究

收视率是电视行业重要的指标之一,对电视机构运营决策具有重要参考价值。针对收视率数据影响因素众多,变化趋势复杂等特点,提出了一种基于半模糊核聚类的超球支持向量机分类方法,基于半模糊核聚类生成模糊类,在其边缘样本信息基础上,利用超球支持向量机进行多类分类,从而有效提高分类器性能。实验表明,该方法比传统方法具有更高的速度和精度。     

一种支持向量机集成的核选择方法

核选择问题是支持向量机（Support Vector Machine,SVM）建模中的一个关键问题,虽然支持向量机具有良好的泛化性能,但其性能受核函数的影响比较明显,而对于一个给定问题,选择合适的核函数及参数通常很困难。提出一种基于SVM集成的核选择方法,利用不同的核函数构造子SVM学习器,然后对子学习器的预测结果集成。提出的核选择方法将SVM集成学习与核选择同时进行,不仅避免了单个SVM的核选择对泛化能力的影响,而且可以获得良好的泛化能力。在UCI标准数据集上的结果说明了提出的方法的有效性。     

最小二乘小波支持向量机的DNA序列分类方法

目前使用的已有SVM核函数,在分类中不能逼近某一L₂（R）（平方可积空间）子空间上的任意分类界面。针对上述问题,在支持向量机的核函数方法和小波框架理论的基础上,提出了LS-WSVM结构模型。实验结果表明,和标准的SVM和LS-SVM比较起来,在同等条件下,LS-WSVM在分类方面具有优良的特征提取性能。     

基于差分进化算法的支持向量机参数选择

支持向量机参数是影响其性能的重要因素,为了进一步提高支持向量机分类精度和泛化能力,提出了基于差分进化算法的SVM参数选择。以样本误判率最小为优化准则,利用差分进化算法对SVM参数进行优化选择。实验结果表明,利用差分进化算法选择SVM参数,加快了参数搜索的速度,提高了SVM分类精度,该方法具有良好的鲁棒性和较强的全局寻优能力。     

基于条件正定核的SVM人脸识别

为提高人脸识别分类器的能力,采用了一种改进的可用于核学习方法的核函数—条件正定核函数。条件正定核函数一般不满足Mercer条件,但可以在核空间中计算样本间的距离,突出样本间的特征差异。对ORL、YALE、ESSEX三个标准人脸数据库进行仿真实验,结果表明基于条件正定核的SVM人脸识别算法在训练时间没有降低的情况下,与其他核函数法相比识别率有较大提高,并且当类别数增加时算法表现出较强的鲁棒性。     

一种快速的SVM最优核参数选择方法

支持向量机是一种基于核的学习方法,核函数及核参数的选择直接影响到SVM的泛化能力。传统的参数选择方法如网格搜索法,由于其计算量大,训练过程十分耗时,提出了一种新的快速选择最优核参数方法,该方法通过计算各类别在特征空间的可分性度量值来决定最优核参数,不需训练相应SVM分类模型,从而大大缩减了训练时间,提高了训练速度,且分类精度与传统方法相比,具有相当的竞争力。实验证明,该算法是可行有效的。     

确定高斯核参数的聚类方法

高斯核参数σ的选择,直接影响着高斯核支持向量机的分类性能。将聚类方法与最小距离分类法进行融合,构造了能有效确定高斯核参数σ的优化算法。采用高斯核支持向量机方法对测试集进行分类,以分类正确率来评判选取核参数σ的效果。实验表明,该方法适宜于较广泛的数据类型,具有良好的推广能力,并能有效提高分类效果。     

一种改进的再生核支持向量机回归模型

基于支持向量机核函数的条件,将Sobolev Hilbert空间的再生核函数进行改进,给出一种新的支持向量机核函数,并提出一种改进的最小二乘再生核支持向量机的回归模型,该回归模型的参数被减少,且仿真实验结果表明：最小二乘支持向量机的核函数采用改进的再生核函数是可行的,改进后的再生核函数不仅具有核函数的非线性映射特征,而且也继承了该再生核函数对非线性逐级精细逼近的特征,回归的效果比一般的核函数更为细腻。     

基于核极化的特征选择在LSSVM的应用

为了对最小二乘支持向量机中样本的各个特征的差异性进行研究,引入了多参数高斯核,在分析核极化几何意义的基础上,提出了基于核极化梯度迭代优化多参数高斯核的特征选择算法。利用核极化梯度迭代算法对样本中每个特征的重要性程度进行测定;按特征的重要性大小进行LSSVM样本的特征选择;运用LSSVM对选出的特征子集进行训练和测试,称该方法为KP_LSSVM。UCI数据集上的实验结果表明,相较于PCA_LSSVM、KPCA_LSSVM和LSSVM方法,提出的方法可以取得更为准确的分类结果,验证了该方法的有效性。