基于正交多项式的核函数性质研究

核函数及其参数的选择是支持向量机(SVM)研究中的一个核心问题.正交多项式的正交性和可变性使其可以构造通用核函数以代替多项式核、高斯核等常用核函数.基于正交多项式构造核函数的参数仅在自然数中取值,因而能较大地简化核参数的选择.分析基于切比雪夫多项式、埃尔米特多项式、勒让德多项式及拉盖尔多项式构造的6类正交多项式核函数的性质,并在多个数据集上对比这些核函数的鲁棒性和泛化性,所得结论可为选择这些核函数进行支持向量分类提供理论依据和技术支持.     

基于支持向量机分类问题的勒让德核函数

基于勒让德正交多项式,提出了一类新的核函数——勒让德核函数。在双螺旋集和标准UCI数据集上的实验表明,在鲁棒性与泛化性能方面,该核函数比常用的核函数(多项式核、高斯径向基核等)具有更好的表现,而且其参数仅在自然数中取值,能大大缩短参数优化时间。     

基于欧式距离的一种新的核函数

支持向量机表现的好坏很大程度上取决于核函数的选取,因此最近几年关于核函数的研究有许多。越来越多的核函数也被提了出来!但是选取合适的核函数往往却不容易,因为数据的特征往往不知道。文中利用函数的Taylor展开思想,提出了一种新的核函数,叫T—KMOD,基于KMOD提出的。该核函数的灵活性更好,可以处理很多分类的问题。用网络入侵的数据对该核函数进行了仿真,从仿真的结果可以看出,和一些常用的核函数相比,它的鲁棒性更好,有更强的分类能力。同时该函数的分类效果更好。所以该核函数和一般常用的核函数相比,可能更具有一般选择性。     

核函数的选择研究综述

核方法是解决非线性模式分析问题的一种有效方法,是当前机器学习领域的一个研究热点.核函数是影响核方法性能的关键因素,以支持向量机作为核函数的载体,从核函数的构造、核函数中参数的选择、多核学习3个角度对核函数的选择的研究现状及其进展情况进行了系统地概述,并指出根据特定应用领域选择核函数、设计有效的核函数度量标准和拓宽核函数选择的研究范围是其中3个值得进一步研究的方向.     

一类改进的埃尔米特核函数

核函数及其参数的选择是决定支持向量机(support vector machine,SVM)分类性能的关键。基于埃尔米特多项式,利用三角核函数构造并证明了一类改进的埃尔米特核函数——三角埃尔米特核函数。该类核函数含两个核参数,其中一个核参数可由样本点到样本均值的距离简单确定,而另一个核参数仅在自然数集中选取,从而简化了该类核函数的参数优化。在双螺线数据集、棋盘格数据集及7个UCI数据集上的实验表明,该类核函数比常见的多项式核函数、高斯核函数及文献[6]提出的埃尔米特核函数有着更好的泛化性能和鲁棒性。     

一种新的支持向量回归核函数构建方法

首先,讨论了支持向量回归（support vector regression,SVR）的基本原理．然后,从信息几何的角度分析了核函数的几何结构,通过共形变换（conformal transformation）构建与数据依赖(data-dependent)的核函数,使得特征空间在支持向量附近的体积元缩小,以改善SVR的机器性能．实验结果表明了方法的有效性．     

基于尺度核函数的最小二乘支持向量机

支持向量机的核函数一直是影响其学习效果的重要因素.本文基于小波分解理论和支持向量机核函数的条件,提出一种多维允许支持向量尺度核函数.该核函数不仅具有平移正交性,且可以以其正交性逼近二次可积空间上的任意曲线,从而提升支持向量机的泛化性能.在尺度函数作为支持向量核函数的基础之上,提出基于尺度核函数的最小二乘支持向量机(LS-SSVM).实验结果表明,LS-SSVM在同等条件下比传统支持向量机的学习精度更高,因而更适用于复杂函数的学习问题.     

基于混合核函数的SVM及其应用

支持向量机可以很好地应用于函数拟合中．其中核函数的选择尤其重要。由于普通核函数各有其利弊，为了得到学习能力和泛化性能都很强的核函数，文中采用了混合核函数，并将由其构造的支持向量机运用于函数拟合中，且与普通核函数构造的支持向量机的实验结果进行了比较。结果表明其性能明显优于由普通核函数构造的支持向量机。     

基于时序核函数的支持向量回归机

为克服维数灾难和过拟合等传统算法所不可规避的问题,利用支持向量机（Support Vector Machine,SVM）提出基于时序数据时间相关性的核函数修正选择方法,并以真实的二氧化硫（SO2）数据为实验数据验证该方法的有效性．实验结果表明采用时序核函数对测试数据集的拟合效果更好,并对模型泛化能力有一定的提高．     

基于混合核函数的SVM及其应用

支持向量机可以很好地应用于函数拟合中,其中核函数的选择尤其重要。由于普通核函数各有其利弊,为了得到学习能力和泛化性能都很强的核函数,文中采用了混合核函数,并将由其构造的支持向量机运用于函数拟合中,且与普通核函数构造的支持向量机的实验结果进行了比较。结果表明其性能明显优于由普通核函数构造的支持向量机。     

Evaluation of a set of new ORF kernel functions of SVM for speech recognition

The kernel function is the core of the Support Vector Machine (SVM), and its selection directly affects the performance of SVM. There has been no theoretical basis on choosing a kernel function for speech recognition. In order to improve the learning ability and generalization ability of SVM for speech recognition, this paper presents the Optimal Relaxation Factor (ORF) kernel function, which is a set of new SVM kernel functions for speech recognition, and proves that the ORF function is a Mercer kernel function. The experiments show the ORF kernel function's effectiveness on mapping trend, bi-spiral, and speech recognition problems. The paper draws the conclusion that the ORF kernel function performs better than the Radial Basis Function (RBF), the Exponential Radial Basis Function (ERBF) and the Kernel with Moderate Decreasing (KMOD). Furthermore, the results of speech recognition with the ORF kernel function illustrate higher recognition accuracy.     

距离加权极端支持向量机

由于极端支持向量分类机（ESVM）在对样本进行分类时并没有考虑到数据集中样本点的分布情况,对所有样本点的误差项都给予了相同的惩罚因子,使得分类器的分类效果很容易受到噪声、野值数据的干扰,针对这个问题,在ESVM的基础上提出了一种基于距离加权的极端支持向量机（WESVM）。由于不同的样本到其类中心距离的不同,因此对不同的样本给予不同的权重。分类实验结果表明WESVM与ELM、ESVM相比具有更好的分类精度。     

最小二乘小波支持向量机的DNA序列分类方法

目前使用的已有SVM核函数,在分类中不能逼近某一L₂（R）（平方可积空间）子空间上的任意分类界面。针对上述问题,在支持向量机的核函数方法和小波框架理论的基础上,提出了LS-WSVM结构模型。实验结果表明,和标准的SVM和LS-SVM比较起来,在同等条件下,LS-WSVM在分类方面具有优良的特征提取性能。     

基于差分进化算法的支持向量机参数选择

支持向量机参数是影响其性能的重要因素,为了进一步提高支持向量机分类精度和泛化能力,提出了基于差分进化算法的SVM参数选择。以样本误判率最小为优化准则,利用差分进化算法对SVM参数进行优化选择。实验结果表明,利用差分进化算法选择SVM参数,加快了参数搜索的速度,提高了SVM分类精度,该方法具有良好的鲁棒性和较强的全局寻优能力。     

一种新的多类支持向量机算法

提出了一种新的多类支持向量机算法OC-K-SVM.对k类分类问题,该方法构造了k个分类器,每一个分类器只对一类样本进行训练.使用Benchmark的数据集进行了初步的实验,实验结果验证了算法的有效性.     

多分类支持向量机分割彩色癌细胞图像

在细胞彩色图像处理中,为了有效地计算与分析细胞各特征值,对细胞图像的精确的三域分割是细胞自动分析与识别的一个关键环节。提出利用多分类支持向量机对细胞彩色图像进行背景、胞浆与核的一次性三域分割,并且通过聚类分析的方法实现了在线训练,实验表明,该方法在细胞彩色图像的多域分割上,能获得较高的分割精度和较好的鲁棒性。     

支持向量机算法多目标模型选择

为适应支持向量机（Support Vector Machine,SVM）算法应用过程中的不同性能指标要求,将SVM算法的模型选择问题作为一个多目标优化（Multi-Object Optimization,MOO）问题进行处理。以改进的粒子群优化（Particle Swarm Optimization,PSO）算法对该多目标优化问题进行求解,得到其Pareto解集,在具体应用中根据实际需要从Pareto解集中选择适合的最优解作为支持向量机算法参数,实现支持向量机算法的模型选择。在几个数据集上的仿真实验表明,该方法能够较快地得到Pareto解集,解集中的参数组合能够满足对支持向量机算法速度和泛化能力的不同要求。     

改进的概率选择主动支持向量机算法

针对大多数主动学习支持向量机（ASVM）的主动学习策略只注重考察超平面附近的样本,忽略了有些距离超平面远但是支持向量的样本,而且没有考虑当前超平面是否接近实际的超平面。提出一种基于概率的主动支持向量机算法,采用一个置信因子来衡量当前的超平面接近实际的超平面的程度。实验结果都验证了该算法在分类精度与计算量方面都有了较大改进。     

基于支持向量机协同训练的半监督回归

将支持向量机与半监督学习理论相结合,提出基于支持向量机协同训练的半监督回归模型,使用两个支持向量机回归模型相互影响,协同训练。利用实验数据集进行实验,并与监督支持向量机回归模型、半监督自训练支持向量机回归模型作比较。实验结果表明,基于支持向量机协同训练的半监督回归模型在缺少标记样本的情况下,提高了回归估计的精度。     

自适应模糊支持向量机算法研究

一个有效的核方法通常取决于选择一个合适的核函数。目前研究核方法的热点是从数据中自动地进行核学习。提出基于最优分类标准的核学习方法,这个标准类似于线性鉴别分析和核Fisher判别式。并把此算法应用于模糊支持向量机多类分类器设计上,在ORL人脸数据集和Iris数据集上的实验验证了该算法的可行性。