核函数的性质及其构造方法

支持向量机是一项机器学习技术,发展至今近10年了,已经成功地用于模式识别、回归估计以及聚类等,并由此衍生出了核方法。支持向量机由核函数与训练集完全刻画。进一步提高支持向量机性能的关键,是针对给定的问题设计恰当的核函数,这就要求对核函数本身有深刻了解。本文首先分析了核函数的一些重要性质,接着对3类核函数,即平移不变核函数、旋转不变核函数和卷积核,提出了简单实用的判别准则。在此基础上,验证和构造了很多重要核函数。     

基于混合核函数的SVM及其应用

支持向量机可以很好地应用于函数拟合中．其中核函数的选择尤其重要。由于普通核函数各有其利弊，为了得到学习能力和泛化性能都很强的核函数，文中采用了混合核函数，并将由其构造的支持向量机运用于函数拟合中，且与普通核函数构造的支持向量机的实验结果进行了比较。结果表明其性能明显优于由普通核函数构造的支持向量机。     

基于混合核函数的SVM及其应用

支持向量机可以很好地应用于函数拟合中,其中核函数的选择尤其重要。由于普通核函数各有其利弊,为了得到学习能力和泛化性能都很强的核函数,文中采用了混合核函数,并将由其构造的支持向量机运用于函数拟合中,且与普通核函数构造的支持向量机的实验结果进行了比较。结果表明其性能明显优于由普通核函数构造的支持向量机。     

一种混合核函数SVM建模方法及其应用

为了提高模型的泛化能力和精度,提出了一种基于混合核函数的支持向量机(SVM)建模方法.所提出的混合核函数由径向基函数和多项式函数加权组合而成,克服了支持向量机模型中单个核函数的局限性.并利用量子粒子群算法(QPSO)对惩罚系数、核参数以及混合权重系数进行综合寻优,求取最优化参数组合,从而提高模型的精度.采用锌湿法冶炼净化过程现场数据对建模的方法进行了测试,结果表明,所提出的混合核函数支持向量机模型具有较好的泛化性能和预测精度,预测结果满足现场工艺生产的要求.     

基于样本分布特征的核函数选择方法研究

核函数选择是支持向量机研究的热点和难点。目前大多数核函数选择方法主要应用验证方法选择,很少考虑数据的分布特征,没有充分利用隐含在数据中的信息。为此提出了一种应用样本分布特征的核函数选择方法,即先行分析样本分布特征,然后结合核函数蕴含的几何度量选择合适的核函数,使非线性样本映射得到的特征空间线性可分性得到提高,增强可分性和预测能力。仿真结果证明,提出的方法对支持向量机核函数选择能提供有效的指导,且对泛化能力也得到提高,方案具有可行性和有效性。     

核函数的度量研究进展

核函数的度量(简称核度量)研究两个核函数(或一个核函数与另一个目标函数)之间相似性的度量方法,是核函数研究中的一个重要课题。系统综述了核度量的研究状况以及目前的研究进展,分析了典型核度量方法的特点及不足,并凝炼了其进一步研究的方向。     

基于核函数的入侵检测方法研究*

基于SVDD算法（一种改进的one-class支持向量机算法）提出了一种能够处理无类标非纯净训练集的异常检测方法,可以在无类标非纯净训练集上进行模型训练,在很大程度上降低了对训练数据集的要求。另外针对异构数据集,构造了一种新的基于距离的核函数,使得SVDD算法具有处理异构数据集的能力,使之能应用于入侵检测中。通过在KDD CUP’99的标准入侵检测数据集上进行实验,证明了该方法的有效性和实用性。     

一种确定高斯核模型参数的新方法

支持向量机中核函数及其参数的选择非常重要,该文提出了一种利用支持向量之间的距离求取高斯核函数参数的有效方法。该方法充分利用了支持向量机方法的最优判别函数仅仅与支持向量有关,并且支持向量为高斯核中心的特点。实验结果表明,该方法较好地反映了图像特征的本质,解决了高斯核函数参数在实际使用中不易确定的问题。     

一种新的支持向量回归核函数构建方法

首先，讨论了支持向量回归（support vector regression，SVR）的基本原理．然后，从信息几何的角度分析了核函数的几何结构，通过共形变换（conformal transformation）构建与数据依赖(data-dependent)的核函数，使得特征空间在支持向量附近的体积元缩小，以改善SVR的机器性能．实验结果表明了方法的有效性．     

基于尺度核函数的最小二乘支持向量机

支持向量机的核函数一直是影响其学习效果的重要因素.本文基于小波分解理论和支持向量机核函数的条件,提出一种多维允许支持向量尺度核函数.该核函数不仅具有平移正交性,且可以以其正交性逼近二次可积空间上的任意曲线,从而提升支持向量机的泛化性能.在尺度函数作为支持向量核函数的基础之上,提出基于尺度核函数的最小二乘支持向量机(LS-SSVM).实验结果表明,LS-SSVM在同等条件下比传统支持向量机的学习精度更高,因而更适用于复杂函数的学习问题.     

基于核方法的XML文档自动分类

支持向量机(SVM)方法通过核函数进行空间映射并构造最优分类超平面解决分类器的构造问题,该方法在文本自动分类应用中具有明显优势.XML 文档是文本内容信息与结构信息的综合体,作为一种新的数据形式,成为当前的研究热点.文中以结构链接向量模型为基础,研究了基于支持向量机的XML文档自动分类方法,提出了适合XML文档分类的核...     

核子类凸包样本选择方法及其SVM应用

提出一种基于核函数方法的类内训练样本选择方法——核子类凸包样本选择法,并将其用于支持向量机。该样本选择方法通过迭代方法,逐一选择了那些经映射后“距离已选样本”,并将其映射、生成“凸包最远的样本”。实验结果表明,该方法选择的少量样本使支持向量机获得了较高的识别比率,减少了存储需求,提高了分类速度。     

Large Scale Kernel Regression via Linear Programming

The problem of tolerant data fitting by a nonlinear surface, induced by a kernel-based support vector machine is formulated as a linear program with fewer number of variables than that of other linear programming formulations. A generalization of the linear programming chunking algorithm for arbitrary kernels is implemented for solving problems with very large datasets wherein chunking is performed on both data points and problem variables. The proposed approach tolerates a small error, which is adjusted parametrically, while fitting the given data. This leads to improved fitting of noisy data (over ordinary least error solutions) as demonstrated computationally. Comparative numerical results indicate an average time reduction as high as 26.0% over other formulations, with a maximal time reduction of 79.7%. Additionally, linear programs with as many as 16,000 data points and more than a billion nonzero matrix elements are solved.     

基于核函数的支持向量机分类方法

支持向量机是目前正在兴起的一种新的数据挖掘分类方法,阐述了支持向量机的理论基础及核函数,阐明了支持向量机分类的基本思想,分析了支持向量机的优缺点,对支持向量机在海量数据分类中的应用前景进行了展望。     

基于核方法的一种新的模糊支持向量机

由于支持向量机对样本中的噪声及孤立点非常敏感,因而在解决非线性、高维数、不确定问题时,使用模糊支持向量机比使用支持向量机的效果要好。在模糊支持向量机中,模糊隶属度函数的建立是关键也是难点。一般,模糊隶属度是在原始空间中根据样本点的相互距离及到类中心的距离创建的。考虑样本间的密切度,在特征空间中利用混合核函数建立一种新的模糊隶属度。通过试验比较多项式核函数、高斯径向基核函数与混合核函数,可看出新方法表现出了它的优越性。     

基于核Fisher判别分析的意识任务识别新方法

提出一种新的基于核Fisher判别分析的意识任务识别新方法。该方法首先通过核函数建立一个非线性映射,把原空间的样本点投影到一个高维特征空间,然后在特征空间应用线性Fisher判别。利用不同意识任务生成的脑电数据对KFDA和FDA进行比较,最后用线性支持向量机进行分类和识别,并与非线性支持向量机进行了比较,结果表明KFDA的识别率明显优于后二者。     

A Meta-Learning Method to Select the Kernel Width in Support Vector Regression

The Support Vector Machine algorithm is sensitive to the choice of parameter settings. If these are not set correctly, the algorithm may have a substandard performance. Suggesting a good setting is thus an important problem. We propose a meta-learning methodology for this purpose and exploit information about the past performance of different settings. The methodology is applied to set the width of the Gaussian kernel. We carry out an extensive empirical evaluation, including comparisons with other methods (fixed default ranking; selection based on cross-validation and a heuristic method commonly used to set the width of the SVM kernel). We show that our methodology can select settings with low error while providing significant savings in time. Further work should be carried out to see how the methodology could be adapted to different parameter setting tasks.Supplementary material to this paper is available in electronic form at http://dx.doi.org/10.1023/B:MACH.0000015879.28004.9b     

一类新的支撑矢量机核

提出了一类新的支撑矢量机核函数--坐标变换核.该类核函数是同维映射.理论证明和计算机仿真实验都表明了该类核的正确性和有效性.