基于统计检验的核函数度量方法研究

将统计检验方法应用于核函数度量.以核函数、规范化核函数、中心化核函数和核距离作为样本在特征空间中的几何关系度量,使用t检验和F检验等7种统计检验方法检验特征空间中同类样本间几何关系度量值与异类样本间几何关系度量值的分布差异,以此反映特征空间中同类样本间内聚性与异类样本间分离性间的差异.在11个UCI数据集上进行的核函数选择实验表明,基于统计检验的核度量方法达到或超过了核校准与特征空间核度量标准等方法的效果,适用于核函数度量;并且发现两类数据分布差异主要体现在了方差差异上.此外,对核函数的处理(规范化或中心化)会改变特征空间,使得度量结果失真.     

核函数的选择研究综述

核方法是解决非线性模式分析问题的一种有效方法,是当前机器学习领域的一个研究热点.核函数是影响核方法性能的关键因素,以支持向量机作为核函数的载体,从核函数的构造、核函数中参数的选择、多核学习3个角度对核函数的选择的研究现状及其进展情况进行了系统地概述,并指出根据特定应用领域选择核函数、设计有效的核函数度量标准和拓宽核函数选择的研究范围是其中3个值得进一步研究的方向.     

一种基于核距离的核函数度量方法

核方法的效果依赖于所使用的核,因此核的选择和其参数的确定是至关重要的。从特定的数据中学习核需要核度量方法评价核的质量。核排列度量核与学习任务的一致性,因为它具有高效性和有效性,是目前应用最为广泛的核度量方法。然而,有研究表明,核排列仅是最优核函数的充分非必要条件。其主要原因是核排列在特征空间中不具有线性变换不变性。提出了一种新的核度量方法用于核选择,称其为核距离排列。该方法能够克服核排列的局限性,并且同样具有高效性和简单的形式。对比实验表明,该方法能够有效地对核进行度量。     

普适性核度量标准比较研究

核方法是一类应用较为广泛的机器学习算法,已被应用于分类、聚类、回归和特征选择等方面.核函数的选择与参数优化一直是影响核方法效果的核心问题,从而推动了核度量标准,特别是普适性核度量标准的研究.对应用最为广泛的5种普适性核度量标准进行了分析与比较研究,包括KTA,EKTA,CKTA,FSM和KCSM.发现上述5种普适性度量标准的度量内容为特征空间中线性假设的平均间隔,与支持向量机最大化最小间隔的优化标准存在偏差.然后,使用模拟数据分析了上述标准的类别分布敏感性、线性平移敏感性、异方差数据敏感性,发现上述标准仅是核度量的充分非必要条件,好的核函数可能获得较低的度量值.最后,在9个UCI数据集和20Newsgroups数据集上比较了上述标准的度量效果,发现CKTA是度量效果最好的普适性核度量标准.     

应用于垃圾邮件过滤的词序列核

针对支持向量机(SVM)中常用核函数由于忽略文本结构而导致大量语义信息丢失的现象,提出一种类别相关度量的词序列核(WSK),并将其应用于垃圾邮件过滤。首先提取邮件文本特征并计算特征的类别相关度量,然后利用词序列核作为核函数训练支持向量机,训练过程中利用类别相关度量计算词的衰减系数,最后对邮件进行分类。实验结果表明,与常用核函数和字符串核相比,改进的词序列核分类准确率更高,提高了垃圾邮件过滤的准确率。     

一种基于混合核函数的SOM网络流量分类方法

由于传统的自组织映射SOM方法对高维、非线性的网络流量数据的分类性能效果不佳,本文引入核方法,提出一种基于混合核函数的SOM(MIX-KSOM)网络流量分类方法。该方法结合了全局性和局部性核函数的优点,采用径向基函数和多项式函数线性组合构成的混合核函数代替内积作为距离度量,使输入空间中复杂的流量样本在特征空间得以简化。实验结果表明,采用MIX-KSOM方法能较好地对网络流量进行分类,较传统的SOM、采用单一核函数的SOM(KSOM)分类方法性能更好,分类准确率也高于NB方法。     

支持向量机核函数选择研究与仿真

支持向量机是一种基于核的学习方法,核函数选取对支持向量机性能有着重要的影响,如何有效地进行核函数选择是支持向量机研究领域的一个重要问题。目前大多数核选择方法不考虑数据的分布特征,没有充分利用隐含在数据中的先验信息。为此,引入能量熵概念,借助超球体描述和核函数蕴藏的度量特征,提出一种基于样本分布能量熵的支持向量机核函数选择方法,以提高SVM学习能力和泛化能力。数值实例仿真验证表明了该方法的可行性和有效性。     

基于样本分布特征的核函数选择方法研究

核函数选择是支持向量机研究的热点和难点。目前大多数核函数选择方法主要应用验证方法选择,很少考虑数据的分布特征,没有充分利用隐含在数据中的信息。为此提出了一种应用样本分布特征的核函数选择方法,即先行分析样本分布特征,然后结合核函数蕴含的几何度量选择合适的核函数,使非线性样本映射得到的特征空间线性可分性得到提高,增强可分性和预测能力。仿真结果证明,提出的方法对支持向量机核函数选择能提供有效的指导,且对泛化能力也得到提高,方案具有可行性和有效性。     

不定核大间隔聚类算法

受限于传统统计学习理论,大多数核方法都要求核矩阵半正定,但是在很多实际问题中这样的要求常常很难满足,由此产生了不定核。近年来,研究者们提出了一系列基于不定核的分类方法,取得了很好的性能,但是关于不定核聚类方法的研究相对较少,而且现有的核聚类算法基本上都是基于正定核而设计的,无法或者很难处理核矩阵不定的情况。针对此问题,以大间隔聚类(maximum margin clustering,MMC)模型为基础,提出了一种新的不定核大间隔聚类(indefinite kernel maximum margin clustering,IKMMC)算法。IKMMC算法旨在寻求一个正定核以逼近不定核,并将度量两者差异性的F-范数作为一个正则化项嵌入到MMC框架中。首先给定样本初始标记,然后迭代优化目标函数,并将每步迭代得到的样本预测错误率作为迭代终止条件。在每步迭代时,IKMMC算法进一步将目标函数转化为半无限规划(semi-infinite program,SIP)形式,并动态调整约束集进行交替优化。实验验证了IKMMC算法的有效性。     

半监督图核降维方法

基于图结构的数据表示和分析,在机器学习领域正得到越来越广泛的关注。以往研究主要集中在为图数据定义一个度量其相似性关系的核函数即图核,一旦定义出图核,就可以用标准的支持向量机(SVM)来对图数据进行分类。将图核方法进行扩充,先利用核主成分分析(kPCA)对图核诱导的高维特征空间中的数据进行降维,得到与原始图数据相对应的低维向量表示的数据,然后对这些新得到的数据用传统机器学习方法进行分析;通过在kPCA中利用图数据中的成对约束形式的监督信息,得到基于图核的半监督降维方法。在MUTAG和PTC等标准图数据集上的实验结果验证了所提方法的有效性。     

一种支持向量机的混合核函数

核函数是支持向量机的核心,不同的核函数将产生不同的分类效果.由于普通核函数各有其利弊,为了得到学习能力和泛化能力较强的核函数,根据核函数的基本性质,两个核函数之和仍然是核函数,将局部核函数和全局核函数线性组合构成新的核函数--混合核函数.该核函数吸取了局部核函数和全局核函数的优点.利用混合核函数进行流程企业供应链预测实验,仿真结果验证了该核函数的有效性和正确性.     

增量支持向量机核函数的优化

支持向量机的核函数类型分为两类：局部核函数和全局核函数.局部核函数的值只受到相距很近数据点的影响,有很好的学习能力.全局核函数的值会受到距离较远数据点的影响,有很好的推广泛化能力.针对局部核函数学习能力良好但泛化能力差的缺点,提出一种结合局部核函数和全局核函数构造新联合函数的方法.实验结果表明,与局部核函数和全局核函数相比,新联合核函数有更好的预测能力,并且能够适应增量学习的过程.     

一种支持向量机的组合核函数

核函数是支持向量机的核心，不同的核函数将产生不同的分类效果，核函数也是支持向量机理论中比较难理解的一部分。通过引入核函数，支持向量机可以很容易地实现非线性算法。首先探讨了核函数的本质，说明了核函数与所映射空间之间的关系，进一步给出了核函数的构成定理和构成方法，说明了核函数分为局部核函数与全局核函数两大类，并指出了两者的区别和各自的优势。最后，提出了一个新的核函数——组合核函数，并将该核函数应用于支持向量机中，并进行了人脸识别实验，实验结果也验证了该核函数的有效性。     

Supervised pre-clustering for sparse regression

Kernel algorithms for large data-sets are now an active research area motivated by the many real world problems producing very large numbers of data points. However, standard kernel methods scale poorly with the size of the data-set. We propose a mathematically motivated approach to sparse function estimation that utilises the uniform continuity properties of functions in continuous reproducing kernel Hilbert spaces (RKHS) defined on compact domains. Using the uniform continuity properties of the function a similarity measure on data points is defined that allows data to be pre-clustered. Unlike previous methods for sparse function estimation using clustering the proposed approach is supervised and relies on well-defined mathematical concepts. The cluster centres are used to form a sparse RKHS subspace within which the function is estimated. The greedy pre-clustering algorithms and sparse model based on pre-clustering and committee machine techniques are presented. Results are presented to demonstrate the application of the proposed algorithms on function approximation problems.     

基于多核学习的协同滤波算法

协同滤波是当前推荐系统中一种主流的个性化推荐算法,通过近似用户对商品的评价进行推荐。核函数是解决非线性模式问题的一种方法。协同滤波通常会选用不同的核函数来分析用户之间的影响关系。由于单核函数无法适应于复杂多变场景。因此,结合多个核函数成为一种解决方法。多核学习能够针对场景来组合各个核函数以获取更好的结果。本文提出了一种基于多核学习的协同滤波算法。该算法在现有核函数的基础上,优化各个核函数的权重以匹配数据的分布。在大众点评数据集和Foursquare数据集上的实验结果表明：基于多核学习的协同滤波算法比经验给定的相似函数的性能要高,具有更好的普适性。     

基于样本相似度曲面重构的核函数构造

根据数据特征构造核函数是当前SVM(支持向量机)的难点，文章采用重构数据样本相似度曲面的方法构造三种新的核函数．证明前两种核是Mercer核，并且讨论了三种核的存在性、稳定性和唯一性．指出核函数的本质是表达相似性的工具，核函数与Mercer条件、正定性、对称性互为非充分非必要条件．仿真研究表明，本核函数对学习样本本身的分类是完美的，而且其泛化能力优于传统核函数的SVM．     

基于中心核对齐的多核单类支持向量机

多核学习(MKL)方法在分类及回归任务中均取得了优于单核学习方法的性能,但传统的MKL方法均用于处理两类或多类分类问题.为了使MKL方法适用于处理单类分类(OCC)问题,提出了基于中心核对齐(CKA)的单类支持向量机(OCSVM).首先利用CKA计算每个核矩阵的权重,然后将所得权重用作线性组合系数,进而将不同类型的核函...     

基于全局融合的多核概念分解算法

非负矩阵分解（NMF）算法仅能用于对原始非负数据寻找低秩近似，而概念分解（CF）算法将矩阵分解模型扩展到单个非线性核空间，提升了矩阵分解算法的学习能力和普适性。针对无监督环境下概念分解面临的如何设计或选择合适核函数这一问题，提出基于全局融合的多核概念分解（GMKCF）算法。同时输入多种候选核函数，在概念分解框架下基于全局线性权重融合对它们进行学习，以得出质量高稳定性好的聚类结果，并解决概念分解模型面临核函数选择的问题。采用交替迭代的方法对新模型进行求解，证明了算法的收敛性。将该算法与基于核的K-均值（KKM）、谱聚类（SC）、KCF（Kernel Concept Factorization）、Coreg（Co-regularized multi-view spectral clustering）、RMKKM（Robust Multiple KKM）在多个真实数据库上的实验结果表明，该算法在数据聚类方面优于对比算法。