基于统计检验的核函数度量方法研究

将统计检验方法应用于核函数度量.以核函数、规范化核函数、中心化核函数和核距离作为样本在特征空间中的几何关系度量,使用t检验和F检验等7种统计检验方法检验特征空间中同类样本间几何关系度量值与异类样本间几何关系度量值的分布差异,以此反映特征空间中同类样本间内聚性与异类样本间分离性间的差异.在11个UCI数据集上进行的核函数选择实验表明,基于统计检验的核度量方法达到或超过了核校准与特征空间核度量标准等方法的效果,适用于核函数度量;并且发现两类数据分布差异主要体现在了方差差异上.此外,对核函数的处理(规范化或中心化)会改变特征空间,使得度量结果失真.     

一种基于核距离的核函数度量方法

核方法的效果依赖于所使用的核,因此核的选择和其参数的确定是至关重要的。从特定的数据中学习核需要核度量方法评价核的质量。核排列度量核与学习任务的一致性,因为它具有高效性和有效性,是目前应用最为广泛的核度量方法。然而,有研究表明,核排列仅是最优核函数的充分非必要条件。其主要原因是核排列在特征空间中不具有线性变换不变性。提出了一种新的核度量方法用于核选择,称其为核距离排列。该方法能够克服核排列的局限性,并且同样具有高效性和简单的形式。对比实验表明,该方法能够有效地对核进行度量。     

基于样本分布特征的核函数选择方法研究

核函数选择是支持向量机研究的热点和难点。目前大多数核函数选择方法主要应用验证方法选择,很少考虑数据的分布特征,没有充分利用隐含在数据中的信息。为此提出了一种应用样本分布特征的核函数选择方法,即先行分析样本分布特征,然后结合核函数蕴含的几何度量选择合适的核函数,使非线性样本映射得到的特征空间线性可分性得到提高,增强可分性和预测能力。仿真结果证明,提出的方法对支持向量机核函数选择能提供有效的指导,且对泛化能力也得到提高,方案具有可行性和有效性。     

类属型数据核子空间聚类算法

现有的类属型数据子空间聚类方法大多基于特征间相互独立假设,未考虑属性间存在的线性或非线性相关性.提出一种类属型数据核子空间聚类方法.首先引入原作用于连续型数据的核函数将类属型数据投影到核空间,定义了核空间中特征加权的类属型数据相似性度量.其次,基于该度量推导了类属型数据核子空间聚类目标函数,并提出一种高效求解该目标函数的优化方法.最后,定义了一种类属型数据核子空间聚类算法.该算法不仅在非线性空间中考虑了属性间的关系,而且在聚类过程中赋予每个属性衡量其与簇类相关程度的特征权重,实现了类属型属性的嵌入式特征选择.还定义了一个聚类有效性指标,以评价类属型数据聚类结果的质量.在合成数据和实际数据集上的实验结果表明,与现有子空间聚类算法相比,核子空间聚类算法可以发掘类属型属性间的非线性关系,并有效提高了聚类结果的质量.     

软件可靠性预测中不同核函数的预测能力评估

基于核函数回归估计理论的软件可靠性预测建模引起诸多研究者的兴趣.此类研究中,核函数选择问题尤为重要.然而目前还很少有针对所给软件失效数据进行核函数选择或者构建核函数的工作.在14个常用软件失效数据集上应用配对t-检验对基于核函数理论的软件可靠性预测模型中核函数选择问题进行研究.使用的核函数回归估计方法包括核主成分回归算法、核偏最小二乘回归算法、支持向量回归算法、相关向量回归算法;核函数包括高斯核函数、线性核函数、多项式核函数、柯西核函数、拉普拉斯核函数、对称三角核函数、双曲正割核函数、平方正弦基核函数.实验结果表明:不同类型的核函数在不同数据集上表现差异较大,高斯核函数在所有数据集上表现较为稳定,预测结果最好.     

基于成对约束半监督学习的数据相关核优化方法

核函数及其参数的选择决定着核方法的性能。本文基于半监督学习思想,通过构建一个目标函数,利用无标签数据和成对约束信息来优化核函数,使得核函数尽可能适应数据集,从而改善核函数性能。为验证方法的有效性,将其应用于核主成分分析(KPCA)的核函数优化中,在人工数据和UCI数据集上对KPCA提取特征的分类和聚类性能进行评估,实验结果说明提出方法改进了分类和聚类性能。     

基于数据依赖核函数的核优化算法

为了克服核学习中核函数及参数选择问题并提升算法性能,文中提出一种基于数据依赖核函数的核优化算法,用最大间隔准则建立最优目标函数求解数据依赖核的最优参数。实验表明文中算法可有效提高核学习机的性能。     

不同来路海洛因近红外光谱的支持向量机模式识别

应用支持向量分类方法,将云南省9个地区缴获的1148个海洛因样品,用近红外漫反射光谱在4 000 cm-1～10 000 cm-1范围内吸收系数数据集合,构建判别毒品来路的分类器.光谱数据选取了指纹波数区段5 990 cm-1～7 500 cm-1,以及最大和较大吸收系数的41个波数的光谱数据.针对一对一算法的五分类问题,采用两种分类法C.SVC和v-SVC,4种核函数,分别以默认参数和优化参数,得训练集模型有效率和检验集的预报总精度.比较各种模型后,确定了152个指纹区波数,线性核函数的L-152 C-SVC作为分类器模型.该模型对已知分类的5个地区随机选取的训练集样本,在10-交叉检验下的有效率是90.74%,对不包含洲练集的其余全部已知样品,其预报总精度是88.71%.5地庆分类统计计算的敏感性、特异性、相关系数的评价都较好.最后,又试用该分类器于未知地毒品的来路辨认.与报道的模式识别比较,工作没有止于训练集给出模型,检验集判断预报效果的已知样品,又走出了重要一步,即识别训练集和检验集之外的未知样品.     

多标记数据特征提取方法的核改进

针对多标记数据特征提取方法中输出核函数没有准确刻画标记间的相关性的问题,在充分度量标记间相关性的基础上,提出了两种新的输出核函数构造方法。第一种方法首先将多标记数据转化为单标记数据,并使用标记集合来刻画标记间的相关性;然后从损失函数的角度出发定义新的输出核函数。第二种方法是利用互信息来度量标记间的两两相关性,在此基础上进一步构造新的输出核函数。3个多标记数据集上2种分类器的实验结果表明,与原有核函数对应的多标记特征提取方法相比,基于损失函数的输出核函数对应的特征提取方法性能最好,5个评价指标的性能平均提高了10%左右, 尤其在Yeast数据集上,Coverage指标下降幅度达到了30%左右;基于互信息的输出核函数次之,性能平均提高了5%左右。实验结果表明,基于新的输出核函数的特征提取方法能够更加有效地提取特征,并进一步简化分类器的学习过程,提高分类器的泛化性能。     

超核函数支持向量机

支持向量机是当前机器学习、模式识别和数据挖掘等领域的重要学习方法,核函数的构造是研究和应用支持向量机的关键问题.针对这一问题,提出了核函数构造的组合理论,定义了超核函数概念,并通过多项式组合现有核函数构造出一类超核函数.具体地,首先分析了一般核函数存在的过学习和欠学习现象,然后证明了组合理论构造的核函数的Mercer性质,并通过在仿真数据集和标准数据集上的对比实验,验证了超核函数的性能.理论分析和实验结果阐明了所提出的超核函数组合构造理论的合理性和有效性,开拓了模型选择组合方法的研究途径.     

核函数的选择研究综述

核方法是解决非线性模式分析问题的一种有效方法,是当前机器学习领域的一个研究热点.核函数是影响核方法性能的关键因素,以支持向量机作为核函数的载体,从核函数的构造、核函数中参数的选择、多核学习3个角度对核函数的选择的研究现状及其进展情况进行了系统地概述,并指出根据特定应用领域选择核函数、设计有效的核函数度量标准和拓宽核函数选择的研究范围是其中3个值得进一步研究的方向.     

Multiple kernel learning with gaussianity measures

Kernel methods are known to be effective for nonlinear multivariate analysis. One of the main issues in the practical use of kernel methods is the selection of kernel. There have been a lot of studies on kernel selection and kernel learning. Multiple kernel learning (MKL) is one of the promising kernel optimization approaches. Kernel methods are applied to various classifiers including Fisher discriminant analysis (FDA). FDA gives the Bayes optimal classification axis if the data distribution of each class in the feature space is a gaussian with a shared covariance structure. Based on this fact, an MKL framework based on the notion of gaussianity is proposed. As a concrete implementation, an empirical characteristic function is adopted to measure gaussianity in the feature space associated with a convex combination of kernel functions, and two MKL algorithms are derived. From experimental results on some data sets, we show that the proposed kernel learning followed by FDA offers strong classification power.     

最大子分类间隔准则的核函数优化

在分析现有基于经验特征空间核函数优化方法局限性的基础上,提出一种基于最大子分类间隔准则的核函数优化方法。该方法首先建立最大子分类间隔准则,然后结合数据在经验特征空间中的特点给出样本数据的类间散布矩阵和类内散布矩阵的表达式,最后利用奇异值分解实现核函数参数的优化选取。本文利用UCI(University of California, Irvine)数据对算法进行仿真实验,仿真结果表明了本文方法的正确性和有效性。     

非线性特征提取和LSSVM在化工过程故障诊断中应用

提出利用非线性特征提取（核主成分分析（KPCA）和核独立成分分析）消除数据的不相关性,降低维数。核主成分分析利用核函数把输入数据映射到特征空间,进行线性主成分分析计算提取特征;核独立成分分析在KPCA白化空间进行线性独立成分分析（ICA）变换提取独立成分。提取的特征作为最小二乘支持向量机分类器的输入,构建融合非线性特征提取和最小二乘支持向量机的智能故障分类方法。研究了该方法应用到某石化企业润滑油生产过程的故障诊断中的有效性和可行性。     

核参数判别选择方法在核主元分析中的应用

针对核主元分析(KPCA)中高斯核参数β的经验选取问题,提出了核主元分析的核参数判别选择方法。依据训练样本的类标签计算类内、类间核窗宽,在以上核窗宽中经判别选择方法确定核参数。根据判别选择核参数所确定的核矩阵,能够准确描述训练空间的结构特征。用主成分分析(PCA)对特征空间进行分解,提取主成分以实现降维和特征提取。判别核窗宽方法在分类密集区域选择较小窗宽,在分类稀疏区域选择较大窗宽。将判别核主成分分析(Dis-KPCA)应用到数据模拟实例和田纳西过程(TEP),通过与KPCA、PCA方法比较,实验结果表明,Dis-KPCA方法有效地对样本数据降维且将三个类别数据100%分开,因此,所提方法的降维精度更高。     

Kernel optimization-based discriminant analysis for face recognition

The selection of kernel function and its parameter influences the performance of kernel learning machine. The difference geometry structure of the empirical feature space is achieved under the different kernel and its parameters. The traditional changing only the kernel parameters method will not change the data distribution in the empirical feature space, which is not feasible to improve the performance of kernel learning. This paper applies kernel optimization to enhance the performance of kernel discriminant analysis and proposes a so-called Kernel Optimization-based Discriminant Analysis (KODA) for face recognition. The procedure of KODA consisted of two steps: optimizing kernel and projecting. KODA automatically adjusts the parameters of kernel according to the input samples and performance on feature extraction is improved for face recognition. Simulations on Yale and ORL face databases are demonstrated the feasibility of enhancing KDA with kernel optimization.     

Face recognition using Gabor-based complete Kernel Fisher Discriminant analysis with fractional power polynomial models

The selection of kernel function and its parameter influences the performance of kernel learning machine. The difference geometry structure of the empirical feature space is achieved under the different kernel and its parameters. The traditional changing only the kernel parameters method will not change the data distribution in the empirical feature space, which is not feasible to improve the performance of kernel learning. This paper applies kernel optimization to enhance the performance of kernel discriminant analysis and proposes a so-called Kernel Optimization-based Discriminant Analysis (KODA) for face recognition. The procedure of KODA consisted of two steps: optimizing kernel and projecting. KODA automatically adjusts the parameters of kernel according to the input samples and performance on feature extraction is improved for face recognition. Simulations on Yale and ORL face databases are demonstrated the feasibility of enhancing KDA with kernel optimization.     

基于样本相似度曲面重构的核函数构造

根据数据特征构造核函数是当前SVM(支持向量机)的难点，文章采用重构数据样本相似度曲面的方法构造三种新的核函数．证明前两种核是Mercer核，并且讨论了三种核的存在性、稳定性和唯一性．指出核函数的本质是表达相似性的工具，核函数与Mercer条件、正定性、对称性互为非充分非必要条件．仿真研究表明，本核函数对学习样本本身的分类是完美的，而且其泛化能力优于传统核函数的SVM．     

一种基于混合核函数的SOM网络流量分类方法

由于传统的自组织映射SOM方法对高维、非线性的网络流量数据的分类性能效果不佳,本文引入核方法,提出一种基于混合核函数的SOM(MIX-KSOM)网络流量分类方法。该方法结合了全局性和局部性核函数的优点,采用径向基函数和多项式函数线性组合构成的混合核函数代替内积作为距离度量,使输入空间中复杂的流量样本在特征空间得以简化。实验结果表明,采用MIX-KSOM方法能较好地对网络流量进行分类,较传统的SOM、采用单一核函数的SOM(KSOM)分类方法性能更好,分类准确率也高于NB方法。