基于核函数的稀疏属性选择算法

鉴于传统属性选择算法无法捕捉属性之间的关系的问题,文中提出了一种非线性属性选择方法。该方法通过引入核函数,将原始数据集投影到高维的核空间,因在核空间内进行运算,进而可以考虑到数据属性之间的关系。由于核函数自身的优越性,即使数据通过高斯核投影到无穷维的空间中,计算复杂度亦可以控制得较小。在正则化因子的限制上,使用两种范数进行双重约束,不仅提高了算法的准确率,而且使得算法实验结果的方差仅为0.74,远小于其他同类对比算法,且算法更加稳定。在8个常用的数据集上将所提算法与6个同类算法进行比较,并用SVM分类器来测试分类准确率,最终该算法得到最少1.84%,最高3.27%,平均2.75%的提升。     

基于核稀疏表示的属性选择算法

为解决高维数据在分类时造成的“维数灾难”问题,提出一种新的将核函数与稀疏学习相结合的属性选择算法。具体地,首先将每一维属性利用核函数映射到核空间,在此高维核空间上执行线性属性选择,从而实现低维空间上的非线性属性选择;其次,对映射到核空间上的属性进行稀疏重构,得到原始数据集的一种稀疏表达方式;接着利用L 1范数构建属性评分选择机制,选出最优属性子集;最后,将属性选择后的数据用于分类实验。在公开数据集上的实验结果表明,该算法能够较好地实现属性选择,与对比算法相比分类准确率提高了约3%。     

基于相似度量的核主成分序列极小化方法

研究优化主成份序列分类精度,针对支持向量机在小样本情况下泛化能力差的问题,为提高训练的准确率,提出了一种基于相似度量的核主成分序列极小化方法,方法在进行核主成分分析时,使用混合核函数,权值和形式参数是通过遗传算法,以矩阵相似性度量作为适应度,优化求得的,得到最有利于分类的核主成分空间.使用序列极小化方法对主成分做进一步的选择,降低输入空间的维数,同时由于是线性的支持向量机,不会增加学习机的VC维,从而提高了小样本情况下分类的准确率.通过实验证明改进方法是有效的.     

基于核函数的SOM网络流量分类方法

由于网络流量数据高度非线性,传统的自组织映射(self-organizing maps,SOM)网络对此分类的鲁棒性和可靠性较差,提出了一种基于核函数的SOM(kernel SOM,KSOM)网络流量分类方法。该方法用核函数代替原始数据在特征空间中映射值的内积,使输入空间中复杂的流量样本结构在特征空间中得到简化,实现对有多个统计特征属性的网络流量在应用层的分类。实验结果表明,KSOM能识别新应用类型的流量,较传统的SOM更适合对网络流量进行分类,其分类准确率高于NB方法。     

基于一种小波核优化学习的KSPP子空间故障特征提取*

针对电子系统故障诊断中有效特征提取困难,核属性约简方法中核函数与核参数选择繁琐等问题,提出了一种基于自优化小波核稀疏保持投影的子空间特征提取方法。通过对核极化准则的改进,使得新准则不仅可以处理多类别信息,而且可以保留同一类别数据间的局部结构特征。以墨西哥帽小波核函数为对象,基于改进的核评估准则构建优化目标函数,并采用粒子群优化算法进行核参数选择。将优化的小波核作为核稀疏保持投影的核函数,最终实现了在核子空间中对有效特征的提取。实验结果表明,相比于其它流形的子空间特征提取方法,提出的方法有效提升了分类精度,具有良好的泛化性能。     

改进KPCA对分类数据的特征提取

提出了对核主成分分析(KPCA)在模式分类中的特征提取的改进方法.KPCA对于模式分类数据,并不是投影后的主成分就是最利于分类的成分,因此把数据降维到一个利于分类的空间,同时别除不利于分类的成分,尽可能保留类别信息,对于各个成分贡献率以及映射空间进行度量,依据各成分对于模式分类的贡献选择最优成分,且根据Fisher准则选择利于分类的空间,即确定类别信息量较大的成分以及KPCA的核参数.     

基于核函数的PCA-L1算法

主成分分析方法由于使用了L2范数,因此对异常值较敏感。针对该问题,提出一种基于核函数的L1范数主成分分析方法。运用核函数将原始数据映射到核空间中得到核矩阵,再利用L1范数使距离函数达到最小。实验结果表明,该算法具有旋转不变性,对异常值和非线性问题具有稳定性,且正确识别率较高。     

基于核方法的Web挖掘研究

基于词空间的分类方法很难处理文本的高维特性和捕获文本语义概念．利用核主成分分析和支持向量机。提出一种通过约简文本数据维数抽取语义概念、基于语义概念进行文本分类的新方法．首先将文档映射到高维线性特征空间消除非线性特征，然后在映射空间中通过主成分分析消除变量之间的相关性，实现降维和语义概念抽取，得到文档的语义概念空间，最后在语义概念空间中采用支持向量机进行分类．通过新定义的核函数，不必显式实现到语义概念空间的映射，可在原始文档向量空间中直接实现基于语义概念的分类．利用核化的GHA方法自适应迭代求解核矩阵的特征向量和特征值，适于求解大规模的文本分类问题．试验结果表明该方法对于改进文本分类的性能具有较好的效果．     

一种基于各向异性高斯核核惩罚的PCA特征提取算法

提出了一种基于各向异性高斯核核惩罚的主成分分析的特征提取算法.该算法不同于传统的核主成分分析算法.在非线性数据降维中,传统的核主成分分析算法忽略了原始数据的无量纲化.此外,传统的核函数在各维度上主要由一个相同的核宽参数控制,该方法无法准确反映各维度不同特征的重要性,从而导致降维过程中准确率低下.为了解决上述问题,首先针对现原始数据的无量纲化问题,提出了一种均值化算法,使得原始数据的总方差贡献率有明显的提高.其次,引入了各向异性高斯核函数,该核函数每个维度拥有不同的核宽参数,各核宽参数能够准确地反映所在维度数据特征的重要性.再次,基于各向异性高斯核函数建立了核主成分分析的特征惩罚目标函数,以便用较少的特征表示原始数据,并反映每个主成分信息的重要性.最后,为了寻求最佳特征,引入梯度下降算法来更新特征惩罚目标函数中的核宽度和控制特征提取算法的迭代过程.为了验证所提出算法的有效性,各算法在UCI公开数据集上和KDDCUP99数据集上进行了比较.实验结果表明,所提基于各向异性高斯核核惩罚的主成分分析的特征提取算法比传统的主成分分析算法在9种公开的UCI公开数据集上准确率平均提高了4.49%.在KDDCUP99数据集上,所提基于各向异性高斯核核惩罚的主成分分析的特征提取算法比传统的主成分分析算法准确率提高了8%.     

证据理论与熵值融合的知识约简新方法

求解决策表的最小约简已被证明是NP-hard问题,在粗糙集和证据理论的基础上提出了一种知识约简的启发式算法。利用粗糙集等价划分的概念给出属性的信息熵,定义每个属性的熵值重要性并由此确定知识的核。引入二分mass函数对每个属性建立一个证据函数,证据融合得到每个属性的证据重要性。以核为起点,以证据重要性为启发,依次加入属性直至满足约简条件。实例表明,该方法能够快速找到核和相对约简,并且该约简运用到分类上正确率也是较高的。     

基于再生核Hilbert空间的非线性信道均衡算法

在高速无线通信领域,为消除码间干扰（ISI）必须研究非线性信道均衡技术。基于再生核希尔伯特空间（RKHS）研究非线性信道的自适应均衡算法。首先基于非线性维纳模型提出均衡器的结构,基于RKHS引入核方法,与仿射投影算法（APA）相结合推导出核仿射投影算法（KAPA）,再通过引入松弛因子得到改进的KAPA算法。用蒙特卡罗法对提出的自适应算法进行仿真,从收敛性能、误码率（BER）、跟踪能力、计算复杂度等方面与其他算法做比较。在不增加计算复杂度的情况下,极大降低了误码率,非常适合时变非线性信道均衡的应用。     

基于对称正定流形潜在稀疏表示分类算法

使用对称正定(symmetricpositivedefinite,简称SPD)矩阵将视觉数据建模到黎曼流形(SPD流形),对于模式识别和机器学习中许多任务有较好的效果.其中,将基于稀疏表示的分类算法扩展到SPD流形上样本的分类任务得到了广泛的关注.本文综合考虑了稀疏表示分类算法的特点以及SPD流形的黎曼几何结构,通过核函数将SPD流形嵌入到再生核希尔伯特空间(reproducingkernelHilbertspace,简称RKHS),分别提出了核空间潜在稀疏表示模型和潜在分类方法.但是,原始的视觉数据在核空间中没有明确的表示形式,这给核空间中的潜在字典更新带来了不便.Nystr?m是一种可以近似表征核特征的方法.因此,我们利用该方法得到训练样本在RKHS中的近似表示,以更新潜在字典和潜在矩阵.最后,通过在5个标准数据集上的分类实验,验证了该方法的有效性.     

多核支持向量数据描述分类方法研究

核函数、惩罚因子、核参数是影响支持向量数据描述（SVDD）分类方法分类效果的重要因素。研究了多核支持向量数据描述（MKSVDD）分类方法,给出了多核支持向量数据描述分类方法的实现步骤,基于banana数据集分析了惩罚因子和核参数对分类效果的影响,重点讨论了多核函数的权值对支持向量数据描述边界分布的影响。仿真实验结果表明,与单核支持向量数据描述分类方法相比较,多核支持向量数据描述分类方法的分类效果更佳,为实际应用时参数的选择提供了参考。     

基于中心核对齐的多核单类支持向量机

多核学习(MKL)方法在分类及回归任务中均取得了优于单核学习方法的性能,但传统的MKL方法均用于处理两类或多类分类问题.为了使MKL方法适用于处理单类分类(OCC)问题,提出了基于中心核对齐(CKA)的单类支持向量机(OCSVM).首先利用CKA计算每个核矩阵的权重,然后将所得权重用作线性组合系数,进而将不同类型的核函...     

基于核熵成分分析的数据降维?

针对高维数据的维灾问题,采用核熵成分分析方法降维数据,并与主成分分析及核主成分分析方法进行对比。降维后的数据利用支持向量机算法进行分类,以验证算法有效性。实验结果表明,KECA在较低的维数时仍然能获得较好的分类精度,可以减少后续的处理复杂度和运行时间,适用于机器学习、模式识别等领域。     

Online identification of nonlinear system using reduced kernel principal component analysis

The Principal Component Analysis (PCA) is a powerful technique for extracting structure from possibly high-dimensional data sets. It is readily performed by solving an eigenvalue problem, or by using iterative algorithms that estimate principal components. This paper proposes a new method for online identification of a nonlinear system modelled on Reproducing Kernel Hilbert Space (RKHS). Therefore, the PCA technique is tuned twice, first we exploit the Kernel PCA (KPCA) which is a nonlinear extension of the PCA to RKHS as it transforms the input data by a nonlinear mapping into a high-dimensional feature space to which the PCA is performed. Second, we use the Reduced Kernel Principal Component Analysis (RKPCA) to update the principal components that represent the observations selected by the KPCA method.     

基于双隐层极限学习机的模糊XML文档分类

随着大数据时代的到来,对异构和分布式的模糊XML数据管理显得越来越重要。在模糊XML数据的管理中,模糊XML文档的分类是关键问题。针对模糊XML文档的分类,提出采用双隐层极限学习机模型来实现模糊XML文档自动分类。这个模型可以分为两个部分：第一层采用极限学习机提取模糊XML文档的相应特征,第二层利用核极限学习机根据这些特征进行最终的模糊XML文档分类。通过实验验证了所提方法的性能优势。首先对主要的调节参数包括隐藏层节点的数目[L],常量[C]和核参数[γ]进行了研究,接下来的对比实验说明提出的基于双隐层ELM（Extreme Learning Machine）的方法相较于传统单隐层ELM以及SVM（Support Vector Machine）方法,分类精度得到较大提高,训练时间进一步缩减。     

Dimensionality reduction by Mixed Kernel Canonical Correlation Analysis

In this paper, we propose a novel method named Mixed Kernel CCA (MKCCA) to achieve easy yet accurate implementation of dimensionality reduction. MKCCA consists of two major steps. First, the high dimensional data space is mapped into the reproducing kernel Hilbert space (RKHS) rather than the Hilbert space, with a mixture of kernels, i.e. a linear combination between a local kernel and a global kernel. Meanwhile, a uniform design for experiments with mixtures is also introduced for model selection. Second, in the new RKHS, Kernel CCA is further improved by performing Principal Component Analysis (PCA) followed by CCA for effective dimensionality reduction. We prove that MKCCA can actually be decomposed into two separate components, i.e. PCA and CCA, which can be used to better remove noises and tackle the issue of trivial learning existing in CCA or traditional Kernel CCA. After this, the proposed MKCCA can be implemented in multiple types of learning, such as multi-view learning, supervised learning, semi-supervised learning, and transfer learning, with the reduced data. We show its superiority over existing methods in different types of learning by extensive experimental results.     

深度卷积神经网络在心音分类方法中的应用

通过分析心音信号对心脏早期的病理状态进行确诊具有重要的意义。提出了一种基于深度卷积神经网络的心音分类方法。将心音信号转化成具有时频特性的梅尔频谱系数（Mel Frequency Spectral Coefficient,MFSC）特征图,将其作为深度卷积神经网络模型的输入;利用深度卷积神经网络对MFSC特征图进行训练,引入中心损失函数建立最优的深度学习模型;测试阶段,先将心音信号转换成多张二维MFSC特征图,然后利用训练好的深度学习模型对其分类,最后利用多数表决原则判断心音信号的类别。针对人工标注的训练样本有限,导致模型训练正确率不高的问题,以心音的二维MFSC特征图为对象分别从时间域和频率域进行随机屏蔽处理进而扩充训练样本。实验结果表明,该方法在PASCAL心音数据集上进行测试,对正常、杂音、早搏三种心音的分类性能明显优于现有最好的方法。     

基于KPCA光谱特征约束的水边线提取算法

为充分利用遥感影像的多波段光谱特征,提高水边线的提取精度,提出了基于核主元分析（KPCA）光谱特征约束的水边线提取模型。利用KPCA变换提取水体样本的光谱特征,采用最大似然法估计特征空间中水体光谱特征概率密度函数的特征参数,进而构建水体的光谱特征项。以测地线活动轮廓（GAC）模型为基础,建立图像数据项。结合光谱特征项和图像数据项建立水边线提取模型。在Landsat TM数据集上进行的水边线提取实验验证了算法的有效性,与GAC模型和基于距离正则化的水平集方法（DRLSE）相比较,该算法提取的水边线,在保证一定运行速度的情况下,更准确。