基于核稀疏表示的属性选择算法

为解决高维数据在分类时造成的“维数灾难”问题,提出一种新的将核函数与稀疏学习相结合的属性选择算法。具体地,首先将每一维属性利用核函数映射到核空间,在此高维核空间上执行线性属性选择,从而实现低维空间上的非线性属性选择;其次,对映射到核空间上的属性进行稀疏重构,得到原始数据集的一种稀疏表达方式;接着利用L 1范数构建属性评分选择机制,选出最优属性子集;最后,将属性选择后的数据用于分类实验。在公开数据集上的实验结果表明,该算法能够较好地实现属性选择,与对比算法相比分类准确率提高了约3%。     

低秩约束的非线性属性选择算法

针对高维的数据中往往存在非线性、低秩形式和属性冗余等问题,提出一种基于核函数的属性自表达无监督属性选择算法——低秩约束的非线性属性选择算法（LRNFS）。首先,将每一维的属性映射到高维的核空间上,通过核空间上的线性属性选择去实现低维空间上的非线性属性选择;然后,对自表达形式引入偏差项并对系数矩阵进行低秩与稀疏处理;最后,引入核矩阵的系数向量的稀疏正则化因子来实现属性选择。所提算法中用核矩阵来体现其非线性关系,低秩考虑数据的全局信息进行子空间学习,自表达形式确定属性的重要程度。实验结果表明,相比于基于重新调整的线性平方回归（RLSR）半监督特征选择算法,所提算法进行属性选择之后作分类的准确率提升了2.34%。所提算法解决了数据在低维特征空间上线性不可分的问题,提升了属性选择的准确率。     

一种新的海量数据分类方法

使用支持向量机对非线性可分数据进行分类的基本思想是将样本集映射到一个高维线性空间使其线性可分。文章则基于Jordan曲线定理,提出了一种通用的基于分类超曲面的分类法,它是通过直接构造分类超曲面,根据样本点关于分类曲面的围绕数的奇偶性进行分类的一种新分类判断算法,不需作升维变换,不需要考虑使用何种核函数,而直接地解决非线性分类问题。对数据分类应用的结果说明:基于分类超曲面的分类法可以有效地解决非线性数据的分类问题,并能够提高分类效率和准确度。     

基于光谱空间结合的非负稀疏保持嵌入的谱聚类

为了解决高光谱遥感影像的特征融合问题,针对高光谱数据的维数高、信息量繁杂冗余、非线性而且数据量庞大特点,利用图谱理论非负稀疏保持嵌入的降维方法,提出基于光谱空间结合的非负稀疏保持嵌入的谱聚类进行样本的标记算法,有效地利用空间信息和原有光谱信息,提高分类的精度.该算法在引入非负稀疏表示的同时,利用样本的光谱与空间相关信息构建Laplacian图,嵌入投影到低维的子空间,然后再用经典的K均值聚类算法进行分类.算法能够有效保持样本的几何稀疏结构,而且光谱空间信息的结合使得图像的边界像素点得到了更好的分类.     

基于遗传算法的核函数可调SOM方法

自组织映射(SOM)算法是一种无导师学习方法,当学习样本分布呈多态形式,具有高度非线性时,该算法显示出较差的鲁棒性和可靠性.基于核函数的学习是通过核函数实现一个从低维输入空间到高维特征空间的映射,从而使输入空间中复杂的样本结构在特征空间中变得简单.但是针对不同的数据集,各种核函数的分类效果不同,所以核函数选择是问题依赖的.采用核函数可调的方法,基于SOM网络结构,通过学习,采用遗传算法(GA)调整系数,能得到比单个核函数分类效果更好的结果.     

基于视觉特征低维嵌入的细粒度图像分类

为了减少原图像特征空间中高维数据的冗余,解决细粒度数据分布在特征空间中无法线性可分的问题,提出一种结合视觉特征低维嵌入和非线性映射的细粒度图像分类算法.首先将视觉特征嵌入到低维空间来减少冗余数据对分类造成的干扰,提高分类模型对测试数据的泛化能力;然后通过基于排序的目标函数来训练多个线性分类器,建立类别和低维视觉嵌入之间的非线性关系,有效地区分不同类别的细粒度样本之间的细微差异.实验结果表明,该算法有效地改进了现有的细粒度图像分类方法,显著提高对未知测试样本的分类精度.     

一种新的核化SVM多层分类方法

利用核化思想提出了一种新的SVM多层分类算法。该算法的基本思路是：先利用Mercer核,将输入空间非线性可分的训练样本映射到高维特征空间Hilbert中,使之线性可分,然后采用最小超球体类包含作为层次分类的依据来生成二叉决策树,从而实现在高维空间中的多类分类。实验表明,采用该算法进行多类分类,可以有效地解决输入空间非线性可分问题,并可在一定程度上提高分类器的分类精度。     

基于核字典学习的图像分类

航拍图像往往具有场景复杂、数据维度大的特点,对于该类图像的自动分类一直是研究的热点。针对航拍原始数据特征维度过高和数据线性不可分的问题,在字典学习和稀疏表示的基础上提出了一种结合核字典学习和线性鉴别分析的目标识别方法。首先学习核字典并通过核字典获取目标样本的稀疏表示,挖掘数据的内部结构;其次采用线性鉴别分析,加强稀疏表示的可分性;最后利用支持向量机对目标进行分类。实验结果表明,与传统基于子空间特征提取的算法和基于字典学习的算法相比,基于核字典学习与鉴别分析的算法分类性能优越。     

低秩稀疏图嵌入的半监督特征选择

目的 特征降维是机器学习领域的热点研究问题。现有的低秩稀疏保持投影方法忽略了原始数据空间和降维后的低维空间之间的信息损失,且现有的方法不能有效处理少量有标签数据和大量无标签数据的情况,针对这两个问题,提出基于低秩稀疏图嵌入的半监督特征选择方法（LRSE）。方法 LRSE方法包含两步：第1步是充分利用有标签数据和无标签数据分别学习其低秩稀疏表示,第2步是在目标函数中同时考虑数据降维前后的信息差异和降维过程中的结构信息保持,其中通过最小化信息损失函数使数据中有用的信息尽可能地保留下来,将包含数据全局结构和内部几何结构的低秩稀疏图嵌入在低维空间中使得原始数据空间中的结构信息保留下来,从而能选择出更有判别性的特征。结果 将本文方法在6个公共数据集上进行测试,对降维后的数据采用KNN分类验证本文方法的分类准确率,并与其他现有的降维算法进行实验对比,本文方法分类准确率均有所提高,在其中的5个数据集上本文方法都有最高的分类准确率,其分类准确率分别在Wine数据集上比次高算法鲁棒非监督特征选择算法（RUFS）高11.19%,在Breast数据集上比次高算法RUFS高0.57%,在Orlraws10P数据集上比次高算法多聚类特征选择算法（MCFS）高1%,在Coil20数据集上比次高算法MCFS高1.07%,在数据集Orl64上比次高算法MCFS高2.5%。结论 本文提出的基于低秩稀疏图嵌入的半监督特征选择算法使得降维后的数据能最大限度地保留原始数据包含的信息,且能有效处理少量有标签样本和大量无标签样本的情况。实验结果表明,本文方法比现有算法的分类效果更好,此外,由于本文方法基于所有的特征都在线性流形上的假设,所以本文方法只适用于线性流形上的数据。     

两阶段不定核支持向量机

近年来,在机器学习的各个领域出现了越来越多不定的度量核矩阵,使得不定核支持向量机(IKSVM)得到了广泛关注。但是,现有IKSVM算法通常不能较好地解决高维数据所带来的信息冗余和样本稀疏等问题。针对此研究现状,对现有主流的IKSVM算法进行了研究,并基于再生核Kre?n空间(RKKS)中对IKSVM问题的稳定化定义,从理论上证明了IKSVM问题的本质为不定核主成分分析(IKPCA)降维后空间中的支持向量机(SVM)问题,进一步地提出求解IKSVM问题的新型学习框架TP-IKSVM。TP-IKSVM通过将IKSVM问题的求解拆分为IKPCA和SVM两个阶段,充分地发挥了IKPCA在处理高维数据的信息冗余和样本稀疏等方面的优势,同时结合SVM以有效分类。在真实数据集上的实验结果表明,TP-IKSVM的分类精度优于现有主流的IKSVM算法。     

Dimensionality reduction via kernel sparse representation

Dimensionality reduction (DR) methods based on sparse representation as one of the hottest research topics have achieved remarkable performance in many applications in recent years. However, it’s a challenge for existing sparse representation based methods to solve nonlinear problem due to the limitations of seeking sparse representation of data in the original space. Motivated by kernel tricks, we proposed a new framework called empirical kernel sparse representation (EKSR) to solve nonlinear problem. In this framework, nonlinear separable data are mapped into kernel space in which the nonlinear similarity can be captured, and then the data in kernel space is reconstructed by sparse representation to preserve the sparse structure, which is obtained by minimizing a ?1 regularization-related objective function. EKSR provides new insights into dimensionality reduction and extends two models: 1) empirical kernel sparsity preserving projection (EKSPP), which is a feature extraction method based on sparsity preserving projection (SPP); 2) empirical kernel sparsity score (EKSS), which is a feature selection method based on sparsity score (SS). Both of the two methods can choose neighborhood automatically as the natural discriminative power of sparse representation. Compared with several existing approaches, the proposed framework can reduce computational complexity and be more convenient in practice.     

再生核Hilbert空间中两阶段稀疏表示目标跟踪算法

在强干扰复杂环境下,有效的特征选择对于目标跟踪模型的可解释性至关重要.针对这一问题,本文基于再生核Hilbert空间(RKHS)理论,对特征空间构建生成式的两阶段稀疏表示(TSSR)模型,从而描述图像样本与字典之间的非线性关系,避免了在字典中引入大量的琐碎模板.在第1阶段,首先建立图像样本与字典在原始低维空间中的关系,然后利用批处理最小二乘算法求得稀疏表示系数的初值,根据观测模型确定初始跟踪位置的分布;在第2阶段,首先利用核方法将原始低维空间映射到高维特征空间,然后提出一种基于核的加速近端梯度算法(KAPG),从而求得字典元素系数的核稀疏表示,最终确定跟踪目标.最后实验结果证明了本文所提出的TSSR方法在面对视角变化和部分遮挡时的有效性.     

基于黎曼流形稀疏编码的图像检索算法

针对视觉词袋（Bag-of-visual-words,BOVW）模型直方图量化误差大的缺点,提出基于稀疏编码的图像检索算法.由于大多数图像特征属于非线性流形结构,传统稀疏编码使用向量空间对其度量必然导致不准确的稀疏表示.考虑到图像特征空间的流形结构,选择对称正定矩阵作为特征描述子,构建黎曼流形空间.利用核技术将黎曼流形结构映射到再生核希尔伯特空间,非线性流形转换为线性稀疏编码,获得图像更准确的稀疏表示.实验在Corel1000和Caltech101两个数据集上进行,与已有的图像检索算法对比,提出的图像检索算法不仅提高了检索准确率,而且获得了更好的检索性能.     

基于核稀疏保持投影的典型相关分析算法

模式识别的技术核心就是特征提取,而特征融合则是对特征提取方法的强力补充,对于提高特征的识别效率具有重要作用。本文基于稀疏表示方法,将稀疏表示方法用到高维度空间,并利用核方法在高维度空间进行稀疏表示,用其计算核稀疏表示系数,同时研究了核稀疏保持投影算法(Kernel sparsity preserve projection,KSPP)。将KSPP引入到典型相关分析算法(Canonical correlation analysis,CCA),研究了基于核稀疏保持投影的典 型相关分析算法(Kernel sparsity preserve canonical correlation analysis,K-SPCCA)。在多特征手写体数据库和人脸图像数据库上分别证实了本文提出方法的可靠性和有效性 。     

Kernel-based sparse representation for gesture recognition

In this paper, we propose a novel sparse representation based framework for classifying complicated human gestures captured as multi-variate time series (MTS). The novel feature extraction strategy, CovSVDK, can overcome the problem of inconsistent lengths among MTS data and is robust to the large variability within human gestures. Compared with PCA and LDA, the CovSVDK features are more effective in preserving discriminative information and are more efficient to compute over large-scale MTS datasets. In addition, we propose a new approach to kernelize sparse representation. Through kernelization, realized dictionary atoms are more separable for sparse coding algorithms and nonlinear relationships among data are conveniently transformed into linear relationships in the kernel space, which leads to more effective classification. Finally, the superiority of the proposed framework is demonstrated through extensive experiments.     

Kernel sparse representation based classification

Sparse representation has attracted great attention in the past few years. Sparse representation based classification (SRC) algorithm was developed and successfully used for classification. In this paper, a kernel sparse representation based classification (KSRC) algorithm is proposed. Samples are mapped into a high dimensional feature space first and then SRC is performed in this new feature space by utilizing kernel trick. Since samples in the high dimensional feature space are unknown, we cannot perform KSRC directly. In order to overcome this difficulty, we give the method to solve the problem of sparse representation in the high dimensional feature space. If an appropriate kernel is selected, in the high dimensional feature space, a test sample is probably represented as the linear combination of training samples of the same class more accurately. Therefore, KSRC has more powerful classification ability than SRC. Experiments of face recognition, palmprint recognition and finger-knuckle-print recognition demonstrate the effectiveness of KSRC.     

Nonlinear sparse feature selection algorithm via low matrix rank constraint

The characteristics of non-linear, low-rank, and feature redundancy often appear in high-dimensional data, which have great trouble for further research. Therefore, a low-rank unsupervised feature selection algorithm based on kernel function is proposed. Firstly, each feature is projected into the high-dimensional kernel space by the kernel function to solve the problem of linear inseparability in the low-dimensional space. At the same time, the self-expression form is introduced into the deviation term and the coefficient matrix is processed with low rank and sparsity. Finally, the sparse regularization factor of the coefficient vector of the kernel matrix is introduced to implement feature selection. In this algorithm, kernel matrix is used to solve linear inseparability, low rank constraints to consider the global information of the data, and self-representation form determines the importance of features. Experiments show that comparing with other algorithms, the classification after feature selection using this algorithm can achieve good results.

     

基于局部结构学习的非线性属性选择算法

针对大多数高维数据之间不仅有相似性,而且还有非线性关系等特点,提出一种基于局部结构学习的非线性属性选择算法。该算法首先通过核函数把数据映射到高维空间,在高维空间中表示出数据属性之间的非线性关系;然后在低维空间中通过局部结构学习来充分挖掘属性之间的相似性,同时通过低秩约束来排除噪声的干扰;最后通过稀疏正则化因子来进行属性选择。其通过核函数映射来找出数据属性之间的非线性关系,运用局部结构学习来找出数据属性之间的相似性,是一种嵌入了局部结构学习的非线性属性选择算法。实验结果表明,该算法相比其他的对比算法,有更好的效果。