核参数判别选择方法在核主元分析中的应用

针对核主元分析(KPCA)中高斯核参数β的经验选取问题,提出了核主元分析的核参数判别选择方法。依据训练样本的类标签计算类内、类间核窗宽,在以上核窗宽中经判别选择方法确定核参数。根据判别选择核参数所确定的核矩阵,能够准确描述训练空间的结构特征。用主成分分析(PCA)对特征空间进行分解,提取主成分以实现降维和特征提取。判别核窗宽方法在分类密集区域选择较小窗宽,在分类稀疏区域选择较大窗宽。将判别核主成分分析(Dis-KPCA)应用到数据模拟实例和田纳西过程(TEP),通过与KPCA、PCA方法比较,实验结果表明,Dis-KPCA方法有效地对样本数据降维且将三个类别数据100%分开,因此,所提方法的降维精度更高。     

核熵成分分析算法及其在化工过程监控中的应用研究

针对化工过程监测数据复杂、非线性等特点,本文将一种新的降维算法一核熵成分分析算法应用到化工过程监控。与其他的多元统计分析方法相比,核熵成分分析算法可以保证数据降维过程中的信息损失最小从而建立更加可靠的统计模型,进而提高故障检测的检出率。与核主成分分析相似,核熵成分分析也是将数据映射到一个高维空间,在高维空间中进行主元分析,不同之处是KECA在选取主元时采用了信息保有量较大的主元,使得数据在降维后的信息损失量更少。本文使用某石化企业的润滑油重质过程的数据测试算法监控效果,核熵成分分析算法的故障检出率为98.2%,比核主成分分析算法(69.706%)要高。实验结果显示,核熵成分分析算法的化工过程监控效果优于核主成分分析算法。     

MFASSC:基于间隔Fisher分析的半监督聚类方法

针对高维数据的聚类问题,提出一种基于间隔Fisher分析(MFA)的半监督聚类算法。该算法首先使用已标记样本进行MFA映射,得到投影矩阵W后,再利用求得的投影方法对未标记样本进行降维;然后在低维空间引入基于约束的球形K-means(PCSKM)算法对降维后的数据进行半监督聚类,根据第一次的聚类结果,交替进行降维与聚类操作,直到算法收敛为止。该算法利用监督信息有效地集成了数据降维和半监督聚类。实验结果表明,该方法能够有效处理高维数据,同时能提高聚类性能。     

基于测地线距离的广义高斯型Laplacian 特征映射

传统的Laplacian 特征映射是基于欧氏距离的近邻数据点的保持,近邻的高维数据点映射到内在低维空间后仍为近邻点,高维数据点的近邻选取最终将影响全局低维坐标.将测地线距离和广义高斯函数融合到传统的Laplacian 特征映射算法中,首先提出了一种基于测地线距离的广义高斯型Laplacian 特征映射算法(geodesicdistance-based generalized Gaussian LE,简称GGLE),该算法在用不同的广义高斯函数度量高维数据点间的相似度时,获得的全局低维坐标呈现出不同的聚类特性;然后,利用这种特性进一步提出了它的集成判别算法,该集成判别算法的主要优点是:近邻参数K 固定,邻接图和测地线距离矩阵都只构造一次.在木纹数据集上的识别实验结果表明,这是一种有效的基于流形的集成判别算法.     

在高维数据上的近邻传播聚类降维研究北大核心CSCD

为了使近邻传播(AP)聚类在高维空间中获得更好的聚类效果,该文提出一种基于谱分析的近邻传播聚类方法(Affinity Propagation based on Spectrum analyze,AP-SA)。首先,通过采用谱分析技术将分布在高维非线性的数据点集映射到几乎线性的子空间上,映射过程实现高维数据降至低维。最后,通过AP聚类算法对映射在低维空间上的数据进行聚类,从而提高了AP算法在高维空间上的聚类性能。仿真实验结果表明,该方法相比于传统AP算法,在低维数据中无明显的优势,但随着实验的数据集的样本规模与维数的增加,在高维数据中的该方法降低了聚类时间的同时,也保证了较好的聚类效果。     

基于Isomap降维的噪声处理算法

由于非线性降维方法对高维数据中存在的噪声比较敏感,导致最终的分类效果比较差．为了弥补其不足,在首先使用极大似然估计方法估测出样本数据本征维度的前提下,提出一种结合等距特征映射与主成分分析的方法．一方面能够使原始数据保持其在高维空间的几何结构,另一方面可以消除噪声对降维结果的影响,最终使得低维数据尽可能的保持原始样本数据集的内在特征．通过实验论证表明,该组合方法的效果比单独直接使用等距特征映射和主成分分析算法的效果都要好．     

基于核熵成分分析的数据降维?

针对高维数据的维灾问题,采用核熵成分分析方法降维数据,并与主成分分析及核主成分分析方法进行对比。降维后的数据利用支持向量机算法进行分类,以验证算法有效性。实验结果表明,KECA在较低的维数时仍然能获得较好的分类精度,可以减少后续的处理复杂度和运行时间,适用于机器学习、模式识别等领域。     

基于测地距离的KPCA人脸识别

针对人脸检测数据集中的信息均为高维特征向量且人脸识别易受表情变化影响等问题,本文提出一种基于测地距离的KPCA人脸识别方法,该方法利用非线性方法提取主成分。先采用KPCA方法把人脸数据映射到高维空间,进而在高维空间中提取人脸的主成分,其中核函数为多项式核函数;然后引入测地距离替换原来的欧氏距离进行相似度量,其能更准确地测量出两像素点间的实际距离,使得人脸识别率受表情变化影响小。该方法不但可以实现降维,而且还能达到有效提取特征的目的。在ORL人脸库上的实验结果表明,该方法的识别率明显优于PCA、KPCA等方法的识别率。     

基于核的半监督的局部保留投影降维方法

为能有效捕捉数据的非线性特征,特提出一种新的非线性数据降维算法——核半监督局部保留投影(KSSLPP)。该方法利用标记样本的标记信息及所有训练样本的结构重新定义了类间相似度和类内相似度,然后将原始数据映射到高维核空间,在核空间中最大化类间分离度,最小化类内分离度。该方法在核空间保持了数据的局部结构和全局结构,以及数据的标签信息。在Olivetti人脸库和UCI数据库中的对比实验验证了该算法的有效性。     

一种基于LLM的高维时间序列数据异常检测方法

以国家重大建设项目稽察中的数据一致性判别问题为应用背景,针对时间序列型高维数据提出了一种基于局部线性映射(Local Linear Mapping,LLM)的数据变换方法,该方法将各高维数据点通过其相邻点的线性重构映射至低维空间,从而很好地保留了高维空间中各数据点与相邻数据点的相关性。基于LLM的映射特性,提出了三种异常指标,并将其应用于面向国家重大建设项目稽察数据一致性判别问题的高维时间序列数据异常检测中。数值计算表明,所提出的方法对时间序列异常检测具有很好的效果,适合于较大规模高维时间序列数据的异常检测应用。     

基于判别核主元空间k近邻的批次过程监视

针对批次过程非线性、多模态等特征,提出一种基于判别核主元k近邻（Dis-kPCkNN）的故障检测方法。首先,在核主元分析（kPCA）中,高斯核的窗宽参数依据样本类别标签在类内窗宽和类间窗宽中判别选取,使得核矩阵能有效提取数据的关联特征,保持数据的类别信息;其次,在核主元空间中引用k近邻规则代替传统的T²统计方法,k近邻规则可以有效处理主元空间非线性和多模态等特征的故障检测问题。数值模拟实例和半导体蚀刻工艺过程仿真实验表明:基于判别核主元k近邻方法可以有效地处理具有非线性和多模态结构特征的故障检测问题,提高计算的效率,减少内存的占用,并且故障检测率明显优于传统方法。     

核典型相关性鉴别分析

提出一种新的基于典型相关性的核鉴别分析,以图片集为基础的人脸识别算法。把每个图片集映射到一个高维特征空间,然后通过核线性鉴别分析(KLDA)处理,得到相应的核子空间。通过计算两典型向量的典型差来估计两个子空间的相似度。根据核Fisher准则,基于类间典型差与类内典型差的比率建立核子空间的相关性来得到核典型相关性鉴别分析(KDCC)算法。在ORL、NUST603、FERNT和XM2VTS人脸库上的实验结果表明,该算法能够更有效提取样本特征,在识别率上要优于典型相关性鉴别分析(DCC)和核鉴别转换(KDT)算法。     

基于核化原理的非线性典型相关判别分析

典型相关判别分析是将传统的典型相关分析应用于判别问题，它是一类重要的特征提取算法，但其本质上只能提取数据的线性特征，应用统计学习理论中的核化原理可以将这样的线性特征提取算法推广至非线性特征提取算法，该文研究了如何将这一原理应用于典型相关判别分析，提出了基于核化原理的非线性典型相关判别分析，并且给出了求解该问题的一个自适应学习算法．数值实验表明，基于核化原理所导出的非线性典型相关判别分析比传统的典型相关判别分析更有效，另外，该文从理论上证明，所提出的新方法与Fisher核判别分析等价。     

Intrinsic feature extraction using discriminant diffusion mapping analysis for automated tool wear evaluation

We present a method of discriminant diffusion maps analysis (DDMA) for evaluating tool wear during milling processes. As a dimensionality reduction technique, the DDMA method is used to fuse and reduce the original features extracted from both the time and frequency domains, by preserving the diffusion distances within the intrinsic feature space and coupling the features to a discriminant kernel to refine the information from the high-dimensional feature space. The proposed DDMA method consists of three main steps: (1) signal processing and feature extraction; (2) intrinsic dimensionality estimation; (3) feature fusion implementation through feature space mapping with diffusion distance preservation. DDMA has been applied to current signals measured from the spindle in a machine center during a milling experiment to evaluate the tool wear status. Compared with the popular principle component analysis method, DDMA can better preserve the useful intrinsic information related to tool wear status. Thus, two important aspects are highlighted in this study: the benefits of the significantly lower dimension of the intrinsic features that are sensitive to tool wear, and the convenient availability of current signals in most industrial machine centers.     

基于加权核非负矩阵分解的短文本聚类算法

对互联网产生的大量短文本进行聚类分析具有重要的应用价值,但由于短文本存在特征稀疏和特征难以提取的问题,导致传统的文本聚类算法难以有效处理该问题。为了解决该问题,利用非负矩阵分解（NMF）模型提出基于加权核非负矩阵分解（WKNMF）的短文本聚类算法。该算法通过核方法的映射关系将稀疏特征空间映射到高维隐性空间,从而可以充分利用短文本中的隐性语义特征进行聚类;另外,利用核技巧简化高维数据的复杂运算,并通过迭代更新规则不断地动态调整短文本的权重向量,从而可以区分不同短文本对聚类的重要性。在真实的微博数据集上进行了相关实验,结果表明WKNMF算法比K均值、隐含狄利克雷分布（LDA）、NMF和自组织神经网络（SOM）具有更好的聚类质量,准确度和归一化互信息分别达到了66.38%和66.91%。     

结合混合核特征映射的空域图像隐写分析

为了将高维富模型特征投影与分类器结合,降低隐写图像的检测误差,提出对高维富模型特征分割再结合混合核的特征投影算法的隐写分析方法。将高维特征纵向分解为若干特征块,对每个特征块投影,投影后的特征块拼成新的特征。设计非线性混合核函数代替单核函数进行特征投影,以克服样本规模巨大、多维数据的不规则等现象。投影后的特征用FLD（Fisher Linear Discriminant）集成分类器分类。实验结果表明,该方法进一步降低了隐写图像的检测错误率,同时有效降低了运行内存需求。     

基于规范化KDDA的人脸识别算法

传统的PCA和LDA算法受限于“小样本问题”,且对像素的高阶相关性不敏感。论文将核函数方法与规范化LDA相结合,将原图像空间通过非线性映射变换到高维特征空间,并借助于“核技巧”在新的空间中应用鉴别分析方法。通过对ORL人脸库的大量实验表明,该方法在特征提取方面优于PCA,KPCA,LDA等其他方法,在简化分类器的同时,也可以获得高识别率。     

基于局部结构学习的非线性属性选择算法

针对大多数高维数据之间不仅有相似性,而且还有非线性关系等特点,提出一种基于局部结构学习的非线性属性选择算法。该算法首先通过核函数把数据映射到高维空间,在高维空间中表示出数据属性之间的非线性关系;然后在低维空间中通过局部结构学习来充分挖掘属性之间的相似性,同时通过低秩约束来排除噪声的干扰;最后通过稀疏正则化因子来进行属性选择。其通过核函数映射来找出数据属性之间的非线性关系,运用局部结构学习来找出数据属性之间的相似性,是一种嵌入了局部结构学习的非线性属性选择算法。实验结果表明,该算法相比其他的对比算法,有更好的效果。     

Kernel-based nonlinear discriminant analysis for face recognition

Linear subspace analysis methods have been successfully applied to extract features for face recognition.But they are inadequate to represent the complex and nonlinear variations of real face images,such as illumination,facial expression and pose variations,because of their linear properties.In this paper,a nonlinear subspace analysis method,Kernel-based Nonlinear Discriminant Analysis (KNDA),is presented for face recognition,which combines the nonlinear kernel trick with the linear subspace analysis method-Fisher Linear Discriminant Analysis (FLDA).First,the kernel trick is used to project the input data into an implicit feature space,then FLDA is performed in this feature space.Thus nonlinear discriminant features of the input data are yielded.In addition,in order to reduce the computational complexity,a geometry-based feature vectors selection scheme is adopted.Another similar nonlinear subspace analysis is Kernel-based Principal Component Analysis (KPCA),which combines the kernel trick with linear Principal Component Analysis (PCA).Experiments are performed with the polynomial kernel,and KNDA is compared with KPCA and FLDA.Extensive experimental results show that KNDA can give a higher recognition rate than KPCA and FLDA.