基于聚类的核主成分分析在特征提取中的应用

本文分析了一般主成分分析在处理非线性问题上的不足,阐述了核主成分分析方法及其计算速度的缺陷,提出了基于聚类的核主成分分析方法。试验结果显示:基于聚类的核主成分分析方法具有好的特征提取性能,相比核主成分分析大大提高了特征提取的速度。     

基于改进KPCA的语音特征提取方法

语音特征提取问题取决于参数.针对特征参数识别准确性,通过核主成分分析方法应用于语音特征提取中.但核主成分分析方法的计算过于复杂,不利于提高系统实时性.为提高语音识别系统的鲁棒性和增强实时性,提出基于K-均值聚类的核主成分分析方法.通过K-均值聚类的方法对每个语音信号的语音帧进行聚类,采用聚类的中心代表类的特征,再用核主成分分析方法进行特征提取,不但减少了存储空间和计算的复杂度,而且通过把原始特征向量向低维子空间投影,达到降噪和去冗余的效果.仿真结果证明:所提方法在相似识别率的情况下提高了识别速度,能满足语音识别的实时性要求,并在噪声环境下具有较好的鲁棒性.     

KPCA方法过程研究与应用

给出一种基于核函数的主成分分析方法,它主要用来解决大规模非线性数据的特征提取问题。文中给出了简化的协方差矩阵的计算方法与推导过程,还给出了KPCA方法的详细推导过程。最后使用核主成分分析的方法分别对线性与非线性分布的数据进行了分析,取得了比传统主成分分析方法更好的结果。     

一种快速核特征提取方法及其应用

针对核主成分分析方法（KPCA）存在大样本集的核矩阵K计算困难问题,提出一种基于分块特征向量选择的快速核主成分分析方法。采用分块特征向量选择方法提取样本子集,用样本子集建立KPCA模型。将该方法应用于某化工过程的特征信息提取,并与全体样本的KPCA相比较。实验结果表明,两者特征提取的有效性相当,但新方法在建模和特征提取过程所耗费的时间较少。     

一种基于各向异性高斯核核惩罚的PCA特征提取算法

提出了一种基于各向异性高斯核核惩罚的主成分分析的特征提取算法.该算法不同于传统的核主成分分析算法.在非线性数据降维中,传统的核主成分分析算法忽略了原始数据的无量纲化.此外,传统的核函数在各维度上主要由一个相同的核宽参数控制,该方法无法准确反映各维度不同特征的重要性,从而导致降维过程中准确率低下.为了解决上述问题,首先针对现原始数据的无量纲化问题,提出了一种均值化算法,使得原始数据的总方差贡献率有明显的提高.其次,引入了各向异性高斯核函数,该核函数每个维度拥有不同的核宽参数,各核宽参数能够准确地反映所在维度数据特征的重要性.再次,基于各向异性高斯核函数建立了核主成分分析的特征惩罚目标函数,以便用较少的特征表示原始数据,并反映每个主成分信息的重要性.最后,为了寻求最佳特征,引入梯度下降算法来更新特征惩罚目标函数中的核宽度和控制特征提取算法的迭代过程.为了验证所提出算法的有效性,各算法在UCI公开数据集上和KDDCUP99数据集上进行了比较.实验结果表明,所提基于各向异性高斯核核惩罚的主成分分析的特征提取算法比传统的主成分分析算法在9种公开的UCI公开数据集上准确率平均提高了4.49%.在KDDCUP99数据集上,所提基于各向异性高斯核核惩罚的主成分分析的特征提取算法比传统的主成分分析算法准确率提高了8%.     

基于KPCA的人脸匹配方法

分析一般主成分分析(PCA)在处理非线性问题上存在的不足,阐述基于核的主成分分析(KPCA)方法,并将其应用到人脸匹配之中,应用结果表明,KPCA具有优秀的特征提取性能.     

一种实用的说话人特征提取方法

针对稀疏核主成分分析方法在特征提取中的不足,提出了一种基于核K-均值聚类的稀疏核主成分分析（Sparse KPCA）的特征提取方法用于说话人识别。通过核K-均值聚类的方法对语音帧进行聚类,由于聚类的中心能够很好地代表类内的特征,用中心样本帧取代该类,减少了核矩阵的维数,然后再采用稀疏KPCA方法对核矩阵进行特征提取。该方法能够减少存储空间和计算的复杂度,它保证约简后的数据能够很好地代表原始数据并且在约简过程中信息损失最小。实验结果验证了提出的方法在不影响识别率的前提下提高了识别速度,满足了说话人识别的实用性要求。     

核主元分析及其在人脸识别中的应用

传统的基于数据二阶统计矩的特征脸法(Eigenface)或主元分析法(PCA)是一种有效的数据特征提取方法，是基于原始特征的一种线性变换。但是，当原始数据中存在非线性属性时，用主元分析法后留下的显著成分就可能不再反映这种非线性属性。而核主元分析则是基于原始数据的高阶统计量，是一种非线性变换，在图像识别中它可以描述多个像素之间的相关性。该文采用KPCA法提取人脸特征，利用线性支持向量机设计分类器，实验结果表明，基于核主元分析方法的识别正确率明显优于基于主元分析法。     

基于小波分析和KPCA的人脸识别

本文探讨了基于核函数的主成分分析方法在人脸识别中的应用，首先对人脸进行haar小波分析，得到对应的人脸小波系数，再通过计算其内积核函数实现从低维空间到高维空间的非线性映射，对高维数据进行主成分分析得到用于分类的主成分，最后采用支持向量机进行分类，实验结果表明，该方法具有良好的分类性能和鲁俸性。     

基于模糊隶属度的人脸识别应用*

针对人脸图像特征提取,应用主成分分析和二维主成分分析方法,提出用二维特征求解样本的隶属度,用主成分特征进行支持向量机分类的方法。该方法结合了二维主成分特征在选取少量分量时人脸重构图像稳定的优点和主成分特征重构图像局部特征清晰的优点。为了与二维主成分特征分类结果进行比较,通过引入矩阵内积,给出了针对二维特征的三类核函数。实验表明利用两种特征进行分类的方法在人脸识别中具有较高的精度。     

核参数判别选择方法在核主元分析中的应用

针对核主元分析(KPCA)中高斯核参数β的经验选取问题,提出了核主元分析的核参数判别选择方法。依据训练样本的类标签计算类内、类间核窗宽,在以上核窗宽中经判别选择方法确定核参数。根据判别选择核参数所确定的核矩阵,能够准确描述训练空间的结构特征。用主成分分析(PCA)对特征空间进行分解,提取主成分以实现降维和特征提取。判别核窗宽方法在分类密集区域选择较小窗宽,在分类稀疏区域选择较大窗宽。将判别核主成分分析(Dis-KPCA)应用到数据模拟实例和田纳西过程(TEP),通过与KPCA、PCA方法比较,实验结果表明,Dis-KPCA方法有效地对样本数据降维且将三个类别数据100%分开,因此,所提方法的降维精度更高。     

Mixed KPCA结合纹理特征的SVM盐碱土信息提取

核函数是核主成分分析（Kernel Principal Component Analysis,KPCA）的核心,目前使用的核函数都是单一核函数。尝试通过将光谱角径向基核函数（Spectral Angle Radial Basis Function,SA-RBF）与RBF组合形成混合核函数。在研究中,利用基于该混合核函数的KPCA进行特征提取,将其光谱特征波段和纹理特征相结合用于盐碱土的SVM分类,将分类结果与其他SVM分类进行比较,结果表明：该方法优于其他SVM方法,能有效提取玛纳斯河流域绿洲区的盐碱土专题信息,分类精度是89.000%,kappa系数是0.876。     

Generalized KPCA by adaptive rules in feature space

Principal component analysis (PCA) is well recognized in dimensionality reduction, and kernel PCA (KPCA) has also been proposed in statistical data analysis. However, KPCA fails to detect the nonlinear structure of data well when outliers exist. To reduce this problem, this paper presents a novel algorithm, named iterative robust KPCA (IRKPCA). IRKPCA works well in dealing with outliers, and can be carried out in an iterative manner, which makes it suitable to process incremental input data. As in the traditional robust PCA (RPCA), a binary field is employed for characterizing the outlier process, and the optimization problem is formulated as maximizing marginal distribution of a Gibbs distribution. In this paper, this optimization problem is solved by stochastic gradient descent techniques. In IRKPCA, the outlier process is in a high-dimensional feature space, and therefore kernel trick is used. IRKPCA can be regarded as a kernelized version of RPCA and a robust form of kernel Hebbian algorithm. Experimental results on synthetic data demonstrate the effectiveness of IRKPCA.     

特征有效提取的自适应核特征子空间方法

基于核的主成分分析(KPCA)方法能提取数据的非线性特征,但特征提取的效率却与训练样本集合的容量成反比.文中提出一种特征提取的自适应核特征子空间方法来快速有效地提取特征.该方法和KPCA方法在理论分析框架上是一致的,但通过自适应的选取核子空间的张成向量,能在提高特征提取效率的同时不影响特征提取的精度.针对模拟数据和MNIST数据的实验结果表明文中方法优于经典KPCA方法和参考方法.     

Sparse data-dependent kernel principal component analysis based on least squares support vector machine for feature extraction and recognition

Kernel learning is widely used in many areas, and many methods are developed. As a famous kernel learning method, kernel principal component analysis (KPCA) endures two problems in the practical applications. One is that all training samples need to be stored for the computing the kernel matrix during kernel learning. Second is that the kernel and its parameter have the heavy influence on the performance of kernel learning. In order to solve the above problem, we present a novel kernel learning namely sparse data-dependent kernel principal component analysis through reducing the training samples with sparse learning-based least squares support vector machine and adaptive self-optimizing kernel structure according to the input training samples. Experimental results on UCI datasets, ORL and YALE face databases, and Wisconsin Breast Cancer database show that it is feasible to improve KPCA on saving consuming space and optimizing kernel structure.     

Kernel ICA: An alternative formulation and its application to face recognition

This paper formulates independent component analysis (ICA) in the kernel-inducing feature space and develops a two-phase kernel ICA algorithm: whitened kernel principal component analysis (KPCA) plus ICA. KPCA spheres data and makes the data structure become as linearly separable as possible by virtue of an implicit nonlinear mapping determined by kernel. ICA seeks the projection directions in the KPCA whitened space, making the distribution of the projected data as non-gaussian as possible. The experiment using a subset of FERET database indicates that the proposed kernel ICA method significantly outperform ICA, PCA and KPCA in terms of the total recognition rate.     

基于文化粒子群算法的KPCA特征提取*

如何选择最优或接近最优的核函数使分类错误率降低,是KPCA应用于特征提取的关键。为了优化核 函数,提高特征提取的能力并降低分类错误率,在研究了文化算法（cultural algorithm, CA）、粒子群优化（particle swarm optimization, PSO）相关文献的基础上,提出了一种文化粒子群算法（cultural based PSO, CBPSO）流程,并 将此算法用于训练核函数参数,实现了KPCA和CBPSO的集成,有效地提高了核函数的优化选择。通过比较 CBPSO-KP     

Online identification using radial basis function neural network coupled with KPCA

In this paper, we are going to propose an online radial basis function (RBF) neural network algorithm without any preprocessing step. Then a kernel principal component analysis (KPCA) is coupled with the proposed online RBF neural network algorithm. Indeed, the KPCA method is used as a preprocessing step to reduce the feature dimension which fed to the RBF neural network. Reducing memory requirements of the models makes RBF neural network training efficient and fast. These two proposed algorithms are applied, with success, for identification of a mobile robot position. The simulation results present that the used sigmoid function as a kernel, compared to other kernel functions, which gives an excellent model and a minimum mean square error.