核函数在主成分分析中的应用

主成分分析在对线性数据进行降维时非常有效,核函数能够将线性不可分的数据映射到高维希尔伯特空间中可能可分。将核函数应用到主成分分析中成为核主成分分析。从核函数的性质、核函数的参数调整、核函数的构造等方面对核主成分分析进行应用与实现,并结合核Fisher判别分析,对样例数据进行核主成分分析,结论表明,效果良好,但执行速度较慢,需要后续改进。     

核函数在主成分分析中的应用

主成分分析在对线性数据进行降维时非常有效,核函数能够将线性不可分的数据映射到高维希尔伯特空间中可能可分。将核函数应用到主成分分析中成为核主成分分析。从核函数的性质、核函数的参数调整、核函数的构造等方面对核主成分分析进行应用与实现,并结合核Fisher判别分析,对样例数据进行核主成分分析,结论表明,效果良好,但执行速度较慢,需要后续改进。     

使用迭代方法求解核主成分分析

核主成分分析方法是使用核方法将经典的线性算法主成分分析推广到高维空间,用来处理复杂非线性数据的一种常用的特征提取算法,该算法首先在高维空间中计算所有样本之间的核矩阵,然后使用特征分解技术计算核矩阵的特征解,其计算的时间和空间复杂度分别为O(m2)和O(m3).然而在大规模数据集的情况下,由于储存和计算的问题无法进行正常的求解.文中提出首先使用幂迭代方法计算核矩阵的高阶特征解,然后重复使用Schur-Weilandt收缩方法分别计算出核矩阵的其它阶特征解.文中算法在计算过程中,不需要像传统的计算方法那样需要事先存储核矩阵,空间复杂度只有O(m).通过在模拟和真实数据的实验结果充分验证了算法的有效性.     

一种基于核主成分特征组合的人脸识别方法

提出了一种基于核主成分特征组合的人脸识别方法。首先利用主成分分析,获得原始输入图像的二阶特征脸图像;然后运用核主成分分析分别抽取原始图像和二阶特征脸图像的核主成分特征,最后将它们组合成一个组合特征向量,进行人脸识别。在ORL人脸库上的实验表明,两种图像的核主成分特征分别有着良好的特点,取得了较好的识别效果,优于核主成分分析和二阶特征脸的结果。     

面向基因数据分类的核主成分分析旋转森林算法

旋转森林(rotation forest,Ro F)是一种运用线性分析理论和决策树的集成分类算法,在分类器个数较少的情况下仍可以取得良好的结果,同时能保证集成分类的准确性。但对于部分基因数据集,存在线性不可分的情况,原始的算法分类效果不佳。提出了一种运用核主成分分析变换的旋转森林算法(rotation forest algorithm based on kernel principal component analysis,KPCA-Ro F),选择高斯径向基核函数和主成分分析的方法对基因数据集进行非线性映射和差异性变化,着重于参数的选择问题,再利用决策树算法进行集成学习。实验证明,改进后的算法能很好地解决数据线性不可分的情形,同时也提高了基因数据集上的分类精度。     

概率核主成分分析及其应用

主成分分析（PCA）、核主成分分析（KPCA）和概率主成分分析（PPCA）是已经取得广泛应用的特征提取方法。提出一种基于概率核主成分分析（PKPCA）的检测液晶屏幕亮点的方法。作为对PPCA的一种非线性扩展,PKPCA在PPCA的基础上引入了核函数方法,因而其捕获模式非线性特征的能力更强。在KPCA和PPCA的基础上推导了PKPCA过程公式,并在检测液晶屏幕亮点的应用中将PKPCA、PPCA、PCA算法进行比较。实验结果表明,PKPCA的检测率和局部信噪比优于其他两者。     

大规模数据集下谱聚类算法的求解

谱聚类算法是一种流行的数据聚类方法,该算法使用特征分解技术计算邻接矩阵的特征解,但是在大规模数据集的情况下,因储存和计算的问题而无法进行求解。基于线性代数中对称矩阵的性质,提出使用部接矩阵的每一列作为迭代算法的输入样本,通过迭代计算出部接矩阵的特征解。所提算法的空间复杂度只有O(m),时间复杂度也降低为O(pkm)。实验结果验证了算法的有效性。     

核主成分分析中核参数选择的遗传算法

基于核方法的主成分分析虽然能够提取数据的非线性特征,但其性能受核参数的影响比较大.本文提出一种基于遗传算法的核参数优化算法,在未知数据分布特征的情况下,采用该方法对核参数进行优化选取,取得较好的实验效果,表明该方法的有效性.     

一种组合类别信息的核主成分分析方法

基于核主成分分析(KPCA)理论,提出一种有监督的特征提取方法.该方法在特征提取过程中充分直接利用训练核样本的类别信息,并且在计算上仍采用与KPCA方法类似的数学公式,因此被称为组合类别信息的核主成分分析(CIKPCA).另外,在分类时提出基于两种特征融合的分类策略从而进一步提高CIKPCA方法的识别率.在3个人脸库上进行实验,结果表明本文方法在识别率方面整体超过常用的KPCA方法,甚至超过核线性判别准则方法.     

鲁棒的加权核主成分分析算法

为减弱离群点对数据处理的影响, 提出了一种鲁棒的加权核主成分分析算法。利用核函数将样本投影到核空间, 在核空间构建一个样本加权重建误差最小模型, 最大限度地提取数据中的非线性信息并降低离群点样本的干扰。在Yale人脸库和UCI数据集上的实验表明, 该方法具有很好的识别率, 尤其对离群点样本具有较好的鲁棒性。     

基于分块核主元分析的人脸识别方法研究

传统的基于数据二阶统计矩的主元分析法（PCA）是一种有效的数据特征提取方法,是基于原始特征的一种线性变换。但是,当原始数据中存在非线性属性时,用主元分析法后留下的显著成分就可能不再反映这种非线性属性。而核主元分析则是基于原始数据的高阶统计量,是一种非线性变换,在图像识别中它可以描述多个像素之间的相关性。而KPCA方法只考虑了人脸图像的整体信息,没有考虑到局部特征信息。文章提出了分块核主元分析（MKPCA）的方法进行人脸识别,取得了很好的效果。     

An Improved Algorithm for Kernel Principal Component Analysis

Kernel principal component analysis (KPCA), introduced by Schölkopf et al., is a nonlinear generalization of the popular principal component analysis (PCA) via the kernel trick. KPCA has shown to be a very powerful approach of extracting nonlinear features for classification and regression applications. However, the standard KPCA algorithm (Schölkopf et al., 1998, Neural Computation 10, 1299–1319) may suffer from computational problem for large scale data set. To overcome these drawbacks, we propose an efficient training algorithm in this paper, and show that this approach is of much more computational efficiency compared to the previous ones for KPCA.     

核主元分析及其在人脸识别中的应用

传统的基于数据二阶统计矩的特征脸法(Eigenface)或主元分析法(PCA)是一种有效的数据特征提取方法,是基于原始特征的一种线性变换。但是,当原始数据中存在非线性属性时,用主元分析法后留下的显著成分就可能不再反映这种非线性属性。而核主元分析则是基于原始数据的高阶统计量,是一种非线性变换,在图像识别中它可以描述多个像素之间的相关性。该文采用KPCA法提取人脸特征,利用线性支持向量机设计分类器,实验结果表明,基于核主元分析方法的识别正确率明显优于基于主元分析法。     

基于改进核主元分析的TE故障诊断

PCA、KPCA作为常用的多变量统计监控算法,一般适用于定常过程。针对实际工业过程的时变、非线性特性,提出一种基于分块的改进KPCA算法。该方法通过采用随时间更新的核矩阵代替固定核矩阵用于主元模型的建立,使非线性监控模型能够在线更新,从而提高KPCA的检测正确率。与KPCA方法相比,该方法的运算复杂度明显降低。将该方法应用于TE(Tennessee Eastman)过程,仿真结果显示,该方法具有较好的监测性能,且所需时间大大减小,说明了本算法的有效性。     

基于增量核主成分分析的数据流在线分类框架

核主成分分析(Kernel principal component analysis, KPCA)是一种非线性降维工具, 在降低数据流分类处理量方面发挥着积极作用. 然而, 由于复杂性太高, 导致KPCA的降维能力有限. 为此, 本文给出了一种增量核主成分分析算法(Incremental KPCA for dimensionality-reduction, IKDR), 该算法在每步迭代估计中只需线性内存开销, 大大降低了复杂性. 在IKDR的基础上, 结合BP (Back propagation)神经网络提出了数据流在线分类框架: IKOCFrame (Online classification frame based on IKDR). 通过一系列真实和人工数据集上的实验, 检验了IKDR算法的收敛性, 并且验证了IKOCFrame相对于同类基于成分分析的分类算法的优越性.     

密度敏感鲁棒模糊核主成分分析算法

针对传统核主成分分析算法(Kernel principal component analysis, KPCA)对野性样本点敏感等缺陷, 提出一种密度敏感鲁棒模糊核主成分分析算法(Density-Sensitive robust fuzzy kernel principal component analysis, DRF-KPCA).该算法首先通过引入相对密度确定样本初始隶属度, 并构建出基于重构误差的隶属度确定方法, 同时采用最优梯度下降法实现隶属度的更新, 有效解决了传统核主成分分析算法对野性样本点敏感导致的主成分偏移等问题.最后, 通过简化重构误差的计算公式, 大大降低了算法的计算复杂度和运行时间.实验部分, 利用有野性样本点和无野性样本点的数据集对本文算法、KPCA及其他改进算法的主成分分析性能进行测试, 结果表明DRF-KPCA能有效消除野性样本点对主元分布的影响.此外, 试验通过分析参数对算法性能的影响给出了合理的参数取值建议.最后将本文算法与其他算法应用到分类问题中进行对比, 实验表明本文算法的分类性能较其他算法有显著提高.     

一种基于数据重构的KPCA故障识别方法

针对核主元分析(KPCA)方法只能实现故障检测,但无法实现故障变量识别的问题,提出一种基于数据重构的KPCA故障变量识别方法。采用改进的数据重构方法对各参数进行重构,然后利用故障识别指数对监控参数进行故障变量识别。通过对某型涡扇发动机进行实验的结果表明,该方法能够准确识别故障变量,从而有助于维护人员分析故障原因,初步确定可能的故障源,大大缩短故障定位及排故的时间,可预防重大事故的发生。     

基于GHA的核主成分分析及其应用

文中提出了一种将GHA(Generalized Hebbian Algorithm)学习规则应用到核主成分分析的新方法,它结合了核主成分分析和GHA学习规则的优点,既能利用核主成分分析的方法方便地提取数据的非线性特征,又能避免在大样本数据的情况下运算复杂和存储空间大的问题。实验证明了该方法的可行性和高效性。