基于改进结构保持数据降维方法的故障诊断研究

传统基于核主成分分析(Kernel principal component analysis, KPCA)的数据降维方法在提取有效特征信息时只考虑全局结构保持而未考虑样本间的局部近邻结构保持问题, 本文提出一种改进全局结构保持算法的特征提取与降维方法.改进的特征提取与降维方法将流形学习中核局部保持投影(Kernel locality preserving projection, KLPP)的思想融入核主成分分析的目标函数中, 使样本投影后的特征空间不仅保持原始样本空间的整体结构, 还保持样本空间相似的局部近邻结构, 包含更丰富的特征信息.上述方法通过同时进行的正交化处理可避免局部子空间结构发生失真, 并能够直观显示出低维结果, 将低维数据输入最近邻分类器, 以识别率和聚类分析结果作为衡量指标, 同时将所提方法应用于故障诊断中.使用AVL Boost软件模拟的柴油机故障数据和田纳西(Tennessee Eastman, TE)化工数据仿真, 验证了所提方法的有效性.     

一种邻域线性竞争的排列降维方法

局部线性嵌入算法以及局部切空间排列算法是目前对降维研究有着重要影响的算法, 但对于稀疏数据及噪声数据, 在使用这些经典算法降维时效果欠佳。一个重要问题就是这些算法在处理局部邻域时存在信息涵盖量不足。对经典算法中全局信息和局部信息的提取机制进行分析后, 提出一种邻域线性竞争的排列方法（neighborhood linear rival alignment algorithm, NLRA）。通过对数据点的近邻作局部结构提取, 有效挖掘稀疏数据内部信息, 使得数据整体降维效果更加稳定。通过手工流形和真实数据集的实验, 验证了算法的有效性和稳定性。     

基于局部和全局映射函数的流形降维空间球形覆盖分类算法?

为探索高维数据本质结构和低维表示,并避免一般流形学习中测试数据不能显式降维的不足,提出基于局部和全局映射函数的流形降维空间球形覆盖分类算法。该算法首先抽象融合局部和全局信息映射模型,分别优化局部拉普拉斯矩阵和全局拉普拉斯矩阵,通过对局部和全局拉普拉斯矩阵进行特征值分解,得到训练样本的低维表示。然后借助核映射获取测试样本的低维表示。最后在低维空间建立球形覆盖分类模型,实现目标分类。在MNIST手写体数据集、YaleB和AR人脸数据集上的实验表明文中算法的有效性,证明其在实际应用领域具有一定价值。     

结合非线性频谱与核主元分析的复杂系统故障诊断方法

传统非线性频谱分析方法对复杂系统进行故障诊断时,求解出的非线性频谱数据量庞大,不便于直接用于故障检测与分类识别.本文提出了一种非线性频谱特征与核主元分析(KPCA)结合的故障诊断方法,首先通过最小二乘算法估计出前3阶Volterra时域核,由多维傅立叶变换求取出广义频率响应函数,然后利用KPCA方法对谱数据进行压缩与提取谱特征,最后利用多分类最小二乘支持向量机进行多故障检测与识别.考虑到频谱数据具有非线性的特点,KPCA中的核函数选用由多项式函数与径向基函数构成的混合核函数,兼顾了局部特性与全局特性.论文基于非线性频谱数据,给出了核主元模型建立与在线故障诊断的具体算法.对非线性模拟电路和数控机床伺服传动系统进行了仿真实验,结果表明本文方法能够大幅度降低频谱数据维数,故障识别率高,是一种实用的故障诊断方法.     

融合全局与局部特征的贝叶斯人脸识别方法

针对人脸识别特征提取阶段中的数据降维方法往往难以兼顾保持全局与局部特征信息的问题，以及匹配识别阶段贝叶斯分类器中小样本问题，提出了一种融合全局与局部特征的贝叶斯人脸识别方法。该方法通过核主元分析提取出人脸数据的全局非线性特征，并在此基础上通过正交化局部敏感判别分析挖掘出人脸数据的局部流形结构信息，以达到提取出具有高判别力低维本质人脸特征的目的；采用一种最大信息量协方差选择的方法，来对协方差矩阵进行估算，以解决贝叶斯分类器设计中的小样本问题。在ORL、AR、 YALE、FLW人脸库上设计实验来进行验证。结果表明，提出的特征提取算法以及对贝叶斯分类器的改进取得了比较好的效果，通过对这两个阶段的优化，可以显著提升人脸识别的效果。     

稀疏局部Fisher判别分析

提出一种稀疏局部Fisher判别分析（Sparsity Local Fisher Discriminant Analysis,SLFDA）。该算法在局部Fisher判别分析降维的基础上,通过平衡参数引入稀疏保持投影,在投影降维过程中保持了数据的全局几何结构和局部近邻信息。在UCI数据集和YaleB人脸数据集上的实验表明,该算法融合局部Fisher判别分析和稀疏保持投影的优点;与现有的半监督局部Fisher判别分析降维算法相比,该算法提高了基于最短欧氏距离的分类算法的精度。     

基于鲁棒的余弦欧氏距离度量降维的图像检索方法

为解决主成分分析（PCA）无法处理非线性数据集以及鲁棒性差的问题,提出一种鲁棒的余弦-欧氏距离度量的降维方法（RCEM）。该方法利用余弦度量（CM）能够处理离群点的特点来提取数据的局部几何特征,并利用欧氏距离能够很好地保持样本的方差信息的特点来刻画数据集的全局分布,在保留数据局部信息的同时实现了局部和全局的统一,提高了局部降维算法的鲁棒性,同时避免了局部小样本问题。实验结果显示,与角度优化全局嵌入（AOGE）方法相比,在Corel-1000数据集下检索查准率提高了5.61%,相比不降维时检索时间减少了42%。结果表明,RCEM算法能在不降低图像检索精度的同时提高图像检索的效率,可以有效应用于基于内容的图像检索（CBIR）。     

融合LLE和ISOMAP的非线性降维方法

局部线性嵌入（LLE）和等距映射（ISOMAP）在降维过程中都只单一地保留数据集的某一种特性结构, 从而使降维后的数据集往往存在顾此失彼的情况。针对这种情况, 借助流形学习的核框架, 提出融合LLE和ISOMAP的非线性降维方法。新的融合方法使降维后的数据集既保持着数据点间的局部邻域关系, 也保持着数据点间的全局距离关系。在仿真数据集和实际数据集上的实验结果证实了该方法的优越性。     

基于增量核主成分分析的数据流在线分类框架

核主成分分析(Kernel principal component analysis, KPCA)是一种非线性降维工具, 在降低数据流分类处理量方面发挥着积极作用. 然而, 由于复杂性太高, 导致KPCA的降维能力有限. 为此, 本文给出了一种增量核主成分分析算法(Incremental KPCA for dimensionality-reduction, IKDR), 该算法在每步迭代估计中只需线性内存开销, 大大降低了复杂性. 在IKDR的基础上, 结合BP (Back propagation)神经网络提出了数据流在线分类框架: IKOCFrame (Online classification frame based on IKDR). 通过一系列真实和人工数据集上的实验, 检验了IKDR算法的收敛性, 并且验证了IKOCFrame相对于同类基于成分分析的分类算法的优越性.     

核正交判别局部正切空间对齐算法

针对现有的局部正切空间算法中存在的问题,文中提出一种基于核变换的特征提取方法——核正交判别局部正切空间对齐算法(KOTSDA)。该算法首先利用核方法将人脸图像投影到一个高维非线性空间,提取其非线性信息;然后在目标函数中利用正切空间判别分析算法在保持样本的类内局部几何结构的同时最大化类间差异;最后添加正交约束,得到核正交判别局部正切空间对齐算法。该算法不需要经过PCA降维,有效避免判别信息的丢失,在ORL和Yale人脸库上的实验验证算法有效性。     

基于大间距准则的不相关保局投影分析

局部保持投影(Locality preserving projections,LPP)算法只保持了目标在投影后的邻域局部信息,为了更好地刻画数据的流形结构, 引入了类内和类间局部散度矩阵,给出了一种基于有效且稳定的大间距准则(Maximum margin criterion,MMC)的不相关保局投影分析方法.该方法在最大化散度矩阵迹差时,引入尺度因子α,对类内和类间局部散度矩阵进行加权,以便找到更适合分类的子空间并且可避免小样本问题; 更重要的是,大间距准则下提取的判别特征集一般情况下是统计相关的,造成了特征信息的冗余, 因此,通过增加一个不相关约束条件,利用推导出的公式提取不相关判别特征集, 这样做, 对正确识别更为有利.在Yale人脸库、PIE人脸库和MNIST手写数字库上的测试结果表明,本文方法有效且稳定, 与LPP、LDA (Linear discriminant analysis)和LPMIP(Locality-preserved maximum information projection)方法等相比,具有更高的正确识别率.     

基于偏最小二乘法与支持向量机的人脸识别

该文认为在人脸识别中,偏最小二乘回归方法作为一种新的降维方法,在处理小样本问题时具有明显优势,而主元分析方法作为一种传统的降维方法在选择分量时没有考虑类信息,因而有可能忽略掉重要的分类信息。支持向量机（SVM）模式识别方法具备良好的分类性能和鲁棒性。该文提出了一种基于偏最小二乘与支持向量机的人脸识别方法。利用偏最小二乘回归分析对人脸图像进行降维和特征提取,再利用支持向量机对特征向量进行分类识别。ORL人脸库的仿真结果证明偏最小二乘回归方法比主元分析方法更有效。     

间距判别投影及其在表情识别中的应用

针对全局降维方法判别信息不足,局部降维方法对邻域关系的判定存在缺陷的问题,提出一种新的基于间距的降维方法——间距判别投影（MDP）。首先,根据类的中心均值的异类近邻关系定义描述类边缘的边界向量;在这个基础上,MDP重新定义类间离散度矩阵,同时,使用全局的方法构造类内离散度矩阵;然后,MDP借鉴判别分析思想建立衡量类间距的准则,并通过类间距最大化增强样本在投影空间中的可分性。对MDP在人脸表情数据库JAFFE和Extended Cohn-Kanade上进行表情识别实验,并且跟传统的降维方法主成分分析（PCA）、最大间距准则（MMC）和边界Fisher分析（MFA）进行对比,实验结果表明,所提算法能够有效提取更具区分性的低维特征,比其他几种方法分类精度更高。     

A novel neural-network approach of analog fault diagnosis based on kernel discriminant analysis and particle swarm optimization

Kernel principal component analysis (KPCA) and kernel linear discriminant analysis (KLDA) are two commonly used and effective methods for dimensionality reduction and feature extraction. In this paper, we propose a KLDA method based on maximal class separability for extracting the optimal features of analog fault data sets, where the proposed KLDA method is compared with principal component analysis (PCA), linear discriminant analysis (LDA) and KPCA methods. Meanwhile, a novel particle swarm optimization (PSO) based algorithm is developed to tune parameters and structures of neural networks jointly. Our study shows that KLDA is overall superior to PCA, LDA and KPCA in feature extraction performance and the proposed PSO-based algorithm has the properties of convenience of implementation and better training performance than Back-propagation algorithm. The simulation results demonstrate the effectiveness of these methods.     

基于集成局部费舍尔判别分析的故障分类

实际工业过程数据的局部特性一般都较为复杂,不利于样本特征的提取和故障分类精度的提高.针对此问题,本文提出一种集成的局部费舍尔判别分析(ILFDA)模型,可以同时从变量和样本两个维度挖掘数据的局部结构特征,提高故障分类的性能并降低建模的难度.首先,根据过程的结构原理对复杂系统进行分块,从而可以有效获取变量维度的数据局部信...     

核参数判别选择方法在核主元分析中的应用

针对核主元分析(KPCA)中高斯核参数β的经验选取问题,提出了核主元分析的核参数判别选择方法。依据训练样本的类标签计算类内、类间核窗宽,在以上核窗宽中经判别选择方法确定核参数。根据判别选择核参数所确定的核矩阵,能够准确描述训练空间的结构特征。用主成分分析(PCA)对特征空间进行分解,提取主成分以实现降维和特征提取。判别核窗宽方法在分类密集区域选择较小窗宽,在分类稀疏区域选择较大窗宽。将判别核主成分分析(Dis-KPCA)应用到数据模拟实例和田纳西过程(TEP),通过与KPCA、PCA方法比较,实验结果表明,Dis-KPCA方法有效地对样本数据降维且将三个类别数据100%分开,因此,所提方法的降维精度更高。     

一种改进的线性判别分析算法在人脸识别中的应用

线性判别分析算法是一种经典的特征提取方法,但其仅在大样本情况下适用。本文针对传统线性判别分析算法面临的小样本问题和秩限制问题,提出了一种改进的线性判别分析算法ILDA。该方法在矩阵指数的基础上,重新定义了类内离散度矩阵和类间离散度矩阵,有效地同时提取类内离散度矩阵零空间和非零空间中的信息。若干人脸数据库上的比较实验表明了ILDA在人脸识别方面的有效性。     

基于局部均值的广义散度差无监督鉴别分析

为了将局部信息有效地运用到特征抽取并提高算法的鲁棒性,同时考虑到在人脸识别应用中出现的高维小样本问题,提出了一种基于局部均值的广义散度差无监督鉴别分析。该方法利用样本的非局部均值散度与倍的局部均值散度之差作为鉴别函数,不仅保留了样本分布的局部信息,而且避免了局部均值散度可能奇异的问题,并给出了算法的识别率随模型参数变化的曲线。YALE和FERET人脸数据库上的实验结果表明了该方法的有效性。