LLE方法的分类与研究

对于低维数据的分类很常见, 但是对于高维数据的分类却不多, 主要是因为维度太高. 尤其对于分布不均匀的样本集, 传统的局部线性嵌入算法易受到近邻点个数的影响, 为了克服这一问题, 提出改进距离的局部线性嵌入算法. 通过实验表明, 改进距离的局部线性嵌入算法能使原来的样本集尽可能的分布均匀, 从而降低近邻点个数的取值对局部线性嵌入的影响, 在保证分类准确的前提下, 达到了有效缩短时间的目的.     

基于时空近邻标准化和局部离群因子的复杂过程故障检测

针对复杂过程数据的非线性、动态性和中心漂移等特征,提出了基于时空近邻标准化和局部离群因子的故障检测方法(TSNS–LOF).首先使用训练样本在时空两个方向上的近邻集来标准化训练样本;然后在标准样本集上计算样本的局部离群因子,并确定其上分位点作为检测控制限,进行在线故障检测.时空近邻标准化解决了复杂过程数据的非线性、动态性和中心漂移的问题;局部离群因子通过度量样本的相似度实现了故障样本和正常样本的分离.将TSNS–LOF应用于田纳西–伊斯曼过程(TE)过程进行故障检测实验,结果表明相对于主元分析、动态主元分析、k近邻、局部离群因子等方法, TSNS–LOF对故障预警更加及时且具有更高的故障检测率.理论分析和仿真实验说明TSNS–LOF方法适用于具有动态性或多模态特性或两者兼具的过程故障检测,能够更好地保障生产过程的安全性和产品的高质量.     

基于混合型判别分析的工业过程监控及故障诊断

工业过程数据具有规模性大、复杂性高、变量多、关联性强等特点.如何从数据出发准确并快速地发现故障并处理, 保证过程高效运行意义重大.本文针对复杂的工业过程, 提出了一种多方法结合的混合型过程监控与故障诊断方法, 完成数据分类, 构建故障模型库, 故障在线诊断及可视化相关处理.首先通过常规主成分分析(Principal component analysis, PCA)方法对历史数据进行初筛, 区分出正常和故障信息, 然后利用聚类方法对故障数据集进行分类, 接着利用局部线性指数判别分析方法(Local linear exponential discriminant analysis, LLEDA)建立故障模型库进而进行故障诊断.本文将基于监督学习的LLEDA方法拓展到无监督学习, 便于复杂工业大量无标签数据的处理.最后利用典型的田纳西伊士曼(Tennessee Eastman, TE)过程对所提出的方法进行有效性验证.     

基于LNS-DEWKECA算法的多模态工业过程故障检测

受市场需求主导,工业过程需要在多种工作模态下切换,数据往往呈现多模态复杂分布特性,研究多模态的故障检测技术对于保障工业过程的安全运行具有重要意义.为此,提出一种基于局部近邻标准化(LNS)和方向熵加权核熵成分分析(DEWKECA)的故障检测算法.利用LNS实现多模态数据的标准化,相比于全局标准化, LNS可以有效消除多模态特性;考虑到故障样本与正常样本在变化趋势上的差异,定义样本变化方向的信息熵为方向熵,用来衡量样本变化方向的无序程度,从而利用DEWKECA实现数据降维,可以更有效提取数据变化方向特征;考虑到多模态数据往往服从非高斯分布,采用局部离群因子(LOF)算法建立监控统计量,根据核密度估计确定其控制限.最后,通过数值例子及TE过程仿真验证所提出算法的有效性.     

基于局部保持嵌入–K近邻比率密度的半导体 蚀刻过程故障诊断策略

针对多模态间歇过程存在数据维度高且方差差异较大的特征,提出一种基于局部保持嵌入–K近邻比率密度(NPE–KRD)规则的故障检测方法.首先,利用局部保持嵌入(NPE)方法将原始的高维数据投影到低维空间;其次,在低维空间通过计算样本的密度及其前K近邻密度的均值来建立K近邻比率密度(KRD);最后,根据核密度估计法确定统计量控制限并进行故障诊断. NPE方法既能够在低维空间保持数据局部近邻结构,又能够降低故障检测过程的计算复杂度.通过引入比率密度, NPE–KRD可以降低多模态方差结构差异对故障检测的影响,提高过程故障检测率.通过数值例子和半导体工业过程的仿真实验,并与主元分析、K近邻、局部保持嵌入等方法进行比较,验证了本文方法的有效性.     

PCA_SVM的多故障分类方法在TE过程中的应用

故障识别在化工过程监控中有着至关重要的作用.准确的故障识别能够帮助操作员及时发现并排除故障,避免生产事故的发生.本文运用传统PCA方法对TE过程中5种典型故障数据进行降维,并将所有故障数据投影到正常工况样本的PCA主元空间中,由正常数据样本计算出T2统计量的阈值,根据HotellingT2统计原理,对所有故障数据进行检测,将榆测到的故障样本通过SVM的多分类方法进行故障分类.通过TE过程仿真平台的实验表明,PCA SVM方法与PCA KNN、C SVM方法相比较,算法简单,容易实现,计算速度较快,并且突破了很多文献中只有2类或3类故障谚{别的局限,同时可以达到较高的多分类准确率.     

基于AC-CNN模型的过程故障识别

针对复杂工业过程中故障变量特征提取效率低,分类数量较少且故障识别率较低等问题,提出基于非对称卷积核(asymmetric convolutions)的卷积神经网络(CNN)的工业过程故障识别模型。采取故障变量重构对故障数据进行预处理;引入非对称卷积核模型对重构后的输入故障变量进行特征提取,提高特征提取的效率;根据CNN模型改进得到具有AC架构的AC-CNN模型,识别TE(田纳西-伊斯曼)过程故障的在线测试集样本,实验结果表明,所提方法对TE过程故障数据集的识别效果明显,验证了模型的有效性和优异性。     

基于密度标准误差的局部保持投影故障检测策略

针对协方差结构具有显著差异的多模态过程故障检测问题,本文提出一种基于密度标准误差的局部保持投影故障检测策略(LPP-DSE).首先,根据样本距离矩阵确定样本截止距离;接下来,应用截止距离计算每个样本的本质密度及其前k近邻样本的估计密度;最后,通过样本的密度误差及其k近邻密度的标准差构建统计量并完成过程监控.本文方法通过应用局部保持投影(LPP)对过程数据进行维数约减可以保证过程监控的及时性;同时,通过设计密度标准误差(DSE)统计量可以有效提高多模态过程的故障检测率.此外,本文给出基于贡献图的诊断方法能够准确识别故障发生的原因.通过数值例子和半导体工业实例测试,并与主元分析、邻域保持嵌入、局部保持投影、k近邻故障检测等方法比较,实验结果进一步验证了LPP-DSE方法的有效性.     

潜在属性空间树分类器

提出一种潜在属性空间树分类器(latent attribute space tree classifier,简称LAST)框架,通过将原属性空间变换到更容易分离数据或更符合决策树分类特点的潜在属性空间,突破传统决策树算法的决策面局限,改善树分类器的泛化性能.在LAST 框架下,提出了两种奇异值分解斜决策树(SVD (singular value decomposition) oblique decision tree,简称SODT)算法,通过对全局或局部数据进行奇异值分解,构建正交的潜在属性空间,然后在潜在属性空间内构建传统的单变量决策树或树节点,从而间接获得原空间内近似最优的斜决策树.SODT 算法既能够处理整体数据与局部数据分布相同或不同的数据集,又可以充分利用有标签和无标签数据的结构信息,分类结果不受样本随机重排的影响,而且时间复杂度还与单变量决策树算法相同.在复杂数据集上的实验结果表明,与传统的单变量决策树算法和其他斜决策树算法相比,SODT 算法的分类准确率更高,构建的决策树大小更稳定,整体分类性能更鲁棒,决策树构建时间与C4.5 算法相近,而远小于其他斜决策树算法.     

基于多模态的在线序列极限学习机研究

单一模态包含的物体信息有限,导致在物体材质识别分类中表现不佳,而传统多模态融合方法在样本训练过程中需要输入所有数据。提出一种多模态的多尺度局部感受野在线序列极限学习机方法。对物体不同模态样本运用改进的特征提取框架,利用多尺度局部感受野感知样本信息提取特征,并将不同模态特征融合后通过在线序列极限学习机进行训练学习。在线序列极限学习机在训练过程中增量式地输入样本进行训练,当有新数据需要训练时无需对所有数据重新训练。在TUM触觉纹理数据库上进行验证,实验结果表明,多模态融合的分类精度高于单模态的分类精度,且改进的特征提取框架可以显著提升分类性能。     

局部Fisher判别分析算法及仿真研究*

复杂化工过程常被多种类型的故障损坏,正常的训练数据无法建立准确的操作模型。为了提高复杂化工过程中故障的检测和分类能力,传统无监督Fisher判别分析(Fisher Discriminant Analysis,FDA)算法无法在多模态故障数据中的应用,本文提出基于局部Fisher判别分析(Local Fisher Discriminant Analysis,LFDA)的故障诊断方法。首先计算训练数据的局部类内和类间离散度矩阵,寻找LFDA的投影方向;其次把训练数据和测试数据向投影向量上投影,提取特征向量;最后计算特征向量间的欧氏距离,运用KNN分类器进行分类。把提出的LFDA方法应用到Tennessee Eastman(TE)过程,监控结果表明,LFDA的效果好于FDA和核Fisher判别分析(Kernel Fisher Discriminant Analysis,KFDA),说明LFDA方法在分类及检测不同类的故障方面具有高准确性及高灵敏度的优势。     

考虑局部均值和类全局信息的快速近邻原型选择算法

压缩近邻法是一种简单的非参数原型选择算法,其原型选取易受样本读取序列、异常样本等干扰.为克服上述问题,提出了一个基于局部均值与类全局信息的近邻原型选择方法.该方法既在原型选取过程中,充分利用了待学习样本在原型集中k个同异类近邻局部均值和类全局信息的知识,又设定原型集更新策略实现对原型集的动态更新.该方法不仅能较好克服读取序列、异常样本对原型选取的影响,降低了原型集规模,而且在保持高分类精度的同时,实现了对数据集的高压缩效应.图像识别及UCI（University of California Irvine）基准数据集实验结果表明,所提出算法集具有较比较算法更有效的分类性能.     

基于可区分度的连续空间属性约简算法研究

针对现有粗糙集属性约简方法中存在的连续数据处理时的信息丢失、粒化策略引入不一致信息、参数寻优困难等问题,提出一种适用于连续型数据、基于类别可区分度的非单调性启发式属性约简算法。首先以各样本的标签为依据对论域进行划分,同一标签的样本组合成一个簇,定义每个簇的类间可区分度和类内可区分度;其次,以最大化类间可区分度、最小化类内可区分度为约简原则,定义了一种新的属性重要性判别准则以确定最优约简集,从而提高后续分类器的分类性能。在十一个UCI数据集上与其他六种属性约简算法进行对比实验。结果表明,与六种算法相比,所提算法获得的约简集平均维度减小了1.16,平均分类精度提高了3.42%,其表现出更好的约简性能。     

Variable-weighted Fisher discriminant analysis for process fault diagnosis

Variable-weighted Fisher discriminant analysis (VW-FDA) is proposed to improve the fault diagnosis performance of the conventional FDA. VW-FDA incorporates the variable weighting into FDA. The variable weighting is used to find out each weight vector for all faults. After all fault data are weighted by the corresponding weight vectors, the summed fault data can be constructed to magnify each fault’s local characteristics. Then, VW-FDA is performed on the summed fault data rather than the original fault data. It is helpful to extract discriminative features from overlapping fault data. Moreover, the partial F-values with the cumulative percent variation are used for exactly variable weighting, which is indispensable to VW-FDA. The proposed approach is applied to Tennessee Eastman process. The results demonstrate that VW-FDA shows better fault diagnosis performance than the conventional FDA.     

基于防退化策略的多通道闭环BiLSTM在文本分类中的应用研究

双向长短时记忆(BiLSTM)及其变体能够处理可变长度序列,由于文本的复杂语义信息和文本数据嵌入维度的高维性,BiLSTM表现出低层次网络学习能力较弱,通过叠加网络层学习高层次的特征表示,容易出现网络退化问题.为解决这些问题,提出一种闭环BiLSTM模块用于丰富每一层网络结构隐状态的语义信息表示,同时采用残差连接和增强稀疏表示策略来优化模块,稀疏化隐状态特征向量减缓网络退化问题;最后利用加权融合的多通道词嵌入,将语义信息和情感信息在低维张量下实现融合来丰富输入层的文本表示.对情感分类和问题分类的数据集进行了实验验证,实验表明,提出模型在捕捉文本的情感信息表达上具有出色的性能,具有较好的分类精度和鲁棒性.     

全局与局部判别信息融合的转子故障数据集降维方法研究

针对传统的数据降维方法无法兼顾保持全局特征信息与局部判别信息的问题,提出一种核主元分析（Kernel principal component analysis,KPCA）和正交化局部敏感判别分析（Orthogonal locality sensitive discriminant analysis,OLSDA）相结合的转子故障数据集降维方法.该方法首先利用KPCA算法有效降低数据集的相关性、消除冗余属性,由此实现了最大程度地保留原始数据全局非线性信息的作用;然后利用OLSDA算法充分挖掘出数据的局部流形结构信息,达到了提取出具有高判别力低维本质特征的目的.上述方法的特点是通过同时进行的正交化处理可避免局部子空间结构发生失真,采用三维图直观显示出低维结果,以低维特征子集输入最近邻分类器（K-nearest neighbor,KNN）的识别率和聚类分析之类间距Sb、类内距Sw作为衡量降维效果的指标.实验表明该方法能够全面地提取出全局与局部判别信息,使故障分类更清晰,相应地识别准确率得到了明显提升.该研究可为解决高维和非线性机械故障数据集的可视化与分类问题,提供理论参考依据.     

基于局部结构的多尺度协作表示人脸识别算法

人脸识别在实际应用中,往往存在无法获取足够多的训练样本的情况,而在小样本情况下,协作表示的识别性能会受到严重影响。多尺度块协作表示算法能有效集成不同尺度下的分类结果,但其分类框架中子块的计算是相互独立的,忽略了块之间的结构关系。而局部结构法将图像划分为多个局部区域,每个局部区域的重叠块分布在相同的线性子空间中,该子空间可以反应块之间的结构关系,能提高多尺度块协作表示在小样本下的鲁棒性。因此提出了基于局部结构的多尺度块协同表示算法（Local Structure based Multi-Patch Collaborative Representation,LS_MPCRC）,在Yale B和AR人脸库上的实验结果证明,该算法在训练样本数目较少时具有优秀的识别性能。     

基于改进协作表示的人脸表情分类

如今,人脸表情的相关研究是非常热门的话题,研究者愈发的关注其相关分类算法.而提高分类的精度对人工智能等相关前沿领域具有实际的应用价值.目前图像分类的方法层见叠出,其中较为经典的有线性判别分析和稀疏表示等.针对图像分类计算复杂度高,特征利用率以及分类精度等相关问题,本文提出了一种改进的协作表示分类算法.首先采用分块加权局部二值模式对图像进行分块处理,得到每个子块的纹理特征向量,为了避免维度灾难使用主成分分析法进行降维,同时也能够提升算法的运行速度,最后采用竞争协作表示分类算法得到最终的分类结果.通过实验及结果分析对比表明,特征提取和协作表示算法的结合有着较好的分类效果.     

利用高判别低维深度特征的SAR船只分类

为充分利用深度特征的判别信息,提高船只分类准确率,提出利用低维度高判别的深度特征进行SAR船只分类的方法。采用ImageNet数据库预训练的VGG16卷积神经网络作为特征提取器,提取船只样本的深度特征;对深度特征进行t-SNE可视化,计算每类船只的类间分离度,选择对于每类船只样本来说类间分离度最大的深度特征;对选择的深度特征进行降维,采用基于KNN的级联二分类方法进行船只分类。利用高分辨率SAR船只数据集验证该方法,实验结果表明,相比传统的船只分类方法,其分类性能有明显提高。     

Gabor特征集结合判别式字典学习的稀疏表示图像识别

稀疏编码中字典的选择无论对图像重建还是模式分类都有重要影响,为此提出Gabor特征集结合判别式字典学习的稀疏表示图像识别算法.考虑到Gabor局部特征对光照、表情和姿态等变化的鲁棒性,首先提取图像对应不同方向、不同尺度的多个Gabor特征;然后将降维的增广Gabor特征矩阵作为初始特征字典,通过对该字典的学习得到字典原子对应类别标签的新结构化字典,新字典中特定类的子字典对相关的类具有好的表示能力,同时应用Fisher判别约束编码系数,使它们具有小的类内散度和大的类间散度;最后同时用具有判别性的重构误差和编码系数来进行模式分类.基于3个数据库的实验结果表明本文方法具有可行性和有效性.