基于统计模量和局部近邻标准化的局部离群因子故障检测方法

针对多工况过程数据的批次不等长、中心漂移、工况结构不同等特点,提出基于统计模量和局部近邻标准化的局部离群因子故障检测方法（SP-LNS-LOF）。首先计算每个训练样本的统计模量;然后使用局部近邻集标准化统计模量,得到标准样本;最后计算标准化样本的局部离群因子,并将其作为检测指标,将局部离群因子的分位点作为检测控制限,当在线样本的局部离群因子大于检测控制限时,判定其为故障;否则为正常。统计模量提取过程的主要信息,且消除批次不等长的影响;局部近邻标准化克服工况中心漂移和工况结构不同的困难;局部离群因子度量样本的相似度,实现故障样本和正常样本的分离。进行了半导体蚀刻过程故障检测仿真实验,实验结果表明SP-LNS-LOF检测出了全部21个故障,比主元分析（PCA）、核主元分析（kPCA）、基于k近邻的故障检测（FD-kNN）、局部离群因子（LOF）方法具有更高的检测率。理论分析和仿真实验说明SP-LNS-LOF方法适用于多工况过程故障检测,具有较高的故障检测效率,能保证多工况生产过程的安全性。     

工业过程数据异常检测的改进局部离群因子法

局部离群因子(LOF)是对过程数据的局部离群程度的定义,然而工业过程对数据异常检测的实时性要求高,要求出所有采样点的离群因子计算量较大。故本文对LOF算法进行相应的改进,采用k-近邻计算对象的局部可达密度,同时利用1种预处理采样点的方法CDC(Closest Distance to Center),通过计算每个点到中心点的距离先对采样点进行修剪,剔除大部分不可能是离群点的采样点,只需要计算剩余点改进的LOF值,从而提高离群点检测的效率。最终通过对TE过程数据仿真,说明在保证离群点检测准确性的情况下,相比于LOF缩短了算法运行的时间。     

基于改进的局部近邻标准化和kNN的多阶段过程故障检测

针对多阶段过程数据具有多中心和各工序结构不同的特征问题,提出了一种基于改进的局部近邻标准化和k近邻的故障检测（ILNS-kNN）方法。首先寻找样本的前k个近邻样本的前K局部近邻集;其次使用局部近邻集的均值和标准差来标准化样本,获得标准样本;最后在标准样本集上计算样本的累积近邻距离作为检测指标进行故障检测。改进的局部近邻标准化（ILNS）将各阶段数据的中心平移到原点,并且调整各阶段数据的离散程度,使之近似相等,从而将多阶段过程数据融合为服从单一多元高斯分布的单阶段数据。进行了青霉素发酵过程故障检测实验。实验结果表明ILNS-kNN方法对所设置的六类故障的检测率高于97%。ILNS-kNN方法在保持对一般多阶段过程故障的检测能力的同时,能够实现对阶段方差差异显著的多阶段过程故障的检测,从而更好地保证多阶段生产过程的安全性和产品的高质量。     

基于局部近邻标准化和动态主元分析的故障检测策略

针对工业过程的动态和多模态特性,提出一种基于局部近邻标准化（LNS）和动态主元分析（DPCA）相结合的故障检测方法（LNS-DPCA）。首先,在训练数据集中寻找样本的K近邻集;然后,应用K近邻集的均值与标准差对当前样本进行标准化处理;最后,在新的数据集中应用DPCA方法确定T²和SPE控制限进行故障检测。LNS方法能够消除过程的多模态特征,使得标准化后数据近似服从多元高斯分布,且保持过程离群点偏离正常样本轨迹;而结合DPCA方法则能够提高对具有动态特性过程的监视性能。利用数值例子和青霉素发酵过程进行仿真,并将测试结果与主元分析法（PCA）、DPCA、K近邻故障检测（FD-KNN）等方法进行对比分析,验证了LNS-DPCA方法的有效性。     

基于共享反K近邻的局部离群点检测算法

离群点检测和分析离群模式隐含的特征是离群点挖掘的重要研究内容.现有离群点检测算法存在两个明显的不足:根据离群度检测离群点,难以确定离群点的数量;忽略了与离群点邻接的聚类信息,不能提供解析离群模式的有效证据.为此,提出一种基于共享反K近邻的离群点检测算法,首先定义了一种对密度和维数变化不敏感的共享反K近邻相似度,然后应用聚类方法将数据集划分为聚类簇和包含离群点的离群簇,从而获取数据集中的离群点及解析离群点的聚类结构.仿真结果表明,反K近邻算法比现有方法更能精确地检测数据集中的局部离群点,具有很好的控制性能.     

基于改进近邻标准化主多项式的故障检测研究

针对过程数据的多模态和非线性的特征,提出了改进的局部近邻标准化和PPA结合的过程故障检测方法.首先寻找每个样本的第一近邻样本,再寻找第一近邻样本的局部前k近邻集,用近邻集的均值和标准差进行数据标准化,最后使用主多项式分析(PPA)对标准化处理后的数据建模,计算T2和SPE统计量,并确定控制限进行故障检测.主多项式分析使...     

基于近邻关系的离群约简搜索算法

针对传统离群点检测过程中属性多、维度大等问题,结合粗糙集理论,提出一种基于近邻关系的离群约简搜索算法。利用属性约简技术解决对象不相容的问题,并有效缩减离群搜索的属性空间。计算任意点与其他所有点间的距离和,通过计算基于近邻的加权离群因子来判定离群点,并在通用数据集上进行测试。实验结果表明,该离群检测算法的搜索精度较高。     

基于网格查询的局部离群点检测算法

针对基于密度的局部离群因子算法（LOF），需要计算距离矩阵来进行[k]近邻查寻，算法时间复杂度高，不适合大规模数据集检测的问题，提出基于网格查询的局部离群点检测算法。算法利用距离目标网格中的数据点最近的[k]个其他数据点，一定在该目标网格或在该目标网格的最近邻接网格中这一特性，来改进LOF算法的邻域查询操作，以此减少LOF算法在邻域查询时的计算量。实验结果证明，提出的LOGD算法在与原LOF算法具有基本相同的检测准确率的情况下，能够有效地降低离群点检测的时间。     

基于标准距离k近邻的多模态过程故障检测策略

工业产品的生产经常需要在不同模态间切换,多模态过程数据具有多中心和方差差异大等特点.针对多模态过程数据的特征,通过构造标准距离,提出了基于标准距离k近邻的故障检测策略(SD–kNN).首先在标准距离度量下计算样本与其前k近邻的距离;其次将近邻距离的平方和的均值作为样本的统计量D~2;最后,根据D~2的分布确定检测方法的控制限,当新样本的D~2大于控制限时,判定其为故障,否则为正常.标准距离使不同模态中样本间的近邻距离能够在同一尺度下度量,使得SD–kNN的D~2能够准确反映样本间的相似程度.进行了数值模拟过程和青霉素发酵过程故障检测实验. SD–kNN方法检测出了数值模拟过程的全部故障和青霉素过程95%以上的故障,相对于PCA, kPCA, FD–kNN等方法具有更高的故障检测率. SD–kNN继承了FD–kNN对一般多模态过程的故障检测能力,还能够对方差差异显著的多模态过程进行故障检测.     

一种基于密度的局部离群点检测算法DLOF

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.提出了一种基于密度的局部离群点检测算法DLOF.该方法通过引入信息熵用于确定各对象的离群属性,在计算各对象之间的距离时采用加权距离,并给离群属性较大的权重,从而提高离群点检测的准确度.另外,该算法在计算离群因子时,采用了两步优化技术,并对采用这两步优化技术后算法的时间复杂度进行了详细分析.理论分析和实验结果表明了该方法是有效可行的.     

基于方形对称邻域的局部离群点检测方法*

针对NDOD(outlier detection algorithm based on neighborhood and density)算法在判断具有不同密度分布的聚类间过渡区域对象时存在的不足,以及为了降低算法时间复杂度,提出一种基于方形对称邻域的局部离群点检测方法。该算法改用方形邻域,吸收基于网格的思想,通过扩张方形邻域快速排除聚类点及避免"维灾";通过引入记忆思想,使得邻域查询次数及范围成倍地减小;同时新定义的离群度度量方法有利于提高检测精度。实验测试表明,该算法检测离群点的速度及精度均优于NDOD等算法。     

基于动态多向局部离群因子的在线故障检测*

针对化工间歇生产过程的多模态问题,为了提高故障检测性能,将滑动窗口技术与局部离群因子(LOF)算法相结合,提出了一种新的动态多向局部离群因子(Dynamic Multiway Local Outlier Factor,DMLOF)用于工业过程在线故障检测的方法。首先将间歇过程数据展开成二维数据,利用滑动窗口技术分别在时间片内运用局部离群因子算法计算LOF统计量,并利用核密度估计(KDF)确定控制限。其次,对于新来数据标准化处理后分别在相应窗口内投影,确定新数据的LOF统计量并与控制限比较进行故障检测。最后通过青霉素发酵过程的仿真实验结果验证了该算法的有效性。     

Integrating independent component analysis and local outlier factor for plant-wide process monitoring

We propose a novel process monitoring method integrating independent component analysis (ICA) and local outlier factor (LOF). LOF is a recently developed outlier detection technique which is a density-based outlierness calculation method. In the proposed monitoring scheme, ICA transformation is performed and the control limit of LOF value is obtained based on the normal operating condition (NOC) dataset. Then, at the monitoring phase, the LOF value of current observation is computed at each monitoring time, which determines whether the current process is a fault or not. The comparison experiments are conducted with existing ICA-based monitoring schemes on widely used benchmark processes, a simple multivariate process and the Tennessee Eastman process. The proposed scheme shows the improved accuracy over existing schemes. By adopting LOF, the monitoring statistic is computed regardless of data distribution. Therefore, the proposed scheme integrating ICA and LOF is more suitable for real industry where the monitoring variables are the mixture of Gaussian and non-Gaussian variables, whereas existing ICA-based schemes assume only non-Gaussian distribution.     

基于自然邻居邻域图的无参数离群检测算法

数据挖掘领域,基于最近邻居思想的离群检测算法在面对复杂数据时,很难在没有足够先验知识条件下进行适当的参数选择。为了解决这个问题,本文在自然邻居方法的基础上,提出一种利用加权自然邻居邻域图进行离群检测的算法。该算法在整个过程不需要人为设置参数,并且能在不同分布特征的数据中准确找到数据集中的全局离群点和局部离群点。人工数据集和真实数据的离群检测结果均证明,本算法能够取得和有参数的算法中最优参数相近的效果,算法检测结果远好于对参数敏感算法的大部分情况,且更优于对参数不敏感的算法,具有更强的普适性和实用性。     

Key principal components with recursive local outlier factor for multimode chemical process monitoring

Owing to various manufacturing strategies and demands of markets, chemical processes often involve multiple operating modes. How to identify mode from multimode process data collected under both stable and transitional modes is an important issue. This paper proposes a novel mode identification algorithm-recursive local outlier factor (RLOF) based on the sequential information in the time scale and the density information in the spatial scale. In this algorithm, not only the number of modes does not need to be determined in advance, but also details of mode switching can be acquired. In addition, the principal components (PCs) chosen by the variance of overall dataset in principal component analysis (PCA) cannot guarantee that all variables express information as completely as possible. Using the defined cumulative percent expression (CPE), this study chooses key PCs (KPCs) according to each variable. Moreover, fault diagnosis is realized via the contribution of every variable to key PCs. Finally, the monitoring performance is evaluated under the Tennessee Eastman (TE) benchmark and the continuous stirred tank reactor (CSTR) process.     

局部近邻标准化偏最小二乘的多模态间歇过程故障检测

本文针对多模态间歇过程数据多中心和模态方差差异明显的问题,提出了一种基于局部近邻标准化偏最小二乘方法.首先,采用统计模量方法处理间歇过程数据,再利用局部近邻标准化方法将统计模量后的训练数据进行高斯化处理,建立偏最小二乘监控模型,确定控制限;然后,同样对统计模量后的测试数据进行局部近邻标准化处理,再计算测试数据的高斯偏最小二乘监控指标,进行过程监视及故障检测.最后,通过数值实例和青霉素发酵过程验证方法有效性.实验结果表明所提方法解决了故障样本近邻集跨模态问题,对多模态数据具有更好的故障检测能力.     

基于全局最近邻的离群点检测算法

针对全局最近邻离群点检测算法的效率问题,为了能够在数据集中快速准确地检测离群点,运用属性约简技术,将离群点的搜索简约到较小的最具代表性的属性子空间中进行,从而有效降低属性空间搜索的复杂度。在此基础上,通过计算基于近邻的加权离群因子实现离群点的检测并提出了相应的算法。实验表明,该离群点算法具有较好的适应性和有效性。     

基于熵度量的空间邻域离群点查找

离群点的查找算法主要有两类：第一类是面向统计数据,把各种数据都看成是多维空间,没有区分空间维与非空间维,这类算法可能产生错误的判断或找到的是无意义的离群点;第二类算法面向空间数据,区分空间维与非空间维,但该类算法查找效率太低或不能查找邻域离群点。引入熵权的概念,提出了一种新的基于熵权的空间邻域离群点度量算法。算法面向空间数据,区分空间维与非空间维,利用空间索引划分空间邻域,用非空间属性计算空间偏离因子,由此度量空间邻域的离群点。理论分析表明,该算法是合理的。实验结果表明,算法具有对用户依赖性小、检测精度和计算效率高的优点。