统计监控建模离群点检测数据预处理高效算法

基于多向主元分析(multi-way principal component analysis,MPCA)(包括主元分析(principal component analysis,PCA))的统计监控模型易受建模数据中离群点影响,将数据点的k-最近邻(k-nearest neighbor,k-NN)距离dk作为离群度指标能有效地发现非线性数据集中的离群点,但现有的基于该定义的鲁棒离群点检测算法对不同尺度的中心化和标准化方法非常敏感,且需要计算每个数据点的dk,引起巨大的计算开销.提出一种改进尺度的近邻修剪(modified scale neighborhood pruning,MSNHP)高效鲁棒离群点检测算法用于对统计监控建模数据集的预处理.该算法利用改进尺度得到离线建模正常数据的均值和标准差,并对数据进行中心化和标准化处理;在每次dk查询过程中计算出其他点的dk上界用于直接修剪非离群点,以减少dk查询的次数;并通过优化搜索次序提高修剪效果和减少每次dk查询的计算开销.将该算法应用于β-甘露聚糖酶发酵间歇过程离群点检测,与其他鲁棒离群点检测算法相比,应用结果表明该算法明显减少了计算开销,对数据集数据个数和算法参数都具有更好的伸缩性.     

航空发动机气路参数偏差值平滑处理技术

为保留反映航空发动机故障信息或操作状态信息的真实突变数据,提出一种离群点挖掘与类指数平滑算法相结合的数据平滑处理技术.采用基于统计学的滚动样本离群点挖掘算法进行离群点挖掘,对非离群点的突变数据采用基于权重分配的类二次指数平滑算法进行滚动平滑.以厂家系统输出的平滑值作为学习目标,以均方误差最小化为目标进行参数优化.采用所提出的平滑处理技术及十点平滑算法对偏差值进行平滑处理,并与厂家系统的原始平滑值对比可知,提出的数据平滑处理技术能够保留真实突变数据,同时实现发动机气路参数偏差值的合理平滑.     

基于核函数距离测度的LLE降维及其在离群聚类中的应用

局部线性嵌入算法(locally linear embedding,LLE)是一种流形降维方法,在高维稀疏数据空间中,针对LLE不适合稀疏采样和欧氏距离公式的缺陷,研究该算法的扩展,引入核函数,并将样本映射到高维特征空间,核映射改善了样本的空间分布,改进的LLE方法在适当选取近邻点个数情况下,可得到良好的效果.对从高维采样数据中恢复得到低维数据集,通过本文提出的离群数据假设,并结合本文给出的离群聚类方法埘所得低维数据是否是离群数据进行判别.仿真实验的结果表明了该方法能够有效地发现高维数据集中的离群点,与此同时,该算法具有参数估计简单、参数影响不大等优点,该算法为离群点检测问题的机器学习提供了一条新的途径.     

基于聚类和距离的大数据集离群点检测算法

针对已有的基于距离的离群点检测算法在大数据集上扩展性差的问题,提出了基于聚类和距离混合的大数据集离群检测算法.算法第一阶段采用层次聚类和k-means混合的层次k-means算法对数据进行聚类,并按照一个启发式规则对其进行排序.第二阶段在聚类的结果上采用嵌套循环算法进行离群检测,并通过两个剪枝规则进行高效舅枝,减少了离群检测时数据点之间距离计算的次数.理论分析和实验结果证明了算法的可行性和效率.     

基于聚类离群因子和相互密度的离群点检测算法

针对大多基于聚类的离群点检测算法往往需要人工输入参数,对于不同的数据集很难选择一个合适参数的问题,将无参数的基于自然邻居的离群点检测算法的自然邻居搜索算法和密度峰值聚类算法相结合,提出一种基于聚类离群因子和相互密度的离群点检测算法。该算法使用相互密度和γ密度构造决策图,将γ密度异常大的样本点作为聚类中心进行聚类,最后根据聚类的离群因子找出离群聚类边界检测离群点,该算法不需要人工输入参数。在模拟数据集和真实数据集下进行了实验,证明了所提算法能很好地进行聚类和离群数据的挖掘。     

一种基于偏离的局部离群点检测算法

针对现有的局部离群点检测算法对数据对象不加分区,致使计算复杂度高的问题,提出了一种基于偏离的局部离群点检测算法.该算法首先对数据集进行分区,将可能存在的局部离群点与其紧邻的簇划分到一个数据块中,然后在每个数据块内,根据离散系数刻画各个数据对象的偏离度,从而求得每个数据对象在其所属的数据块内的局部偏离因子,发现可能存在的局部离群点.理论分析和实验结果表明,该算法具有良好的识别局部离群点的能力,检测的准确率和时间效率均优于经典的LOF算法.     

基于鲁棒M估计的间歇过程离群点检测

以多元统计分析技术为核心的间歇过程建模、在线监测逐渐成为过程工业的关注焦点,然而过程数据中存在的大量离群点将直接影响上述方法的可靠性,为此提出了一种基于鲁棒M估计的间歇过程离群点检测方法.该方法首先通过积分方程离散化将模型参数估计问题转化为最小二乘优化问题;分别利用Tikhonov正则化方法及鲁棒M估计消除噪声和离群点对模型参数估计的影响;最后通过分析各个样本点的权值,实现过程数据的离群点检测.将所提出的方法应用于半间歇反应过程,实验结果验证了方法的可行性与有效性.     

智能电网设备监控运行大数据平台总体设计

为了应对智能电网电力设备数量多、分布广而带来的设备运行维护监管难度大的问题,基于物联网、云计算和智能终端等新技术的应用,结合电力设备运行管控的基本特征,应用大数据分析处理技术设计了一种智能电网设备监控运行大数据平台,并在某省级电网的电力设备监控管理中进行了示范应用。实际应用结果表明,智能电网设备监控运行大数据平台实现了电力设备监管、运行数据采集、故障预警和故障诊断的自动化和智能化,能够有效解决电力设备运维安全问题,提高电力设备的安全管理水平。     

基于半监督模糊核聚类的齿轮箱离群检测方法

研究核聚类方法在机械故障检测中的应用问题,将基于半监督学习的模糊核聚类方法用于齿轮箱离群故障的检测。机械故障早期检测的难点是故障特征微弱、样本差异小,基于半监督学习的核聚类方法利用少量已知模式的样本,结合大量未知模式的样本进行半监督学习,得到较好的识别效果。进行齿轮箱正常运行和齿轮轻微点蚀的故障试验,比较基于半监督学习的核聚类方法与无监督学习核聚类方法的检测效果。试验结果表明,基于半监督学习的核聚类方法性能更优越。     

自相关结合灰色关联度的轴承早期故障诊断方法

针对滚动轴承性能衰退指标敏感度低且退化起始点难以检测的问题,本文提出了自相关函数结合灰色关联度(Autocorrelation function and gray relational degree,AF-GRD)的轴承早期故障诊断方法。首先,基于希尔伯特变换和自相关函数处理轴承全寿命数据样本组获得自相关系列函数。然后,提取轴承运行初期的第一组数据作为参考样本,计算其余样本和参考样本的灰色关联度并构建轴承性能衰退指标。最后,根据该指标的变化趋势和健康阈值确定轴承早期故障发生的时间段,截取该时段的数据样本进行希尔伯特包络谱分析实现轴承早期故障诊断。利用实验室数据库完成对轴承早期故障诊断,结果表明：所提方法敏感度高而且可以完成轴承早期退化检测。     

基于累积全熵的子空间聚类离群点检测算法

针对累积互信息方法存在的最佳聚类子空间选择不稳定和计算复杂的问题,给出累积熵的链式法则、累积全相关、累积全熵的计算方法,采用累积全熵在连续数据集上挖掘最佳聚类子空间,并在最佳聚类子空间中进行离群点挖掘,提出基于累积全熵的子空间聚类离群点检测算法。分别在真实数据集和虚拟数据集上验证了所提算法的有效性和可伸缩性。实验表明,所提算法进一步提高了子空间离群点的挖掘效率。     

新型电力设备运行工况诊断分析技术研究

电力设备的安全、稳定运行与国民经济及人民生活息息相关,电力设备故障诊断方法一直以来都是电力领域研究的热点问题。本文以高压电力设备断路器行程信号构建设备故障样本库,用于研究电力设备故障诊断新方法,并在故障识别阶段采用人工智能技术,用新型机器学习算法极限学习机对特征数据进行模式识别。该诊断方法大大提高了故障诊断的准确度,给传统电力设备故障状态诊断提供了新的分析理念和技术支持。     

机械绿色再制造中工件表面缺陷离群数据挖掘

工件表面离群数据的挖掘是一种通过现代科学技术方法对工件表面进行扫描取点，并在获取。的点群中找出离群的缺陷点，然后对这些有质量缺陷的离群点进行修复，以达到合格的质量标准。在该挖掘过程中，尚有一些问题有待解决，例如：如何判断什么样的点是离群点，选出离群点的标准是什么等。且不同的扫描方法和不问的检测技术都有着不一样的效果，这些都要通过实践不断地改进。     

[数据建模]面向智能生产维护的大数据建模分析方法

从当前的车间离散制造过程大数据应用特性出发,基于车间智能代理,实现了制造过程大数据的采集、处理分析,建立的制造过程大数据采集模型可实现对工序数据集的封装。采用基于聚类的方法对工序数据集进行离群点检测标记,实现对制造资源生产状态的描述与量化。建立了工序级数据特征模型,结合改进的相似元分析方法,对工序过程数据多层次包装描述和制造工序的相似性进行了评价。开发了车间底层智能管理系统,并将其运用于企业生产实际。     

面向智能生产维护的大数据建模分析方法

从当前的车间离散制造过程大数据应用特性出发,基于车间智能代理,实现了制造过程大数据的采集、处理分析,建立的制造过程大数据采集模型可实现对工序数据集的封装。采用基于聚类的方法对工序数据集进行离群点检测标记,实现对制造资源生产状态的描述与量化。建立了工序级数据特征模型,结合改进的相似元分析方法,对工序过程数据多层次包装描述和制造工序的相似性进行了评价。开发了车间底层智能管理系统,并将其运用于企业生产实际。     

基于法向修正的双边滤波点云去噪处理

为了在降噪的同时保持点云模型的几何特征,并较好地处理离群点,针对不同种类的噪音问题,提出了一种基于法向修正的双边滤波点云综合去噪算法。该算法先对点云模型进行空间单元格划分,构造基于单元格最佳连通域,保留内部点云数据并去除点云模型离群点,然后根据双边滤波需要求法线的特点,对点云模型进行法向修正后再进行滤波处理。实验结果表明该算法简单快捷,能够很好地去除离群点,在去噪的同时可以很好地保留点云模型的几何特征,在处理效率和稳定性方面均优于单一的双边滤波算法。     

基于EWT-LOF的热工过程数据异常值检测方法

异常数据检测是热工过程数据处理的重要组成部分,也是进行系统建模、优化、控制的基础。针对热工过程频繁变工况导致异常数据检测困难的情况,提出一种将信号分解方法与基于密度的检测方法相结合的热工过程异常值检测方法。首先利用经验小波变换方法提取热工过程时间序列的运行趋势,去除序列运行趋势后采用局部离群因子方法对各数据点求取其局部异常值,最后使用箱型图的方法确定序列异常点。通过使用某电厂1 000 MW机组的负荷数据作为实验数据,分别设置0.5%、1%、2%、5%、10%5种误差验证方法的有效性。实验结果表明,所提异常检测方法除对动态过程和稳态过程均具有适用性外,在以上5种误差条件下均取得了较高的检测准确率。     

基于深度学习的电力设备运行状态实时监控方法

传统电力设备在使用的过程中易发生运行状态分析残差高等一系列问题,导致运行效率较低,因此,现提出基于深度学习的电力设备运行状态实时监控方法。首先,基于深度学习算法采集变压器数据。其次,智能监控与识别电力设备运行状态,保证了电力设备的安全运行,使得置信风险最小。最后,将电力设备运行状态数据进行可靠存储。实验结果 ：基于深度学习的电力设备运行状态实时监控方法在检测出异常状态的时间明显低于传统机器学习方法1、方法2。相较于文中方法,方法1最多所需时间要多出16.06s,方法2最多所需时间要多出20.48s,证明了文中方法的有效性。     

基于激光雷达的无人驾驶系统三维车辆检测

针对无人驾驶系统环境感知中的三维车辆检测精度低的问题,提出了一种基于激光雷达的三维车辆检测算法.通过统计滤波与随机抽样一致算法(Random Sample Consensus,RANSAC)实现地面点云分割,剔除激光雷达数据冗余点及离群点;改进3DSSD深度神经网络,利用融合采样提取点云中车辆语义信息与距离信息;根据特...     

基于改进的多元离群检测方法的风机齿轮箱早期故障诊断

针对风电机组运行工况波动性以及机组早期故障特征不易提取的特点,提出一种基于改进的多元离群监测方法来实现风机齿轮箱故障的早期诊断。运用阶比重采样方法对原始振动信号进行预处理,并对处理结果进行量纲一因子分析;通过马氏距离建立风电齿轮箱的早期故障识别模型;利用多元线性回归改进多元离群检测算法进行实际数据的分析计算。结果表明,该方法较原始方法能够更早地察觉出风电齿轮箱早期故障。