基于VMD-INFORMER-LOF算法的变频器故障提前预警研究

针对风电机组变频器故障时常伴随剧烈温度变化的特点,本文提出一种基于VMD-Informer-LOF算法的故障检测方法。方案综合考虑风机状态变量对变频器的影响,利用变分模态分解(Variational Mode Decomposition, VMD)提取电流电压等电信号的平稳变化分量与高频干扰噪声,并结合Permutation Importance筛选对温度具有高灵敏性的变量。同时,基于故障时温度呈现为过低温,或过高温的特点,将Informer预测温度值和SCADA(Supervisory Control And Data Acquisition)系统实测值重组为二维序列,结合局部异常因子(Local outlier factor, LOF)算法识别变频器不同状态下的温度模式,进而实现高效的异常识别。经实验验证,本文所提出的VMD-Informer模型的温度预测拟合优度能够达到0.9841,效果优于LSTM(Long Short Term Memory)、XGBoost(Extreme Gradient Boosting)等时序预测方法;同时,结合滑动窗口划分数据,LOF算法能够有效对窗口内异常数据进行识别,在故障率阈值为0.2的情况下,能够实现提前约14小时发现故障,显著提高了故障预警效果。     

基于孤立森林与KDE-LOF的冷水机组故障检测

为了提升冷水机组微小故障的检测率,提出一种核密度估计的局部异常因子算法(KDE-LOF)结合孤立森林(iForest)的冷水机组故障检测策略。该策略通过使用孤立森林对实验数据异常值进行剔除,计算正常数据的LOF值作为统计量,并使用KDE确定控制限来完成模型的训练。通过监测数据LOF值是否超过设定的控制限进而判断是否出现故障。采用ASHRAE RP-1043数据集进行验证,并分析了该方法与主元分析和单类支持向量机的方法的优劣,结果表明该方法检测效果要优于其他两种模型,该方法在微小故障下检测率超过80%,性能最佳。     

南宁市2018年取用水监测数据质量评价

国家水资源监控能力建设项目取用水监控体系建设是落实最严格水资源管理信息化的关键。基于南宁市取用水监控体系 2018 年全年监测和 2017 年水资源公报年报等数据,采用对比分析和数据异常识别模型的方法,对不同行政区、行业,以及典型取水户的监测数据进行质量评价,并给出初步的数据修正思路。研究表明,不同行政区、时段、行业之间的数据质量各异,特别是不同行业之间的数据质量差异明显,灌区农业用水监测数据质量问题尤其突出。南宁市目前实际取水许可水量监控比例为 85.23%,总用水量监控比例约为 48.20%,南宁市取用水监控系统基本可为取水许可管理、用水量统计、水资源费核算等业务提供一定参考。     

一种结合互补集合经验模态分解和小波核极限学习机的短期电力负荷预测模型

电力系统的管理和调度对精确的负荷预测模型有着极高的要求。为全面提高负荷预测模型的性能,提出一种新型的结合互补集成经验模态分解(CEEMD)和小波核函数极限学习机(WKELM)的短期电力负荷组合预测模型。首先通过CEEMD将历史电力负荷数据自适应地分解为一系列相对平稳的子序列,对各分量建立小波核极限学习机的预测模型,预测各分量的负荷值并对其进行求和得到最终预测结果。用四种预测模型对真实的负荷数据进行训练预测,算例表明新模型在预测精度和效率上都具有一定优势,同时克服了传统EMD中容易出现的模态混叠问题以及ELM中存在的过拟合等缺陷,具有一定的实际应用潜力。     

基于邻域链的数据异常点检测

异常点检测(outlier detection)领域的大量研究都集中于一类“基于密度的”方法,这类方法能够克服许多传统异常点检测方法的缺陷,但仍大多使用基于几何距离的方式进行数据点局部密度的估计,导致在某些情况下反直观结果的出现.针对该问题,用一种基于邻域链的方法取代传统方法进行局部密度的估计,设计新的异常点检测方法.实验结果表明,对比经典的基于密度的异常点检测方法LOF(Local outlier factor)以及几种基于LOF的改进方法,所提出的方法能够更加准确地区分正常和异常数据点,避免反直观结果的出现.     

一种IGS站高程时间序列分析方法

针对IGS站高程时间序列经EEMD分解后含有残留噪声,导致信号重构效果降低的问题,引入互补集合经验模态分解(complementary ensemble empirical mode decomposition,CEEMD)方法对IGS站高程时间序列信号进行分解,利用平均周期与能量密度乘积准则进行噪声与信号分界点的判定。据此去除噪声分量,使去噪后的信号更加接近IGS站高程时间序列的真实特性。将基于CEEMD算法与基于EEMD、EMD算法的IGS站高程信号去噪效果进行对比分析,以BJFS站序列信号为分析对象的结果表明,采用EMD、EEMD、CEEMD 3种算法滤波后的信噪比分别为18.808 2、20.478 8、23.965 5,与EMD、EEMD算法相比,采用CEEMD算法滤波的信噪比分别提高了27%和17%,均方根误差指标分别降低了55%、41%。改善了EEMD分解的噪声残留问题,提高了信号重构的效果。     

基于互补型集成经验模态分解模糊熵和回声状态网络的短期电力负荷预测

为了提高短期电力负荷预测的精度,提出一种噪声互补型集成经验模态分解(CEEMD)模糊熵和泄漏积分型ESN(LiESN)的组合预测方法。为降低对负荷序列进行局部分析的计算规模以及提高负荷预测的准确性,首先采用CEEMD模糊熵将负荷时间序列分解为具有明显复杂度差异的负荷子序列;然后,通过对各子序列进行特性分析,分别构建相应的子LiESN预测模型;最后将各子序列的预测结果叠加得到最终预测值。将CEEMD模糊熵结合LiESN的组合预测方法应用于美国新英格兰地区短期电力负荷实例中,仿真结果表明,所提出的组合预测方法具有很高的预测精度。     

基于CEEMD的水下机器人MEMS陀螺降噪方法

MEMS陀螺仪工作时,容易受到各种噪声,尤其是高频噪声影响,不利于导航系统长时间工作,因此需要对数据实时去噪。互补集合经验模态分解(CEEMD)是一种按照自身尺度进行信号分解的算法,信号震荡随着分解级数逐渐减小,能够较好地分离高频和低频信号。以水下机器人MEMS陀螺仪为研究对象,根据水下实测数据,采用CEEMD分解陀螺信号,提取有效信息,并利用Allan方差验证CEEMD的有效性。仿真结果表明CEEMD对随机噪声、高频信号具有良好的降噪效果。     

基于记忆效应的局部异常检测算法

基于密度的局部异常检测算法(LOF算法)的时间复杂度较高,限制了其在高维数据集以及大规模数据集中的使用。该文通过分析LOF算法,引入记忆效应概念,提出具有记忆效应的局部异常检测算法——MELOF算法。实验测试表明,该算法的计算结果与LOF算法完全相同,而且能够大大缩短运行时间。     

改进鲸鱼算法构建混合模型的建筑能耗预测

建筑能耗数据具有非平稳和非线性特征,单一预测模型很难对其进行精准预测,提出一种用于建筑能耗短期预测的新型混合模型。利用互补集合经验模态分解方法(CEEMD)将波动性较大的能耗数据分解为一组本征模态函数和一个残差序列;基于反向学习、差分进化算法并引入控制参数对鲸鱼优化算法(WOA)进行改进,有效解决算法早熟收敛与陷入局部最优等问题,提出改进算法UWOA(upgraded whale optimization algorithm);利用UWOA优化Elman神经网络的权值与阈值,优化后的Elman神经网络对本征模态函数和残差序列进行预测并集成,得到能耗预测值。应用CEEMD-UWOA-Elman混合模型对上海某大型公共建筑能耗进行短期预测,结果显示混合模型获得很好的预测效果。     

基于密度的Top-n局部异常点快速检测算法

局部异常检测（Local outlier factor,LOF）能够有效解决数据倾斜分布下的异常检测问题,在很多应用领域具有较好的异常检测效果.本文面向大数据异常检测,提出了一种快速的Top-n局部异常点检测算法MTLOF（Multi-granularity upper bound pruning based top-n LOF detection）,融合索引结构和多层LOF上界设计了多粒度的剪枝策略,以快速发现Top-n局部异常点.首先,提出了四个更接近真实LOF值的上界,以避免直接计算LOF值,并对它们的计算复杂度进行了理论分析;其次,结合索引结构和UB₁、UB₂上界,提出了两层的Cell剪枝策略,不仅采用全局Cell剪枝策略,还引入了基于Cell内部数据对象分布的局部剪枝策略,有效解决了高密度区域的剪枝问题;再次,利用所提的UB₃和UB₄上界,提出了两个更加合理有效的数据对象剪枝策略,UB₃和UB₄上界更加接近于真实LOF值,有利于剪枝更多数据对象,而基于计算复用的上界计算方法,大大降低了计算成本;最后,优化了初始Top-n局部异常点的选择方法,利用区域划分和建立的索引结构,在数据稀疏区域选择初始局部异常点,有利于将LOF值较大的数据对象选为初始局部异常点,有效提升初始剪枝临界值,使得初始阶段剪枝掉更多的数据对象,进一步提高检测效率.在六个真实数据集上的综合实验评估验证MTLOF算法的高效性和可扩展性,相比最新的TOLF（Top-n LOF）算法,时间效率提升可高达3.5倍.     

基于iForest和LOF的流量异常检测

异常检测在现代大规模分布式系统的安全管理中起着重要作用,而网络流量异常检测则是组成异常检测系统的重要工具。网络流量异常检测的目的是找到和大多数流量数据不同的流量,并将这些离群点视为异常。由于现有的基于树分离的孤立森林(iForest)检测方法存在不能检测出局部异常的缺陷,为了克服这个缺陷,提出一种基于iForest和局部离群因子(LOF)近邻集成的无监督的流量异常检测方法。首先,改进原始的iForest与LOF算法,在提升检测精度的同时控制算法时间;然后分别使用两种改进算法进行检测,并将结果进行融合以得到最终的检测结果;最后在自制数据集上对所提方法进行有效性验证。实验结果表明,所提方法能够有效地隔离出异常,获得良好的流量异常检测效果。     

基于CEEMD阈值和相关系数原理的MEMS陀螺信号去噪方法

针对经验模态分解（EMD）方法易产生模态混叠问题,而集成经验模态分解（EEMD）方法又存在重构误差较大的缺陷,提出了一种基于完备集成经验模态分解（CEEMD）阈值滤波和相关系数原理的MEMS陀螺信号去噪方法。首先通过CEEMD方法对陀螺信号进行有效完备的分解,并利用相关系数原理合理确定分解后噪声分量与有效分量的界限。在此基础上,通过借鉴小波阈值处理方式和EMD阈值设置方法,对信号进行阈值滤波去噪。对仿真信号和实际MEMS陀螺信号的研究结果表明,CEEMD阈值去噪方法的去噪效果要优于CEEMD、EEMD、EMD强制去噪方法和小波分析方法。这也充分体现了其在MEMS陀螺信号去噪应用中的可行性和有效性。     

管道流量计现场校准技术在新疆水资源取用水管理中的应用

基于对管道流量计现场校准方法的研究,开展新疆5个地区取水户21个管道流量的现场校准工作,以便携式超声波管道流量计所测得的管道流量数据与现有计量设施的管道流量数据进行比对,分别对2组数据的相对示值误差、重复性和不确定度进行分析,从中得出各取水管道合理的优化整改办法.对个别示值误差异常的取水管道计量设施给出具体解决方案,同...     

基于神经网络的非线性PCA方法

由于普通的主元分析（PCA）方法无法提取数据中的非线性相关特性,本文提出了一种基于神经网络的非线性PCA（NIPCA）方法,不仅提取了高维原始数据的线性信息还能提取非线性信息。在此基础上进一步提出了样本中显著误差及劣点的检测方法,从而支持对其进行合理剔除或是修正,仿真试验表明它能有效地减小误差点对网络训练精度的影响,大大增强了算法的鲁棒性。     

BPF: a novel cluster boundary points detection method for static and streaming data

Data points situated near a cluster boundary are called boundary points and they can represent useful information about the process generating this data. The existing methods of boundary points detection cannot differentiate boundary points from outliers as they are affected by the presence of outliers as well as by the size and density of clusters in the dataset. Also, they require tuning of one or more parameters and prior knowledge of the number of outliers in the dataset for tuning. In this research, a boundary points detection method called BPF is proposed which can effectively differentiate boundary points from outliers and core points. BPF combines the well-known outlier detection method Local Outlier Factor (LOF) with Gravity value to calculate the BPF score. Our proposed algorithm StaticBPF can detect the top-m boundary points in the given dataset. Importantly, StaticBPF requires tuning of only one parameter i.e. the number of nearest neighbors \((k)\) and can employ the same \(k\) used by LOF for outlier detection. This paper also extends BPF for streaming data and proposes StreamBPF. StreamBPF employs a grid structure for improving k-nearest neighbor computation and an incremental method of calculating BPF scores of a subset of data points in a sliding window over data streams. In evaluation, the accuracy of StaticBPF and the runtime efficiency of StreamBPF are evaluated on synthetic and real data where they generally performed better than their competitors.

     

Density-preserving projections for large-scale local anomaly detection

Outlier or anomaly detection is a fundamental data mining task with the aim to identify data points, events, transactions which deviate from the norm. The identification of outliers in data can provide insights about the underlying data generating process. In general, outliers can be of two kinds: global and local. Global outliers are distinct with respect to the whole data set, while local outliers are distinct with respect to data points in their local neighbourhood. While several approaches have been proposed to scale up the process of global outlier discovery in large databases, this has not been the case for local outliers. We tackle this problem by optimising the use of local outlier factor (LOF) for large and high-dimensional data. We propose projection-indexed nearest-neighbours (PINN), a novel technique that exploits extended nearest-neighbour sets in a reduced-dimensional space to create an accurate approximation for k-nearest-neighbour distances, which is used as the core density measurement within LOF. The reduced dimensionality allows for efficient sub-quadratic indexing in the number of items in the data set, where previously only quadratic performance was possible. A detailed theoretical analysis of random projection (RP) and PINN shows that we are able to preserve the density of the intrinsic manifold of the data set after projection. Experimental results show that PINN outperforms the standard projection methods RP and PCA when measuring LOF for many high-dimensional real-world data sets of up to 300,000 elements and 102,600 dimensions. A further investigation into the use of high-dimensionality-specific indexing such as spatial approximate sample hierarchy (SASH) shows that our novel technique holds benefits over even these types of highly efficient indexing. We cement the practical applications of our novel technique with insights into what it means to find local outliers in real data including image and text data, and include potential applications for this knowledge.     

局部空间离群点算法的改进及其实现

LOF算法是一个著名的局部离群点查找方法,该方法赋予了表征每一个空间点偏离程度的数值。但LOF算法存在效率低和性能差的问题,为此对该算法进行了以下两个方面的改进：第一,提出了降低该算法时间复杂度的两步改进方法,并对这两步改进方法的时间复杂度也进行详细分析,第二,使得该算法在查找局部离群点时,不仅考虑了空间属性,也考虑了非空间属性。另外还通过实验测试了LOF算法及其改进方法的时间效率,以及在模拟数据和真实数据情况下的查找离群点的效果。实验结果表明,改进方法具有更好的时间效率和性能。     

基于鲁棒尺度的统计建模数据中异常点去除算法的研究及应用

针对基于主元分析 (PCA)的统计监控模型受到历史数据中异常点强烈影响的不足,鉴于建模历史数据中存在的异常点会影响过程监控效果,分析目前常用的鲁棒异常值检测算法原理及其缺陷,提出将中心最短距离(CDC)法与椭球多变量整理(MVT)法相结合,构成一种基于鲁棒尺度的CDC-MVT异常值综合检测算法,更加准确地检测异常点。将该算法应用于工业发酵过程,与CDC法和MVT法相比较,该算法能够有效去除建模数据中的异常点。