基于孤立森林算法的挤压机流数据异常检测

挤压机流数据异常检测是一个典型的多维时间序列流数据异常检测问题。在工业环境中,挤压机流数据不仅存在概念漂移问题,还存在噪声问题。为了检测出挤压机在运行中可能存在的设备状态异常,提出一种基于孤立森林算法的挤压机流数据异常检测方法。针对数据集中存在噪声无法正确反映设备状态的问题,算法抽取数据的序列特征用来表示设备在某一时间段的状态,避免了噪声数据对异常检测效果的影响。同时,在半空间孤立森林(HS-Trees)算法的基础上做进一步改进,解决原算法中存在的结果反馈延迟问题,使其能更好地适应流数据应用场景。实验显示,该算法不仅可以实时地检测出挤压机在运行中存在的状态异常,还具有较高的准确性。     

基于相关系数的多变量异常数据段的检测

工业报警系统普遍存在报警过多的问题,为了获取过程变量的正常与异常历史数据段,从而设计工业报警系统的动态报警阈值,进行性能评估和优化,提出了一种基于过程变量之间的相关系数进行异常数据段检测的改进方法。该检测方法将相关系数和数据段长度作为分段依据,对过程变量的多元时间序列进行分段,采用Spearman秩相关系数获取变量之间的相关关系,从而检测出不符合正常趋势的异常数据段。仿真算例和工业案例表明该方法可真实地反映过程变量之间的相关关系,并准确检测出所存在的异常数据段。     

基于相关性分析的工业时序数据异常检测

多维时间序列上的异常检测,是时态数据分析的重要研究问题之一.近年来,工业互联网中传感器设备采集并积累了大量工业时间序列数据,这些数据具有模式多样、工况多变的特性,给异常检测方法的效率、效果和可靠性均提出更高要求.序列间相互影响、关联,其隐藏的相关性信息可以用于识别、解释异常问题.基于此,提出一种基于序列相关性分析的多维时间序列异常检测方法.首先对多维时间序列进行分段、标准化计算,得到相关性矩阵,提取量化的相关关系;然后建立了时序相关图模型,通过在时序相关图上的相关性强度划分时间序列团,进行时间序列团内、团间以及单维的异常检测.在真实的工业设备传感器数据集上进行了大量实验,实验结果验证了该方法在高维时序数据的异常检测任务上的有效性.通过对比实验,验证了该方法从性能上优于基于统计和基于机器学习模型的基准算法.该研究通过对高维时序数据相关性知识的挖掘,既节约了计算成本,又实现了对复杂模式的异常数据的精准识别.     

基于改进LSTM的桥梁传感器异常数据的检测方法

桥梁正常与否通常通过传感器来检测,但是庞大的数据量对于传统检测方来说存在很大挑战,因此提出基于长短期记忆模型循环神经网络(Long Short Term Memory、LSTM)的方法进行异常检测.首先利用小波变换与奇异谱分析(Singular Spectrum Analysis、SSA)对传感器数据进行预处理,之后利用两层LSTM对序列进行向量表示、逆序重构,利用贝叶斯优化算法对LSTM网络进行参数优化,最终通过极大似然估计(Maximum Likelihood Estimate、MLE)对该段序列进行异常得分估计,最终通过学习异常报警阈值实现时间序列异常检测并发现潜在异常.采用桥梁某部位的应变数据、风速数据与振动传感器数据进行仿真实验,验证了所提方法相比其他传统方法具有更高的精确性.     

基于KPCA的多变量时间序列数据异常检测方法研究

介绍了一种采用的KPCA技术获取多变量时间序列数据高维特征空间的主成方向矢量,使用主成方向矢繁内积作为异常的度量,并采用vMF分布表征主成方向矢量分布来进行多变量时间序列数据异常检测的方法;检测过程中使用历史数据训练获取分布模型的参数估计,通过计算实际数据主成方向矢量在训练模型的概率来判断异常的发生;与传统的异常检测方法相比,该方法不依赖先验的专家知识,且能够通过训练学习自动调节模型参数,可用于不同系统的异常检测中;实验表明,该方法具有较高的有效性.     

基于深度学习的时间序列数据异常检测方法

针对类间分布不平衡的时间序列数据的异常检测问题,提出了一种基于深度卷积神经网络的检测方法.首先采用抽样法对不平衡时间序列数据进行预处理;其次,将处理后的时间序列数据转换为尺度一致、时长一致的片段;最后将数据送入具有4层隐藏层结构的卷积神经网络模型中进行异常检测.实验结果表明,所提方法弥补了现存的检测技术由于忽略数据分布的偏斜性而造成的少数类检测精度低的缺点,并通过与现有的时间序列分类方法的比较,验证了所提方法的高效性.     

基于Hadoop的异常传感数据时间序列检测

无线传感器网络中,异常时间序列的研究具有十分重要的意义。针对传统研究在海量数据环境中时间效率低下的问题,提出了基于Hadoop的异常时间序列检测算法。首先对时间序列进行预处理,然后在Hadoop的MapReduce操作中调用动态时间弯曲距离计算算法,实现了DTW距离计算的并行化,从而大大提高检测速度。同时针对传统DTW算法计算复杂度瓶颈问题以及传统约束方法准确率较低问题,提出了基于显著特征匹配的局部约束算法,对弯曲路径进行局部限制,在确保准确性的同时进一步降低了时间、空间复杂度。Hadoop平台下实验结果表明,该方法既提高了检测速度,又保证了检测准确率。     

异构复杂信息网络下的异常数据检测算法

异构复杂信息网络承载着不同的协议和网络信道,并通过云储存实现资源调度,由此产生的异常数据会给网络信息空间带来安全威胁和存储开销,所以需要进行异常数据准确检测。传统的检测算法采用简化梯度算法进行异常数据检测,不能有效去除多个已知干扰频率成分的异常数据,检测性能不好。提出一种基于自适应陷波级联模型的异常数据检测算法。构建异构复杂信息网络系统模型,采用固有模态分解把异常数据信号解析模型分解为多个窄带信号,设计二阶格型陷波器结构,用多个固定陷波器级联抑制干扰成份,采用匹配投影法寻求优化特征解,找出所有匹配的特征点对,从而实现异常数据检测的改进。仿真实验表明,采用该算法进行异常数据检测时,信号幅值大于干扰噪声数据幅值;该算法提高了检测性能,具有较好的抗干扰性能。     

一种基于LLM的高维时间序列数据异常检测方法

以国家重大建设项目稽察中的数据一致性判别问题为应用背景,针对时间序列型高维数据提出了一种基于局部线性映射(Local Linear Mapping,LLM)的数据变换方法,该方法将各高维数据点通过其相邻点的线性重构映射至低维空间,从而很好地保留了高维空间中各数据点与相邻数据点的相关性。基于LLM的映射特性,提出了三种异常指标,并将其应用于面向国家重大建设项目稽察数据一致性判别问题的高维时间序列数据异常检测中。数值计算表明,所提出的方法对时间序列异常检测具有很好的效果,适合于较大规模高维时间序列数据的异常检测应用。     

基于Transformer的时序数据异常检测方法

近年来,异常检测在电力系统运维、故障诊断等智能运维场景中起到关键作用。其中,深度学习在时序数据异常检测上取得了成功的应用。然而,基于长短期记忆(Long Short-Term Memory, LSTM)等异常检测方法因其序列学习模式中包含递归运算,导致模型难以并行计算,同时长期依赖性会导致模型性能下降。因此,提出了一种基于Transformer的时序数据异常检测方法,利用自注意力机制并行训练数据捕获内部有效信息,利用编码-解码框架使用端到端的方式通过时序数据生成异常得分。这个方法能更完整地提取时序数据的上下文关系,精确地捕获时序数据的异常关系。经实验证明,基于Transformer的时序数据异常检测方法在WADI、SWaT、KDDCUP99与AIOPS18等数据集上的异常检测表现出比其他方法更优的性能。     

基于异常的入侵检测技术研究

入侵检测是一个比较新的、迅速发展的领域,已成为网络安全体系结构中的一个重要的环节。本文介绍了入侵检测技术的基本概念和基于异常的入侵检测技术的原理,并结合现有的基于异常的入侵检测系统,重点分析了几种常用的异常检测技术,讨论了基于异常的入侵检测技术的优点和存在的问题。     

一种基于Hurst指数的异常检测软件

根据Hurst指数变化发现异常是进行入侵检测的一种新思路。基于这样的思路,实现了一个异常检测软件。该软件通过数据包捕获,对数据进行特征提取,对特征进行时间序列划分,采用R／S和小波分析两种方法进行Hurst求解,最后根据求解的Hurst值判断异常。实际使用表明,基于Hurst指数的异常检测软件具有无需学习,检测快速的优点。     

基于Transformer重建的时序数据异常检测与关系提取

现有时序异常检测方法存在计算效率低和可解释性差的问题.考虑到Transformer模型在自然语言处理任务中表现出并行效率高且能够跨距离提取关系的优势,提出基于Transformer的掩膜时序建模方法.建立时序数据的并行无方向模型,并使用掩膜机制重建当前时间步,从而实现整段序列的重建.在存储系统数据集和NASA航天器数据...     

基于程序的异常检测研究综述

以程序正常行为描述方法为线索,将利用系统调用数据检测程序异常行为的各种技术分类为基于规范的方法、基于频率的方法、控制流分析方法、数据流分析方法。详细介绍了这些方法的基本思想、使用的各种模型以及最新研究进展,指出并分析了现有技术中存在的问题和不足,正式提出了基于程序的异常检测技术应该以各种服务器程序为研究对象的观点,介绍了一个经过初步实验验证了的、基于服务器程序运行踪迹层次结构的异常检测原型系统,该原型系统利用了服务器程序请求一应答式工作特征和一些关键系统调用的语义信息以及运行时的动态信息,通过结构模式识别技术在识别服务器程序正常行为过程中发现异常并具备分析异常、提供入侵相关详细信息的能力,而这种能力正是异常检测技术进一步研究发展的方向之一。     

基于流分解的异常检测算法

通过研究网络异常检测,提出了一种基于流分解消除网络噪声的异常检测算法。该算法从高维、非平稳流量中分离出包含异常的随机部分,通过计算随机部分参数的边缘分布和残差,揭示了流量异常对随机部分参数的影响,并提出判断网络流量异常的参数标准。实验表明,由于不必将整个时间序列进行分片和单独拟合,算法可以直接处理非稳态流量数据,实现了真正意义上的网络异常检测功能。     

Finding anomalous periodic time series

Catalogs of periodic variable stars contain large numbers of periodic light-curves (photometric time series data from the astrophysics domain). Separating anomalous objects from well-known classes is an important step towards the discovery of new classes of astronomical objects. Most anomaly detection methods for time series data assume either a single continuous time series or a set of time series whose periods are aligned. Light-curve data precludes the use of these methods as the periods of any given pair of light-curves may be out of sync. One may use an existing anomaly detection method if, prior to similarity calculation, one performs the costly act of aligning two light-curves, an operation that scales poorly to massive data sets. This paper presents PCAD, an unsupervised anomaly detection method for large sets of unsynchronized periodic time-series data, that outputs a ranked list of both global and local anomalies. It calculates its anomaly score for each light-curve in relation to a set of centroids produced by a modified k-means clustering algorithm. Our method is able to scale to large data sets through the use of sampling. We validate our method on both light-curve data and other time series data sets. We demonstrate its effectiveness at finding known anomalies, and discuss the effect of sample size and number of centroids on our results. We compare our method to naive solutions and existing time series anomaly detection methods for unphased data, and show that PCAD’s reported anomalies are comparable to or better than all other methods. Finally, astrophysicists on our team have verified that PCAD finds true anomalies that might be indicative of novel astrophysical phenomena.     

基于支持向量数据描述的异常检测方法

提出了一种基于支持向量数据描述算法的异常检测方法。该方法将入侵检测看作是一种单值分类问题,建立正常行为的支持向量描述模型,通过该模型可以检测各种已知和未知的攻击行为。该方法是一种无监督的异常检测方法,能够在包含噪声的数据集进行模型训练,降低了训练集的要求。在KDD CUP99标准入侵检测数据集上进行实验,并与无监督聚类异常检测实验结果相比较,证实该方法能够获得较高检测率和较低误警率。     

应用层异常检测方法研究

目前绝大部分异常检测方法只利用数据包的头部信息来检测网络攻击,即仅仅从网络层、传输层来分析网络的异常情况.而研究表明现在的网络攻击主要发生在应用层,因此从应用层来分析网络异常的研究就显得十分重要.首先介绍了入侵检测和异常检测的研究现状,突出强调了应用层异常检测的重要性,接着详细介绍了目前几种主要的应用层异常检测方法,最后讨论了应用层异常检测所面临的挑战.     

一种基于随机场模型的高光谱影像目标探测算法

利用随机场模型来描述像元的邻域相关性信息,利用这种相关性缩小待探测区域,然后将这种邻域信息引入到局域异常探测器中,提出了一种利用随机场模型引入能量函数和邻域信息的高光谱遥感影像局域异常目标探测算法.实验证明,该方法将光谱信息与空间信,包相结合,不但比传统算法的探测率更高,且可以更有效地探测出较大的异常目标,探测速度更快.     

基于危险模式的异常检测模型

阐述了危险模式的概况及运行机制,提出了一种基于危险模式的异常检测模型以及相关的算法。该模型通过分析实时系统调用序列中的危险信号,进而判断是否为入侵事件。实验结果表明,该方法具有较高的有效性和检测率。