基于时空融合图网络学习的视频异常事件检测

视频中异常事件所体现的时空特征存在着较强的相关关系针对视频异常事件发生的时空特征相关性而影响检测性能问题,提出了基于时空融合图网络学习的视频异常事件检测方法,该方法针对视频片段的特征分别构建空间相似图和时间连续图,将各片段对应为图中的节点,考虑各节点特征与其他节点特征的Top-k相似性动态形成边的权重,构成空间相似图;...     

河网中具有时空关系的异常事件在线检测

当网络异常事件发生时,传感器节点间的时空相关性往往非常明显.而现有方法通常将时间和空间数据性质分开考虑,提出一种分散的基于概率图模型的时空异常事件检测算法.该算法首先利用连通支配集算法(CDS)选择部分传感器节点监测,避免监测所有的传感器节点;然后通过马尔可夫链(MC)预测时间异常事件;最后用贝叶斯网络(BN)推测空间异常事件是否出现,结合时空事件来预测异常事件是否会发生.与简单阈值算法和基于贝叶斯网络算法对比,实验结果表明该算法有高检测精度、低延迟率, 能大幅降低通信开销,提高响应速度.     

云框架超大规模资源处理下无线传感网络数据异常检测

为改进无线传感网络数据异常检测方法精度低、网络能量消耗大等问题，提出基于云框架的大规模无线传感网络数据异常检测方法。在云框架超大规模资源处理下，通过自适应过采样法消除冗余数据；运用数据集成、标准化等预处理数据样本，计算协方差矩阵，从高到低排列特征矢量贡献率；二进制粒子群方法优化初始森林中的孤立树，挑选初始森林精度最高、差异度最大的孤立树组建最佳孤立森林，通过异常分数法检测数据特征异常情况，输出对应样本异常概率。实验部分对本文方法、图信号处理法和分层聚合法，进行检测率、虚警率、接电能耗、耗时等指标对比，数据表明，所提方法有效降低了节点能耗，数据异常检测速率快、正确率高，具备优秀的适用性与可靠性。     

基于贝叶斯攻击图的动态网络安全分析

针对目前攻击图模型不能实时反映网络攻击事件的问题,提出了前向更新风险概率计算方法,以及前向、后向更新相结合的动态风险概率算法.所提算法能够即时、准确地动态评估和分析网络环境变化问题,对网络攻击事件进行动态实时分析.首先对图中各个节点的不确定性进行具体量化分析,在贝叶斯网络中计算它们的静态概率,之后根据实时发生的网络安全...     

M-TAEDA:多变量水质参数时序数据异常事件检测算法

在供水管网中部署传感器网络实时获取多个水质参数时间序列数据,当供水管网发生污染时,高效准确地检测水质异常是一个重要问题。提出多变量水质参数时间异常事件检测算法（M-TAEDA）,利用BP模型分析多变量水质参数的时序数据,确定可能离群点;结合贝叶斯序贯分析独立更新每个参数的事件概率,预测单个传感器节点检测的异常概率;将单变量的事件概率融合为统一多变量事件概率,融合判断异常事件。实验结果表明：BP模型模拟多变量水质参数进行预测可以达到90%精确度;与单变量参数时间异常事件检测算法（S-TAEDA）相比,M-TAEDA可以提高异常检出率约40%,降低误报率约45%。     

基于相对熵理论的多测度网络异常检测方法

检测率低、误报率高和检测攻击范围不够全面已经成为制约网络异常检测发展的最大障碍,为了提高检测率,降低误报率,扩大检测攻击范围,提出了一种新的网络异常检测方法。首先,对网络流量进行统计分析并引入相对熵理论来表征测度对应的全概率事件;然后,通过加权系数融合多个测度相对熵而得到加权相对熵;最终,以综合的多测度加权相对熵作为网络异常判断的依据。实验数据采用DARPA1999测评数据集,实验结果表明该方法在低误报率的前提下,达到了较高的检测率。     

基于图神经网络的动态网络异常检测算法

动态变化的图数据在现实应用中广泛存在,有效地对动态网络异常数据进行挖掘,具有重要的科学价值和实践意义.大多数传统的动态网络异常检测算法主要关注于网络结构的异常,而忽视了节点和边的属性以及网络变化的作用.提出一种基于图神经网络的异常检测算法,将图结构、属性以及动态变化的信息引入模型中,来学习进行异常检测的表示向量.具体地,改进图上无监督的图神经网络框架DGI,提出一种面向动态网络无监督表示学习算法Dynamic-DGI.该方法能够同时提取网络本身的异常特性以及网络变化的异常特性,用于表示向量的学习.实验结果表明,使用该算法学得的网络表示向量进行异常检测,得到的结果优于最新的子图异常检测算法SpotLight,并且显著优于传统的网络表示学习算法.除了能够提升异常检测的准确度,该算法也能够挖掘网络中存在的有实际意义的异常.     

基于生成对抗网络的系统日志级异常检测算法

针对大规模软件系统自动化异常检测任务中异常样本过少且异常反馈不及时的问题,提出一种基于生成对抗网络（GAN）与注意力机制的日志级异常检测算法。首先,通过日志模板将非结构化的日志转化为结构化的事件,每一个事件包含了日志的时间戳、签名与变量。其次,以滑动窗口的方式划分解析的事件序列,将产生的事件模式与下一时刻的事件组成真实的数据样本集。然后,将真实的事件模式作为训练样本输入来训练基于注意力机制的生成对抗网络,通过对抗学习的机制训练基于循环神经网络（RNN）的生成器直至收敛。最后,生成器通过输入的流式事件模式生成在新到来的事件模式下的正常与异常事件分布,并在系统管理员设置阈值的情况下,自动判断下一时刻的特定日志为正常事件或是异常事件。实验结果表明,提出的以门控循环单元网络为注意力权重并且用长短时记忆（LSTM）网络来解析事件模式的异常检测算法,比仅使用门控循环单元网络时的算法精准率提高了21.7%;此外,与日志级异常检测算法LogGAN相比,所提算法比LogGAN的异常检测精准率提升了7.8%。     

基于生成对抗网络的系统日志级异常检测算法

针对大规模软件系统自动化异常检测任务中异常样本过少且异常反馈不及时的问题，提出一种基于生成对抗网络（GAN）与注意力机制的日志级异常检测算法。首先，通过日志模板将非结构化的日志转化为结构化的事件，每一个事件包含了日志的时间戳、签名与变量。其次，以滑动窗口的方式划分解析的事件序列，将产生的事件模式与下一时刻的事件组成真实的数据样本集。然后，将真实的事件模式作为训练样本输入来训练基于注意力机制的生成对抗网络，通过对抗学习的机制训练基于循环神经网络（RNN）的生成器直至收敛。最后，生成器通过输入的流式事件模式生成在新到来的事件模式下的正常与异常事件分布，并在系统管理员设置阈值的情况下，自动判断下一时刻的特定日志为正常事件或是异常事件。实验结果表明，提出的以门控循环单元网络为注意力权重并且用长短时记忆（LSTM）网络来解析事件模式的异常检测算法，比仅使用门控循环单元网络时的算法精准率提高了21.7%；此外，与日志级异常检测算法LogGAN相比，所提算法比LogGAN的异常检测精准率提升了7.8%。     

基于图形的入侵检测系统(GrIDS)

本文提出一种基于网络活动行为图的入侵检测模型（GriDS)。GrIDS模型采用分层的体系结构，收集被监控的计算机的活动数据以及网络流量数据，并将此信息集合为网络活动的行为图，以表征因果结构的网络活动，从而几乎实时地检测大规模的自动或协同攻击。     

WSN中基于超椭圆判决边界的异常检测的动态建模

为了实现无线传感器网络的动态数据流环境中的异常检测,本文提出了一种迭代超椭圆判决边界方法。首先建立起异常检测超椭圆模型,然后每个节点基于到当前时间为止的测量值来调整其超椭圆模型,最终收敛到覆盖正常和异常测量值的超椭圆边界;为了提高模型对监测环境中数据变化的跟踪能力,提出了一种采用遗忘因子并结合滑动窗口的基准估计和有效N跟踪的方法,从而实现对数据真实流属性的捕捉;仿真实验结果表明,本文提出的动态建模方法相比于目前先进的静态建模方法,不仅具有更高的准确性和异常检测能力,而且具有更强的数据变化的跟踪能力和检测能力。     

Local anomaly detection for mobile network monitoring

Huge amounts of operation data are constantly collected from various parts of communication networks. These data include measurements from the radio connections and system logs from servers. System operators and developers need robust, easy to use decision support tools based on these data. One of their key applications is to detect anomalous phenomena of the network. In this paper we present an anomaly detection method that describes the normal states of the system with a self-organizing map (SOM) identified from the data. Large deviation in the data samples from the SOM nodes is detected as anomalous behavior. Large deviation has traditionally been detected using global thresholds. If variation of the data occurs in separate parts of the data space, the global thresholds either fail to reveal anomalies or reveal false anomalies. Instead of one global threshold, we can use local thresholds, which depend on the local variation of the data. We also present a method to find an adaptive threshold using the distribution of the deviations. Our anomaly detection method can be used both in exploration of history data or comparison of unforeseen data against a data model derived from history data. It is applicable to wide range of processes that produce multivariate data. In this paper we present examples of this method applied to server log data and radio interface data from mobile networks.     

Multi-domain anomaly detection in spatial datasets

A spatial anomaly captures a phenomenon occurring in a region which is vastly deviant in behavior with respect to the other normal observations. However, in reality this anomaly may impact other phenomena in the region across multiple domains, for example, crime is often linked to other sociopolitical factors or phenomenon such as poverty and education. Similarly, accidents in the region may be linked to other environmental factors such as weather and surface condition. So, finding anomalies across multiple domains is important in various applications. In this paper, we propose an approach for finding such a tangible anomalous window across multiple domains where window refers to the set of contiguous points in space, and since the window is multi-domain, there are several overlapping windows in the same space across domains. Our approach for finding anomalous window across the domains comprises the following steps: (1) single-domain anomaly detection: discovering anomalous window in each domain; (2) association rule mining: discovering relationship between the anomalous windows across domains using association rule mining; and (3) validation: validating the result using (a) Monte Carlo simulation, (b) correlation using lift and (c) ground truth evaluation. In addition, we also provide a probabilistic framework to evaluate the relationships between the spatial nodes as a postprocessing step. Finally, we provide a visualization technique for viewing the multi-domain anomalous window and the probabilistic relationships between the nodes. We provide detailed experimental results and comparisons with other approaches using real-world health ranking [51] and transportation datasets [50] with known ground truth windows. The results show that our approach is effective in finding the anomalies in multiple domains as compared to other approaches.     

基于半局部结构的异常连边识别算法

随着网络科学领域研究的进展,所涉及的真实网络类型愈加广泛。复杂系统中存在的冗余错误关系,或出于异常目的刻意发生的行为,如网页错误点击、电信网刺探呼叫等,都对基于网络结构的分析工作造成了重大影响。复杂网络异常连边识别作为图异常检测重要分支,旨在识别网络结构中由于人为制造或数据收集错误所产生的异常连边。现有方法主要从结构相似性角度出发,利用节点间连通结构评估连边异常程度,易导致网络结构分解,且检测精度受网络类型影响较大。针对这一问题,提出了一种CNSCL算法,在半局部结构尺度下计算节点重要性,分析不同类型局部结构,在不同结构中根据半局部中心性量化连边对网络整体连通性贡献,结合节点结构相似性差异量化连边可信程度。由于计算过程中需去掉连边以衡量对网络整体连通性影响,存在节点重要性需重复计算问题。因此在计算过程中,所提算法还设计了一种动态更新方法以降低算法计算复杂度,降低了算法计算复杂度,使其可推广应用至大规模网络。在7种具有不同结构紧密程度的真实网络上与现有方法进行对比,实验结果表明,在AUC衡量标准下,该方法较基准方法具有更高的检测精度,且在网络稀疏或缺失条件下,仍能保持较为稳定的识别精度。     

面向复杂网络的异常检测研究进展

异常检测是指识别数据集中显著区别于其他正常模式的数据,广泛应用于欺诈检测、入侵检测、数据分析等领域.现有的异常检测研究大多是基于非结构化数据点集,而现实中数据间复杂的结构关系构成了复杂网络,在数学形式上表示为图,所以面向复杂网络的异常检测的需求日益增加.对此,总结了当前复杂网络异常检测的方法与研究进展:首先提出复杂网络异常检测的必要性与发展历史;其次,分别从静态图和动态图的视角将复杂网络异常检测分为基于结构、社区、关系学习的静态图异常检测和基于节点、边、子图、全图的动态图异常检测;然后,分类别地进行概述、分析与比较,并给出复杂网络异常检测的应用场景;最后,总结未来面向复杂网络异常检测的研究方向.     

基于流量预测和相关系数的异常检测

安全问题是无线传感器网络应用面临的重要挑战之一。提出了一种基于混沌时间序列预测和相关系数相结合的异常入侵检测方法,该方案首先对正常情况下无线传感器网络节点的流量应用混沌时间序列方法进行预测,然后根据传感器节点的流量预测序列和实际流量序列的相关系数变化来进行异常检测。实验结果表明,该方案在入侵检测率达到相当高的程度,与当前典型的WSN入侵检测方案相比较具有更优越的性能。     

基于空间尺度粗粒化的异常检测方法

目前,大部分基于链路预测对社会网络进行异常检测的研究中,缺乏对异常节点演化影响的分析,且受社会网络规模以及复杂度的限制,检测效率普遍不高。针对上述问题,提出了一种基于空间尺度粗粒化和异常节点加权机制的异常检测方法。首先利用凝聚型社区发现算法Louvain对社会网络进行粗粒化得到简化网络,然后在简化网络的演化过程中识别有异常演化行为的节点,并将其异常演化过程量化,引入异常节点加权机制到链路预测方法中进行异常检测。在真实社会网络数据集VAST、Email-EU（dept1和dept2）以及Enron上,与基于LinkEvent的不同调整策略算法和NESO_ED方法进行对比。结果表明,该方法可以兼顾异常检测的稳定性和敏感性,能够更合理地描述网络演化过程,得到更好的异常检测效果。     

基于模糊聚类的CO2数据流时空异常模式研究*

传统的异常检测算法不能区分CO2数据流的异常类型,为了有效识别因泄漏造成CO2数据流的异常,提出了基于模糊聚类的CO2数据流时空异常模式检测算法。该算法首先利用3 规则实现自适应阈值的异常点检测,其次提取待检测滑动窗口的特征值（均值）,构建指定区间内邻居节点间的时空关系矩阵,采用模糊聚类分析相邻节点特征值的时空相关性并对其进行分类,根据分类结果确定泄漏异常概率,最后利用真实观测数据对算法进行验证并对参数的选取进行分析。实验结果表明该算法能有效的识别因泄漏造成的事件异常,具有较高的检测率和较低的误警率。     

基于层叠模型的网络流量异常检测方法*

进行网络流量异常检测,需要对正常流量行为建立准确的模型,根据异常流量与正常模型间的偏离程度作出判断。针对现有网络流量模型中自相似模型与多分形模型无法全面刻画流量特征的不足,提出了一种基于流量层叠模型分析的异常检测算法,采用层叠模型对整个时间尺度上的流量特征进行更准确的描述,并运用小波变换对流量的层叠模型进行估计,分析异常流量对模型估计的影响,提出统计累计偏离量进行异常流量检测的方法。仿真结果表明,该方法能够有效检测出基于自相似Hurst系数方法不能检测的弱异常以及未明显影响Hurst系数变化的异常流。