基于HMM的通信流量异常检测

选用HMM在原模型的基础上针对算法下溢、概率转移矩阵过大、计算结果P(O|Ψ)值过小等问题分别进行优化.使用优化后的HMM对训练集进行训练,并根据训练结果,调整部分参数使模型正确率得到提高.实验结果证明HMM在通信流量时间序列异常检测方面效果更好.HMM作为异常检测的基本算法,因其不需要针对每种类型的异常点分别进行优化,从而降低了复杂度,且对未知异常值也有一定的检测能力.     

基于子空间重构的无监督时间序列异常检测

时间序列异常检测旨在寻找时间序列中不符合预期的数据,为相关人员提供有价值的信息,一直以来都受到学术界和工业界的广泛关注。然而,现有时间序列异常检测方法大多忽略了复杂数据中的多种模式,不能充分利用已有模式信息进行有效的特征学习,造成检测效果不理想。为此,本文提出了一种基于子空间重构的无监督时间序列异常检测模型。首先,将原始时间序列转换至低维潜在空间,利用高斯混合模型在潜在空间聚类,将原始时间序列分割为多个独立子空间。之后,各个子空间训练子模型,实现多模式捕获。最后,通过各个子模型重构,实现异常检测。该模型在UCR和MIT-BIH的6个数据集上的检测效果显著地优于已有方法,证明了方法的有效性。     

模糊序列模式在网络异常检测中的应用

数据挖掘中的关联原则挖掘和序列模式挖掘常用于网络入侵检测问题。在本文中，我们试图运用模糊集理论将序列挖掘算法进行改进，提出一种模糊序列模式用于网络异常检测，并用初步的实验对该算法进行证明。     

基于频繁模式的KPI异常检测研究

文章针对TD-SCDMA现网采集的网络关键绩效指标(Key Performance Indicator,KPI),,利用频繁模式挖掘的方法,重点分析掉话率、无线接通率、拥塞率等之间的关联性。将频繁模式项定义为正常模式,以此进行异常模式检测。这样的方式不仅有效地检测了网络存在的异常组合,也反映了参数之间的关联性,对快速在线检测起到了有效的指导作用。     

基于特征向量的两阶段异常检测方法研究

针对水文行业对数据异常模式检测的实时性要求,提出一种基于特征向量的两阶段异常检测方法。先提取时间序列特征形成符号化的特征向量,再使用改进的K-means方法进行聚类,最后用改进的INN对聚类结果进行评估并将聚类后得到的类簇设成相应特征模型。实验表明,该方法实现了对字符串序列的高效准确的聚类,有效检测出异常模式。     

基于最大频繁序列模式挖掘的App-DDoS攻击的异常检测

为了动态、准确、高效地描述用户的访问行为,实现对不同应用层分布式拒绝服务(Application-layer Distributed Denial of Service, App-DDoS)攻击行为的透明检测,该文提出基于最大频繁序列模式挖掘的ADA_MFSP(App-DDoS Detection Algorithm based on Maximal Frequent Sequential Pattern mining)检测模型。该模型在对正常Web访问序列数据库(Web Access Sequence Database, WASD)及待检测WASD进行最大频繁序列模式挖掘的基础上,引入序列比对平均异常度,联合浏览时间平均异常度、请求循环平均异常度等有效检测属性,最终实现攻击行为的异常检测。实验证明：ADA_MFSP模型不仅能有效检测各类App-DDoS攻击,且有良好的检测灵敏度。     

基于深度迁移学习的多变量时间序列异常检测

多变量时间序列异常检测是指从相互关联的多个单变量时间序列中识别不正常的事件或行为的过程。现有的多变量时间序列异常检测方法在应用到新领域时,由于样本分布差异导致检测性能下降。而重新训练模型需要大量新领域的标注数据,且不能有效利用源领域的领域知识。针对这一问题,提出了一种基于深度迁移学习的多变量时间序列异常检测框架,该框架设计了编码器-解码器结构来提取多变量时间序列的特征,同时通过最小化嵌入层向量的距离来减小领域分布差异。基于该框架,提出一种基于ConvLSTM和最大均值差异(MMD)的多变量时间序列异常检测迁移学习方法,并利用解码后的重构误差检测多变量时间序列中的异常。最后,在服务器和空气质量两个多变量时间序列数据集上进行了实验。实验结果显示,目标域训练样本较少时,所提方法在迁移后的检测F1值比迁移前分别提升1.8%和4.2%。对比直接在目标域少量样本上训练模型,F1值提升了约9%。实验表明,所提迁移学习框架和方法对于有效提升多变量时间序列异常检测的性能。     

基于随机Transformer的多维时间序列异常检测模型

针对已有基于变分自编码器（VAE）的多维时间序列（MTS）异常检测模型无法在隐空间中传播随机变量间的长时依赖性问题,提出了一种融合Transformer编码器和VAE的随机TransformerMTS异常检测模型（ST-MTS-AD）。在ST-MTS-AD的推断网络中,Transformer编码器产生的当前时刻MTS长时依赖特征和上一时刻随机变量的采样值被输入多层感知器,由此生成当前时刻随机变量的近似后验分布,实现随机变量间的时序依赖。采用门控转换函数（GTF）生成随机变量的先验分布,ST-MTS-AD的生成网络由多层感知器重构MTS各时刻取值分布,该多层感知器的输入为推断网络生成的MTS的长时依赖特征和随机变量近似后验采样值。ST-MTS-AD基于变分推断技术学习正常MTS样本集分布,由重构概率对数似然确定MTS异常片段。4个公开数据集上的实验表明,ST-MTS-AD模型比典型相关基线模型的F1分数有明显提升。     

地震监测时间序列异常值检测策略

前兆观测数据真实可靠地应用在地震预测中前提是观测人员能够准确去除和标记干扰异常数据。为了能够在前兆数据预处理过程中由计算机及时检测出异常值,文章在时间序列的异常值检测的基础上,提出一套前兆仪器数据异常判定方法。根据异常的特征分析,首先选取合适的阈值特征进行阈值异常检测,在阈值异常检测结果的基础上,进而将其与邻近观测点数据进行相似性度量。从而达到将局部干扰异常与地球物理变化区分的目的。这种异常判定规则应用在前兆预处理中大大提高了前兆数据预处理的准确性和效率。同时,这种异常判定规则应用在实时监控中可以及时发现仪器的故障以及解决异常数据隐蔽性和时效性的问题。     

一种基于隐含模式发现的时间序列处理算法

机由Santa Fe研究所(SFI)的学者最先提出,它致力于从时间序列中发掘隐含模式,并已成功应用到符号序列中。该文主要研究如何将机应用到一般的时间序列中。分析了现有的符号化方法之后,在动态变换方法的基础上,提出了新的符号化方法,并将其成功应用到文中的实例研究中。改进了因果态分割重建算法,提出了简单的递归算法用来识别循环态并取得了很好的效果。实验发现,噪声污染和过程非平稳是机处理方法中的主要障碍,它们将是我们以后工作的重点。     

基于时间分段的贝叶斯网络异常检测方法

论文提出一种将时间分段函数与贝叶斯统计模型相结合的方法来进行网络异常检测,该方法通过使用加入时间函数的贝叶斯统计模型来发现和判定网络中的异常,利用贝叶斯理论在解决不确定问题方面的优点与网络环境中流量随时间变化的函数相结合,来发现大量事件之间的联系,对系统行为进行分类,建立起异常入侵检测模型,通过这个模型能够分析判断网络异常行为的发生。通过将该方法加入到西安交大捷普的入侵检测系统中可以发现,该方法能有效提高检测网络异常的检测率。     

基于协峭度张量的高光谱图像异常检测

高光谱图像中的异常像元往往具有在图像中出现的概率低和游离于背景数据云团之外的特点,如何“自动”确定这些异常像元是高光谱遥感图像处理中的一个重要研究方向。经典的高光谱异常检测方法一般从图像的统计特性入手,广泛应用的RXD异常检测算法通过计算图像的2阶统计特征,可以直接给出异常点的分布情况,算法复杂度低,但缺点是没有考虑到图像的高阶统计信息。基于独立成分分析的异常检测算法虽然考虑了高阶统计量对异常点的敏感性,但需要反复迭代提取异常成分后,再对提取后的成分进行异常检测。该文提出一种基于协峭度张量的异常检测算法,该算法不需要事先提取异常成分,可以直接对观测像元进行逐一检测,从而给出异常点的分布情况。基于模拟数据和真实数据的实验结果表明,该方法能够在检测出异常像元的同时更好地压制背景信息、减小虚警率,从而提高异常检测精度。

     

基于核函数Fisher鉴别的异常入侵检测

将核函数方法引入入侵检测研究中,提出了一种基于核函数Fisher鉴别的异常入侵检测算法,用于监控进程的非正常行为。首先分析了核函数Fisher鉴别分类算法应用于入侵检测的可能性,然后具体描述了核函数Fisher鉴别算法在异构数据集下的推广,提出了基于核函数Fisher鉴别的异常入侵检测模型。并以Sendmail系统调用序列数据集为例,详细讨论了该模型的工作过程。最后将实验仿真结果与其它方法进行了比较,结果表明,该方法的检测效果优于同类的其它方法。     

基于贝叶斯融合的时空流异常行为检测模型

针对直接利用卷积自编码网络未考虑视频时间信息的问题,该文提出基于贝叶斯融合的时空流异常行为检测模型。空间流模型采用卷积自编码网络对视频单帧进行重构,时间流模型采用卷积长短期记忆(LSTM)编码-解码网络对短期光流序列进行重构。接着,分别计算空间流模型和时间流模型下每帧的重构误差,设计自适应阈值对重构误差图进行二值化,并基于贝叶斯准则对空间流和时间流下的重构误差进行融合,得到融合重构误差图,并在此基础上进行异常行为判断。实验结果表明,该算法在UCSD和Avenue视频库上的检测效果优于现有异常检测算法。

     

Imbalanced SVM‐Based Anomaly Detection Algorithm for Imbalanced Training Datasets

Abnormal samples are usually difficult to obtain in production systems, resulting in imbalanced training sample sets. Namely, the number of positive samples is far less than the number of negative samples. Traditional Support Vector Machine (SVM)‐based anomaly detection algorithms perform poorly for highly imbalanced datasets: the learned classification hyperplane skews toward the positive samples, resulting in a high false‐negative rate. This article proposes a new imbalanced SVM (termed ImSVM)‐based anomaly detection algorithm, which assigns a different weight for each positive support vector in the decision function. ImSVM adjusts the learned classification hyperplane to make the decision function achieve a maximum GMean measure value on the dataset. The above problem is converted into an unconstrained optimization problem to search the optimal weight vector. Experiments are carried out on both Cloud datasets and Knowledge Discovery and Data Mining datasets to evaluate ImSVM. Highly imbalanced training sample sets are constructed. The experimental results show that ImSVM outperforms over‐sampling techniques and several existing imbalanced SVM‐based techniques.     

基于抽样流长与完全抽样阈值的异常流自适应抽样算法

高速IP网络的流量测量与异常检测是网络测量领域研究的热点。针对目前网络流量测量算法对小流估计精度偏低,对异常流量筛选能力较差的缺陷,该文提出一种基于业务流已抽样长度与完全抽样阈值S的自适应流抽样算法(AFPT)。AFPT算法根据完全抽样阈值S筛选对异常流量敏感相关的小流,同时根据业务流已抽样长度自适应调整抽样概率。仿真和实验结果表明,AFPT算法的估计误差与理论上界相符,具有较强的异常流量筛选能力,能够有效提高异常检测算法的准确率。     

一种基于节点实时流量的异常检测算法

针对无线传感器节点缺乏移动性和可预知的流量模式等特征,从而难以在传感器网络中进行异常检测的问题,该文提出了一种基于节点的实时异常检测算法.根据节点流量的到达过程,提出了一种新的节点流量到达模型,根据多层次的滑动窗口事件存储原理,将动态统计值进行短时间的保持,对不同时间段的到达过程指标进行比较,包括节点的可计算资源,低复杂度,融合特性等,以此来判别流量到达过程是否发生异常,从而对传感器网络进行有效的异常检测.     

基于构造性核覆盖算法的异常入侵检测

将构造性核覆盖算法引入入侵检测研究中,提出了一种基于构造性核覆盖的异常入侵检测算法,用于监控进程的非正常行为.首先分析了核覆盖分类算法应用于入侵检测的可能性,然后具体描述了核覆盖算法在异构数据集下的推广,提出了基于核覆盖的异常入侵检测模型.并以sendmail系统调用序列数据集为例,详细讨论了该模型的工作过程.最后将实验仿真结果与其它方法进行了比较,结果表明,该方法的检测效果优于同类的其它方法.     

Anomaly Detection of User Behavior Based on Shell Commands and Homogeneous Markov Chains

Behavior-based intrusion detection is currently an active research topic in the field of network security. This paper proposes a novel method for anomaly detection of user behavior, which is applicable to host-based intrusion detection systems using shell commands as audit data. The method employs a one-order homogeneous Markov chain model to characterize the normal behavior profile of a network user, and associates the states of the Markov chain with specific shell commands in the training data. The parameters of the Markov chain are estimated by a command matching algorithm which is compurationally efficient. At the detection stage, the occurrence probabilities of the state sequences are firstly computed, and then two alternative schemes could be used to distinguish between normal and anomalous behavior. The method gives attention to both computational efficiency and detection accuracy, and is especially suitable for online detection. Our study empirically demonstrated the promising performance of the method.