多节点系统异常日志流量模式检测方法

随着国家高性能计算环境各个节点产生日志数量的不断增加,采用传统的人工方式进行异常日志分析已不能满足日常的分析需求.提出一种异常日志流量模式的定义方法：同一节点相同时间片内日志类型的有序排列代表了一种日志流量模式,并以该方法为出发点,实现了一个异常日志流量模式检测方法,用来自动挖掘异常日志流量模式.该方法从系统日志入手,根据日志内容的文本相似度进行自动分类.然后将相同时间片内日志各个类型出现的次数作为输入特征,基于主成分分析的异常检测方法对该输入进行异常检测,得到大量异常的日志类型序列.之后,使用基于最长公共子序列的距离度量对这些序列进行层次聚类,并将聚类结果进行自适应K项集算法,以得出不同异常日志流量模式的序列代表.将国家高性能计算环境半年产生的日志根据不同时间段（早、晚、夜）使用上述方法进行分析,得出了不同时间段的异常日志流量模式和相互关系.该方法也可以推广到其他分布式系统的系统日志中.     

基于小波的网络流量异常协同相变检测

针对网络流量表现出的非线性和非平稳性等复杂的动力学特征,提出一种基于小波的网络流量异常协同相变检测方法。该方法从网络流量时间序列的离散小波域出发,利用序参量的非线性动力学方程描述网络流量系统的复杂行为,采用势函数来刻画网络流量系统的非平稳相变过程,进一步分析了网络流量状态与各种攻击模式之间的变化关系,并通过协同学模型对网络流量序参量进行演化,当相应序参量收敛时,即可检测到相应的攻击模式或是正常流量模式。最后,采用了DARPA 1999数据集进行了实验测试,网络流量异常的平均检测率达到了90.00%,而平均误检率只有15.03%。实验结果表明,基于小波的协同相变方法可以用于网络流量异常检测。     

基于攻击链和网络流量检测的威胁情报分析研究

以特征检测为主的传统安全产品越来越难以有效检测新型威胁,针对现有方法检测威胁攻击的不足,进行了一种基于攻击链结合网络异常流量检测的威胁情报分析方法研究,通过对获取的威胁信息进行分析,将提取出的情报以机器可读的格式实现共享,达到协同防御。该方法首先对网络中的异常流量进行检测,分析流量特征及其之间的关系,以熵值序列链的形式参比网络攻击链的模式;对每个异常时间点分类统计特征项,进行支持度计数,挖掘特征之间频繁项集模式,再结合攻击链各阶段的特点,还原攻击过程。仿真结果表明,该方法可以有效的检测网络中的异常流量,提取威胁情报指标。     

基于NetFlow时间序列的网络异常检测

网络流量在正常运行的情况下是具有一定的周期性、稳定性的,异常流量会打破这种规律使流量产生异常波动。提出了一种基于NetFlow时间序列滑动窗口检测网络异常的方法,利用时间序列异常发现算法发现网络流量的异常波动从而实现了实时高效的异常流量发现及预警。已经被检测到的网络异常会持续产生预警信息并影响后续的异常检测,为此还提出了两种平抑异常的方法。实验结果表明该方法能够有效地发现网络异常。     

基于多维聚类挖掘的异常检测方法研究

网络异常检测是网络管理中非常重要的课题,因此已在近年来得到广泛研究.人们在该领域提出了许多先进的网络流量异常检测方法,但是自动准确地对网络流量进行分类和识别来发现网络中的异常流量仍然是一个非常具有挑战性的问题.文中提出了一种基于多维聚类挖掘的异常检测方法,通过两个阶段来实现异常检测.第一阶段先通过多维聚类挖掘算法,自动对网络中的流量进行多维聚类,第二阶段通过计算多维聚类的异常度来实现异常检测.通过文中的方法,网络中的异常流量被自动归类到不同的有意义的聚类中,通过对这些聚类进行分析可以发现网络中的异常行为.最后通过实验对算法进行了验证,结果表明该方法能够有效检测网络中的异常流量.     

基于指数平滑技术的网络异常监测方法研究

网络流量异常指的是网络的流量行为偏离其正常行为的情形,异常流量的特点是发作突然,先兆特征未知,以在短时间内给网络或网络上的计算机带来极大的危害.因此准确、快速地检测网络流量的异常行为,并做出合理的响应是保证网络有效运行的前提之一.探索网络流量异常的一种方法--基于指数平滑技术的网络异常检测方法.基于时间序列的流量模型是网络异常监测的一种方式,指数平滑技术正是建立在时间序列模型基础之上的网络异常监测方法,对该监测技术进行了研究,分析了这一方法的特点及其存在的不足.     

基于多效用阈值的分布式高效用序列模式挖掘

针对序列模式的高效用模式挖掘过程中搜索空间大、计算复杂度高的问题,提出一种基于多效用阈值的分布式高效用序列模式挖掘算法。采用数组结构保存模式的效用信息,解决效用矩阵导致的内存消耗大的缺点。设计1-项集与2-项集的深度剪枝策略,深入地缩小候选模式的搜索空间,减少搜索时间成本与缓存成本。提出挖掘算法的分布式实现方案,通过并行处理进一步降低模式挖掘的时间。基于中等规模与大规模的序列数据集分别进行实验,实验结果表明,该算法有效减少了候选模式的数量,降低了挖掘的时间成本与存储成本,对于大数据集表现出较好的可扩展能力与稳定性。     

一种基于超统计理论的非平稳时间序列异常点检测方法研究

从非平稳时间序列的分布函数及其参数入手,主要研究分布函数不变分布参数变化的这一类非平稳的时间序列异常点检测方法,提出了基于超统计的异常检测方法,并将其应用于非平稳网络流量时间序列。从网络流量的非平稳和突发性特点出发,特别考虑到由于攻击流量所引起的流量特性的变化,结合超统计理论,主要研究分布参量的变化。根据超统计的理论,先应建立分布统计模型,研究分布模型不同参数变化对分布的决定性作用,从而将异常网络流量的检测研究转化成对慢变量参数序列的检测研究。该检测方法大大降低了计算的复杂度。通过大量实验表明该方法具有良好的效果。     

大尺度IP网络流量异常特征的多时间序列数据挖掘方法*

降低漏报率和误检率是网络流量异常检测的难点问题之一。本文提出了一种大规模通信网络流量异常特征分析的多时间序列数据挖掘方法,把多个网络流量特征参数构成的时间序列作为一个整体进行分析研究,进行多时间序列数据挖掘产生网络流量异常相关的有效关联规则,对整个通信网络的安全威胁进行准确地描述。Abilene网络数据验证了本文的方法。     

校园网络流量自相似性分析与研究

对于校园网等小规模的局域网,通过计算网络流量自相似值的方法无法有效检测网络异常流量。针对该问题,在分析校园网络流量特点的基础上,将网络流量分解成趋势项和随机成分等其他项,使用经验模式分解消除网络流量中的趋势项,使得网络流量序列的自相似值能直接反映随机成分状态。实验结果表明,该方法能提高异常流量检测的准确性。     

基于多尺度特征融合的异常流量检测方法

快速、准确地检测异常是网络安全的重要保证。但是由于网络流量的非线性、非平稳性以及自相似性,异常流量检测存在误报率高、检测率低、不能满足骨干网实时性要求等问题。该方法综合了希尔伯特-黄变换(Hilbert-Huang Transform,HHT)和Dempster-Shafer证据理论(D-S evidence theory)评测框架。前者将不同的流特征分别分解为多时间尺度上的固有模态函数(Intrinsic Mode Function,IMF),滤除特征中的非线性、非平稳分量;后者将前者分解得到的多尺度特征作为证据融合并最终做出决策。通过对KDD CUP 1999的入侵检测系统(Intrusion DetectionSystem,IDS)基准数据的实验表明,该方法能有效区分突发流量(crowd flow)和拒绝服务攻击(Denail of service,DoS)攻击流,整体上在保证低误报率前提下检测率达到85.1%。目前该方法已经作为入侵检测的子模块实现,并试用于某骨干网入口处检测异常。     

基于LSTM的动态图模型异常检测算法研究

传统异常检测模型往往基于内容特征，随着攻击手段的提高，该方法易于被绕过，因此图挖掘技术逐渐成为了国内外学术研究的热点。为了提高异常检测的准确率，提出了一种基于长短时记忆网络的动态图模型异常检测算法。首先通过对动态图的变化特征进行分析，总结了Egonet图结构距离和编辑距离两类特征，高效地表示动态图结构的变化情况。其次，通过基于LSTM的时间序列分类算法，进行模型的训练。最后对抓取的网络数据流进行入侵检测，对超过6万节点和300万条边的拓扑图进行测试。最终实验结果表明，该算法具有更高的准确率和召回率，可以有效地检测出网络入侵事件。     

小波与神经网络相结合的网络流量预测模型

针对网络流量序列的非线性和多时间尺度特性,提出了一种将小波变换与人工神经网络相结合进行网络流量预测的新模型.该模型吸取了小波变换的多分辨功能和人工神经网络的非线性逼近能力,对流量时间序列进行小波分解,得到小波变换尺度系数序列和小波系数序列,分别使用RBF神经网络和Elman神经网络进行预测,把两种预测的结果通过BP神经网络合成为最终预测结果.用实际网络流量对该模型进行验证,结果表明,该模型具有较高的预测效果.     

基于熵的网络异常流量检测研究综述

网络流量异常检测及分析作为一种重要的网络监管控制手段,是网络及安全管理领域的重要研究内容.本文探讨了网络异常流量的种类,简述了基于传统的异常检测方法在网络异常流量检测中的应用以及存在的问题.针对基于信息熵、相对熵、活跃熵等熵值理论在网络异常流量检测中的研究,阐述了基于熵值理论的异常检测在国内外的研究进展情况.总结了当前基于熵值理论的异常检测研究工作中存在的问题及改进方向.     

基于统计的网络流量异常检测模型

提出了一个基于统计的流量异常检测模型。根据网络流量的可测度集,描绘了一个正常网络流量的基线。参照该正常流量基线,使用假设检验理论进行异常检测。采用一个基于滑动窗口的流量更新策略,使异常检测能够更加高效。论述了在高速网络情况下提高检测性能的方法。     

一种网络异常实时检测方法

传统的网络管理工具通常根据预先设定的阈值来报警，这种方法虽然简单，但适应性不好．因此出现了网络异常检测技术，有时异常检测技术不但能发现网络故障，而且具有预警的效果[1]；该文介绍了一种新的实时网络流量异常检测方法，转换网络流量观测值序列并假定序列的局部是平稳的，然后建立AR模型，定义一个统计量来检测异常．结果表明，该检测方法具有GLR测试方法所没有的优点．     

主成分分析在网络流量异常检测中的应用研究

文章阐述了在网络流量异常检测中应用主成分分析的应用范畴、主成分分析的常用算法等主成分分析的方法,针对网络流量数据源特点设计出了符合大规模网络安全态势分析实际应用的异常检测算法,在对原方法进行了适当调整并建立模型的同时,着重论述了主成分分析方法的检测评估过程,并对主成分分析方法在网络流量异常检测中的应用作了比较详细的描述。