基于信息熵的网络流量信息结构特征研究

随着人们对网络流量特征研究的深入,网络异常检测技术得以不断发展,因此流量特征分析是网络异常检测的基础性重要工作。文章研究基于熵的流量信息结构特征,不同于已有的网络流量初级统计特征研究,它以提取的流量属性在单位时间内分布特征为研究对象。基于 DARPA 99数据集的实验表明,该方法相对于基于流量初级统计特征方流量异常表示方法具有更强的敏感性。     

基于流量模板检测网络异常流量

当前的网络异常流量检测技术侧重于采用机器学习和统计学方法,两者适用于通用网络环境。本文针对受控网络环境通信特征,提出了一种基于流量模板的网络异常流量检测方法,该方法实时抓取分析网络流量,提取网络流量头部特征和行为特征,基于网络八元组信息建立流量模板,通过匹配流量模板检测网络异常流量。实验结果表明该方法在受控网络环境下能准确检测出网络异常流量。     

相空间重构实现局域网流量的关联维数研究

鉴于网络流量复杂的非线性特征,引入关联维数来研究网络流量的混沌特性。首先,采用C-C算法重构局域网流量的相空间,确定出最佳延迟时间。然后,分析了重构相空间的关联维数与网络流量的关联关系。进一步,研究了相空间重构参数对关联维数准确度的影响。研究结果显示,将重构相空间的延迟时间确定在一定范围内,关联维数可以较准确地反映网络流量的复杂程度。关联维数和饱和嵌入维数随着网络使用量的增加而增加,而相对关联维数随着网络平均流量的增加而降低。分析结果为进一步研究网络流量的各策动因素的关联特性奠定了理论基础。     

基于改进聚类分析的网络流量异常检测方法

针对传统基于聚类分析的网络流量异常检测方法准确性较低的问题,提出了一种基于改进 k-means聚类的流量异常检测方法。通过对各类流量特征数据的预处理,使k-means算法能适用于枚举型数据检测,进而给出一种基于数值分布分析法的高维数据特征筛选方法,有效解决了维数过高导致的距离失效问题,并运用二分法优化K个聚簇的划分,减少了初始聚类中心选择对k-means算法结果的影响,进一步提高了算法的检测率。最后通过仿真实验验证了所提出算法的有效性。     

基于粒子群算法的网络流量异常检测方法

由于网络流量异常数据具有维数大和冗余度高等特征，导致传统方法的检测精度较低，为此提出基于粒子群算法的网络流量异常检测方法。首先，采集网络流量数据，并进行外部参数提取与流量过滤等预处理；其次，基于粒子群算法优化分类规则的编码方案；最后，进行实验分析。实验结果表明，该方法的性能优于对照组，能够最大限度地保障检测结果的准确性。     

基于直方图聚类的网络流量异常检测技术研究

基于流量特征的异常检测技术主要是通过网络流量特征属性分布规律映射网络异常行为。为提高检测准确率,降低误报率,文章提出了基于流量特征直方图聚类的异常检测和分类的技术。通过直方图的方法详细描述网段流量特征的时空信息,然后聚类分析各种属性特征的正常模型,最后根据待测流量特征属性与正常模型之间的距离所组成的向量来衡量异常。基于DARPA99数据集的实验表明,该算法具有较高的异常检测和分类准确性。     

一种网络流量异常检测模型

网络流量异常影响网络性能,严重时造成网络中断,在基于统计的网络流量异常检测模型基础上,本文提出一种改进的方法。首先对采样数据进行预处理,去除坏值;然后采用统计学方法对网络流量稳态模型进行建模和更新,选择表现流量特征明显、属性相关性小的指标反映网络流量;最后利用同比和环比相结合的方法对网络流量进行异常判断。实验结果表明,该方法能对网络流量异常有较好的监控,并减小异常检测的误判率。     

基于FW-PSO的大区域无线传感网络流量异常检测算法

针对大区域无线传感网络流量特征维度较高，现有神经网络算法只能假设所有区域特征一致，导致一旦网络规模过大，会存在较大误差的问题。采用烟花算法优化粒子群算法的搜索能力，设计一种FW-PSO（FireworksAlgorithm-Particle Swarm Optimization ,烟花算法-粒子群算法）算法，提升了算法的全局搜索能力及收敛速度，提出基于FW-PSO的大区域无线传感网络流量异常检测算法。首先采用时间滑动窗口处理大区域无线传感网络数据流信息，通过正态Grubbs法则剔除数据中粗大误差值。然后引入主成分分析法对传感数据特征降维，分段提取有价值的特征。设计FW-PSO算法，提升粒子群算法的搜索能力，实现流量异常检测。实验结果表明，所提方法的无线传感网络流量异常检测率准确率平均为94.8%，训练及检测耗时平均值分别为3.75s及0.25s。     

基于Netflow的异常流量分离以及归类

针对以往的各种异常流量检测算法只能在宏观上进行流量异常监测,不能进一步实时地将异常流量分离处理,提出了在Netflow流数据环境下对单体IP历史数据的研究的方法,通过对单体IP统计、预测,能快速的检测出导致网络异常流量的主机,并根据其流的类型判断,分类以发现其发生异常的原因并提供ACL策略,从而将网络流量控制在稳定的空间和时间之内,实验结果表明了此方法的可行性和有效性.     

基于词袋模型的分布式拒绝服务攻击检测

针对分布式拒绝服务（DDoS）攻击有效荷载快速变化,人工干预需要依赖经验设定预警阈值以及异常流量特征码更新不及时等问题,提出一种基于二进制流量关键点词袋（BSP-BoW）模型的DDoS攻击检测算法。该算法可以自动从当前网络的流量数据中训练得到流量关键点（SP）,针对不同拓扑网络进行自适应异常检测,减少频繁更新特征集带来的人工成本。首先,对已有的攻击流量和正常流量进行均值聚类,寻找网络流量中的SP;然后,将原有的流量转化映射到相应SP上使用直方图进行形式化表达;最后,通过欧氏距离进行DDoS攻击的分类检测。在公开数据库DARPA LLDOS1.0上的实验结果表明,所提算法的异常网络流量识别率优于现有的局部加权学习（LWL）、支持向量机（SVM）、随机树（Random Tree）、logistic回归分析（logistic）、贝叶斯（NB）等方法。所提的基于词袋聚类模型算法在拒绝服务攻击的异常流量识别中有很好的识别效果和泛化能力,适合部署在中小企业（SME）网络流量设备上。     

网络流量异常检测及分析的研究

网络流量异常检测及分析是网络异常监视及响应应用的基础,是网络及安全管理领域的重要研究内容.本文探讨了网络流量数据类型、网络流量异常种类;从流量异常检测的范围、流量异常分析的深度、在线和离线异常检测方式等方面归纳了流量异常检测的研究内容;综述了已有的研究工作针对不同应用环境和研究内容所采用的不同的研究方法和技术手段,并分析了各种研究方法的特点、局限性和适用场合等;最后本文还对现有研究工作存在的问题及有待于进一步研究的课题进行了探讨.     

基于多尺度主成分分析的全网络异常检测方法

网络异常检测对于保证网络的可靠运行具有重要意义,而现有的异常检测方法仅仅单独利用流量的时间相关性或空间相关性.针对这一不足,同时考虑流量矩阵的时空相关性,提出了一种基于MSPCA的全网络异常检测方法.该方法综合利用小波变换具有的多尺度建模能力和PCA具有的降维能力对正常流量进行建模,然后采用Shewart控制图和EWMA控制图分析残余流量.此外,还利用滑动窗口机制对MSPCA异常检测方法进行在线扩展,提出了一种在线的MSPCA异常检测方法.因特网实测数据分析和模拟实验分析表明:MSPCA算法的检测性能优于PCA算法和近期提出的KLE算法;在线MSPCA算法的检测性能非常接近MSPCA算法,且单步执行时间很短,完全满足实时检测的需要.     

一种基于深度Encoder-Decoder神经网络的智能电网数据服务器流量异常检测算法

传统的网络流量异常检测通常基于单一原始特征变量进行阈值判断,或者对多个相关变量进行降维设计统计量后进行阈值判断,这类方法虽然简单,但无法应对变量间非线性关系随时间变化的情况。本文设计一种能够自适应动态逼近变量间非线性关系的深度神经网络,在普通的Encoder-Decoder神经网络的基础上引入2层注意力机制,提高了神经网络对长期历史信息的利用程度,实现了流量正常状态估计。基于估计得到的流量正常行为,分析其与实测值的残差分布情况,并最终给出置信区间作为判别异常行为的控制限。     

基于特征分组聚类的异常入侵检测系统研究

利用网络连接数据可以按照连接的基本特征、内容特征、网络流量特征和主机流量特征进行分组的特点,基于K-means算法,提出一种按照特征分组进行聚类的方法,以高效实现特征约简和数据降维.通过调整聚类参数保留特征分组内的差异信息,使用决策树C4.5算法对降维后的数据进行入侵分类处理.实验结果表明,该方法能够使kddcup99数据集的聚类特征数由41个降为4个,且对网络连接数据的总检测率为99.73%,误检率为0,其中正常网络连接和刺探攻击Probe的检测率均为100%.     

Diagnosing Traffic Anomalies Using a Two-Phase Model

Network traffic anomalies are unusual changes in a network,so diagnosing anomalies is important for network management.Feature-based anomaly detection models (ab)normal network traffic behavior by analyzing packet header features.PCA-subspace method (Principal Component Analysis) has been verified as an efficient feature-based way in network-wide anomaly detection.Despite the powerful ability of PCA-subspace method for network-wide traffic detection,it cannot be effectively used for detection on a single link.In this paper,different from most works focusing on detection on flow-level traffic,based on observations of six traffic features for packet-level traffic,we propose a new approach B6SVM to detect anomalies for packet-level traffic on a single link.The basic idea of B6-SVM is to diagnose anomalies in a multi-dimensional view of traffic features using Support Vector Machine (SVM).Through two-phase classification,B6-SVM can detect anomalies with high detection rate and low false alarm rate.The test results demonstrate the effectiveness and potential of our technique in diagnosing anomalies.Further,compared to previous feature-based anomaly detection approaches,B6-SVM provides a framework to automatically identify possible anomalous types.The framework of B6-SVM is generic and therefore,we expect the derived insights will be helpful for similar future research efforts.     

基于流量信息结构的异常检测

由于人们对网络流量规律的认识还不够深入,大型高速网络流量的异常检测仍然是目前测量领域研究的一个难点问题.通过对网络流量结构和流量信息结构的研究发现,在一定范围内,正常网络流量的IP、端口等具有重尾分布和自相似特性等较为稳定的流量结构,这种结构对应的信息熵值较为稳定.异常流量和抽样流量的信息熵值以正常流量信息熵值为中心波动,构成以IP、端口和活跃IP数量为维度的空间信息结构.据此对流量进行建模,提出了基于流量信息结构的支持向量机(support vector machine,简称SVM)的二值分类算法,其核心是将流量异常检测转化为基于SVM的分类决策问题.实验结果表明,该算法具有很高的检测效率,还初步验证了该算法的抽样检测能力.因此,将该算法应用到大型高速骨干网络具有实际意义.     

基于决策树的网络流量异常分析与检测

针对现有网络流量异常检测方法准确率较低的问题,提出基于决策树的网络流量异常分析与检测方法。研究网络流量结构特征及流量异常的交叉熵表示方法。采用C4.5算法建立决策树模型,将具有连续性的属性值离散化,根据最大信息增益比逐层选取分类属性,依此规则对流量数据进行分类。实验结果表明,当该方法的检测准确率达90%以上时,误报率可控制在5%以内,与同类方法相比能更准确地发现网络流量异常并进行分类。     

利用PCA进行深度学习图像特征提取后的降维研究

深度学习是当前人工智能领域广泛使用的一种机器学习方法.深度学习对数据的高度依赖性使得数据需要处理的维度剧增,极大地影响了计算效率和数据分类性能.本文以数据降维为研究目标,对深度学习中的各种数据降维方法进行分析.在此基础上,以Caltech 101图像数据集为实验对象,采用VGG-16深度卷积神经网络进行图像的特征提取,以PCA主成分分析方法为例来实现高维图像特征数据的降维处理.在实验阶段,采用欧氏距离作为相似性度量来检验经过降维处理后的精度指标.实验证明：当提取VGG-16神经网络fc3层的4096维特征后,使用PCA法将数据维度降至64维,依然能够保持较高的特征信息.