基于大数据分析的网络流量异常检测

随着网络流量的规模和复杂性不断增加,网络安全问题日益突出。文章分析了基于大数据分析的网络流量异常检测。首先,分析大数据的技术原理和常见的异常网络流量类型。其次,选取CICIDS2017作为实验数据集,该数据集有153万条网络流量样本,包括77个特征和11种异常流量类型。最后,进一步构建基于随机森林作的异常流量检测模型,并提取出贡献度排名前10的特征。结果表明,随机森林分类模型对于网络流量异常检测具有较高的准确性和健壮性,能够及时发现网络中的异常行为。     

基于小波的网络流量异常分析与仿真

网络流量异常检测及分析是网络及安全管理领域的重要研究内容,文章根据网络流量的信号特性和自相似性,利用小波变换局部放大能力及Hurst和李氏指数的变化与网络流量异常的对应关系,提出了一种基于小波分析的网络流量异常检测与定位方法。根据自相似指数的值在大时间尺度上来判定异常发生,并进一步在小时间尺度下基于李氏指数与信号奇异性的对应关系来分析并定位异常点。此方法通过DipSIF平台所采集的数据进行仿真验证,可有效地检测网络函：量异常并定位异常发生点,与传统方法相比,异常检测的有效率更高。     

主成分分析在网络流量异常检测中的应用研究

文章阐述了在网络流量异常检测中应用主成分分析的应用范畴、主成分分析的常用算法等主成分分析的方法,针对网络流量数据源特点设计出了符合大规模网络安全态势分析实际应用的异常检测算法,在对原方法进行了适当调整并建立模型的同时,着重论述了主成分分析方法的检测评估过程,并对主成分分析方法在网络流量异常检测中的应用作了比较详细的描述。     

基于网络流量分析的入侵检测技术的研究

本文介绍了入侵检测系统的概念、分类和常用的入侵分析技术,对常见的引起流量异常的原因进行了简单的介绍,并设计了一种使用时间序列分析的网络流量异常检测的实时入侵检测系统原型,用于监测局域网的网络流量。该流量异常检测系统能够对整个局域网或者一些核心服务器和主机的异常流量进行识别和判断。     

基于信息熵的大规模网络流量异常检测

提出了基于信息熵的大规模网络流量异常检测方法。该方法吸收了子空间方法的思想,并结合了K-means分类方法。以校园网为实验环境,应用基于信息熵的方法实现了网络流量异常检测的全过程。通过实验结果与应用标准子空间方法对测量数据分析结果的对比,证明了基于信息熵的大规模网络流量异常检测有着更高的检测精度。     

网络流量异常检测及分析的研究

网络流量异常检测及分析是网络异常监视及响应应用的基础,是网络及安全管理领域的重要研究内容.本文探讨了网络流量数据类型、网络流量异常种类;从流量异常检测的范围、流量异常分析的深度、在线和离线异常检测方式等方面归纳了流量异常检测的研究内容;综述了已有的研究工作针对不同应用环境和研究内容所采用的不同的研究方法和技术手段,并分析了各种研究方法的特点、局限性和适用场合等;最后本文还对现有研究工作存在的问题及有待于进一步研究的课题进行了探讨.     

基于小波的网络流量异常协同相变检测

针对网络流量表现出的非线性和非平稳性等复杂的动力学特征,提出一种基于小波的网络流量异常协同相变检测方法。该方法从网络流量时间序列的离散小波域出发,利用序参量的非线性动力学方程描述网络流量系统的复杂行为,采用势函数来刻画网络流量系统的非平稳相变过程,进一步分析了网络流量状态与各种攻击模式之间的变化关系,并通过协同学模型对网络流量序参量进行演化,当相应序参量收敛时,即可检测到相应的攻击模式或是正常流量模式。最后,采用了DARPA 1999数据集进行了实验测试,网络流量异常的平均检测率达到了90.00%,而平均误检率只有15.03%。实验结果表明,基于小波的协同相变方法可以用于网络流量异常检测。     

基于数据挖掘的网络异常流量入侵检测方法

为解决利用传统方法进行网络流量异常入侵检测时存在检测正确率较低的问题,提出基于数据挖掘的网络流量异常入侵检测方法。根据网络攻击行为对网络异常流量特征属性进行提取,利用数据挖掘的关联分析找出异常流量特征之间的相关性,并将网络异常流量特征进行联合计算熵值处理,实现异常网络流量入侵检测。实验结果表明,设计的网络流量异常入侵检测方法在不同入侵行为类型上的检测正确率均在96.00%以上,证明该方法可以准确地检测出网络中潜在的入侵行为,具有较好的实用性。     

一种基于核PCA的网络流量异常检测算法

对各种网络数据流量的异常检测引起了人们的兴趣。网络数据流异常的检测和定位对于保障网络的稳定安全运行极为重要。基于主成份分析PCA(Principal component analysis)的网络异常检测算法虽然具有较好的检测性能,但是基于PCA的网络异常检测算法前提是假设网络流量数据满足高斯分布,且对网络数据的非线性结构表示无能为力。为了解决该问题,引入核函数空间,提出一种基于核主成分分析的在线网络流量异常检测算法。该算法以矩阵分解的方式构建正常子空间和异常子空间,并实现网络流量异常的检测。仿真实验分析表明,该算法取得了很好的检测性能。     

基于子空间方法的大规模网络流量异常检测

本文采用子空间方法和PCA（主成分分析或Principal Components Analysis）对大规模网络流量异常检测进行研究,并以校园网为实验环境,应用子空间方法和PCA实现了网络流量异常检测。通过实验结果与小波分析结果的对比,证明了基于子空间方法的大规模网络流量异常检测是一种既简单又高效的方法。     

基于熵的网络异常流量检测研究综述

网络流量异常检测及分析作为一种重要的网络监管控制手段,是网络及安全管理领域的重要研究内容.本文探讨了网络异常流量的种类,简述了基于传统的异常检测方法在网络异常流量检测中的应用以及存在的问题.针对基于信息熵、相对熵、活跃熵等熵值理论在网络异常流量检测中的研究,阐述了基于熵值理论的异常检测在国内外的研究进展情况.总结了当前基于熵值理论的异常检测研究工作中存在的问题及改进方向.     

浅析网络异常流量分析检测研究与实现

伴随着互联网技术与网络业务的快速发展,网络规模逐渐扩大,网络运用开始逐步朝多元化、多样化以及复杂化的方向发展.现今,网络流量监测已经逐渐发展为计算机网络运用当中一个必不可少的内容与环节.文章将对网络异常流量加以说明,并对网络异常流量检测技术研究与实现进行分析与研究.     

基于Netflow的异常流量分离以及归类

针对以往的各种异常流量检测算法只能在宏观上进行流量异常监测,不能进一步实时地将异常流量分离处理,提出了在Netflow流数据环境下对单体IP历史数据的研究的方法,通过对单体IP统计、预测,能快速的检测出导致网络异常流量的主机,并根据其流的类型判断,分类以发现其发生异常的原因并提供ACL策略,从而将网络流量控制在稳定的空间和时间之内,实验结果表明了此方法的可行性和有效性.     

基于流量信息结构的异常检测

由于人们对网络流量规律的认识还不够深入,大型高速网络流量的异常检测仍然是目前测量领域研究的一个难点问题.通过对网络流量结构和流量信息结构的研究发现,在一定范围内,正常网络流量的IP、端口等具有重尾分布和自相似特性等较为稳定的流量结构,这种结构对应的信息熵值较为稳定.异常流量和抽样流量的信息熵值以正常流量信息熵值为中心波动,构成以IP、端口和活跃IP数量为维度的空间信息结构.据此对流量进行建模,提出了基于流量信息结构的支持向量机(support vector machine,简称SVM)的二值分类算法,其核心是将流量异常检测转化为基于SVM的分类决策问题.实验结果表明,该算法具有很高的检测效率,还初步验证了该算法的抽样检测能力.因此,将该算法应用到大型高速骨干网络具有实际意义.     

利用链路相关性进行网络流量异常检测

传统的网络异常检测方法应用于具有较大链路数量的网络上时,往往存在着误报率高、检测范围不够全面、检测效率不能满足高速网络实时监测需求等问题。由于多链路之间往往存在有较强的相关性,这种相关性反映了链路流量的整体趋势,可以被用来进行网络流量异常分析。采用基于PCA的相关性分析方法对网络流量异常检测进行研究,利用链路之间相关性评估网络流量的异常。实验证明,这种方法应用于大规模流量异常检测是简单有效的。     

基于信息熵的网络流量信息结构特征研究

随着人们对网络流量特征研究的深入,网络异常检测技术得以不断发展,因此流量特征分析是网络异常检测的基础性重要工作。文章研究基于熵的流量信息结构特征,不同于已有的网络流量初级统计特征研究,它以提取的流量属性在单位时间内分布特征为研究对象。基于 DARPA 99数据集的实验表明,该方法相对于基于流量初级统计特征方流量异常表示方法具有更强的敏感性。     

Identifying heavy hitters in high-speed network monitoring

Identifying heavy hitters in a network traffic stream is important for a variety of network applications ranging from traffic engineering to anomaly detection such as detection of denial-of-service attacks. Existing methods generally examine newly arriving items in the stream, perform a small number of operations using a small amount of memory, and still provide guarantees on the identifying accuracy. In high-speed network monitoring, the update speed per item is extremely critical. However, so far as we kn...     

基于统计的网络流量异常检测模型

提出了一个基于统计的流量异常检测模型。根据网络流量的可测度集,描绘了一个正常网络流量的基线。参照该正常流量基线,使用假设检验理论进行异常检测。采用一个基于滑动窗口的流量更新策略,使异常检测能够更加高效。论述了在高速网络情况下提高检测性能的方法。     

基于t-SNE降维预处理的网络流量异常检测

网络流量中大多数流量都是正常的,但经常会出现偏离正常范围的异常流量,主要由DDOS攻击、渗透攻击等恶意的网络行为引起,这些异常行为通常会导致网络质量下降,甚至网络直接瘫痪。因此引入网络安全态势的预测,在仅知道正常网络流量的情况下判断网络中的异常。异常检测是一种网络安全态势的预测方法,用来判断网络中是否有异常。现有的异常检测算法由于无法准确提取网络数据包的低维特征导致算法的性能不佳,因此,需要找到网络数据包的准确的低维特征表示,该低维特征表示能够区分网络数据包是正常的还是有攻击的。为此,本文引入基于t-SNE降维的NLOF异常检测算法。该算法采用t-SNE算法自动预处理网络数据包以获得低维的网络数据包特征,之后将得到的低维的网络数据包特征作为NLOF算法的输入进行异常检测。其中,本文的NLOF算法首先采用k-means算法将网络数据包聚类成为K个簇,并将网络数据包数量小于N个的簇标记为异常簇,之后将未被标记为异常簇的网络数据包作为LOF算法的输入进行异常检测。在ISCX2012数据集上的实验结果表明,基于t-SNE降维的LOF算法达到最优性能时,准确率为98.46%,精确度为98.38%,检测率为98.54%,FAR为0.66%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.18个百分点、0.02个百分点和0.01个百分点。基于t-SNE降维的NLOF算法达到最优性能时,准确率为98.53%,精确度为98.86%,检测率为98.86%,FAR为0.32%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.25个百分点、0.34个百分点和0.41个百分点。这是异常检测中首次采用t-SNE算法自动提取低维的网络数据包特征。此外,LOF算法仅能捕获异常点,而本文的NLOF算法能够同时捕获异常点和异常簇。