网络流量异常检测及分析的研究

网络流量异常检测及分析是网络异常监视及响应应用的基础,是网络及安全管理领域的重要研究内容.本文探讨了网络流量数据类型、网络流量异常种类;从流量异常检测的范围、流量异常分析的深度、在线和离线异常检测方式等方面归纳了流量异常检测的研究内容;综述了已有的研究工作针对不同应用环境和研究内容所采用的不同的研究方法和技术手段,并分析了各种研究方法的特点、局限性和适用场合等;最后本文还对现有研究工作存在的问题及有待于进一步研究的课题进行了探讨.     

基于粒子群算法的网络流量异常检测方法

由于网络流量异常数据具有维数大和冗余度高等特征,导致传统方法的检测精度较低,为此提出基于粒子群算法的网络流量异常检测方法。首先,采集网络流量数据,并进行外部参数提取与流量过滤等预处理;其次,基于粒子群算法优化分类规则的编码方案;最后,进行实验分析。实验结果表明,该方法的性能优于对照组,能够最大限度地保障检测结果的准确性。     

基于机器学习的网络流量异常检测

为了提高网络流量异常的检出率,研究基于机器学习的网络流量异常检测方法。先通过K-means聚类算法分别得到网络流量异常数据簇,再将其输入双向长短期记忆网络和注意力机制模型,实现网络流量异常检测。实验结果表明,所提方法实用性良好,可提升网络流量异常检测的性能。     

基于信息熵的大规模网络流量异常检测

提出了基于信息熵的大规模网络流量异常检测方法。该方法吸收了子空间方法的思想,并结合了K-means分类方法。以校园网为实验环境,应用基于信息熵的方法实现了网络流量异常检测的全过程。通过实验结果与应用标准子空间方法对测量数据分析结果的对比,证明了基于信息熵的大规模网络流量异常检测有着更高的检测精度。     

基于子空间方法的大规模网络流量异常检测

本文采用子空间方法和PCA（主成分分析或Principal Components Analysis）对大规模网络流量异常检测进行研究,并以校园网为实验环境,应用子空间方法和PCA实现了网络流量异常检测。通过实验结果与小波分析结果的对比,证明了基于子空间方法的大规模网络流量异常检测是一种既简单又高效的方法。     

基于大数据分析的网络流量异常检测

随着网络流量的规模和复杂性不断增加,网络安全问题日益突出。文章分析了基于大数据分析的网络流量异常检测。首先,分析大数据的技术原理和常见的异常网络流量类型。其次,选取CICIDS2017作为实验数据集,该数据集有153万条网络流量样本,包括77个特征和11种异常流量类型。最后,进一步构建基于随机森林作的异常流量检测模型,并提取出贡献度排名前10的特征。结果表明,随机森林分类模型对于网络流量异常检测具有较高的准确性和健壮性,能够及时发现网络中的异常行为。     

交互博弈引导的网络流量异常检测建模方法研究

基于网络流量的系统入侵会带来严重破坏,因此寻找能够准确识别和分类异常流量的方法具有重要的研究价值。数据作为基于机器学习模型的检测算法的唯一依据,训练过程对于外界是一个黑盒过程,整个模型在训练和使用过程中缺乏用户交互。这导致在网络运维场景中,专业运维人员不能根据当前模型检测结果,实时将指导信息反馈到系统中,进而削弱了系统的场景适应能力和检测纠错能力。本文基于强化学习过程,设计了一种基于动态贝叶斯博弈的交互引导式的网络流量异常检测方法。通过检测模型和运维人员交互的方式,在训练过程中让运维人员提供专业反馈使得模型获得外界针对当前检测效果的奖惩信号,从而对自身特征聚焦方向和收敛过程起到引导的作用。将运维人员和检测模型视为博弈的双方,建立博弈模型,使双方之间的交互引导行为达到动态平衡状态。通过博弈对于模型交互频次和内容反馈给出指导,从而使得模型具有动态适应当前场景的能力,有效控制了人机交互反馈所带来的系统开销。实验部分验证了交互式博弈的流量检测方法中,双方博弈指导交互行为的可行性与有效性,证明了该方法在动态场景中具有良好的适应能力。相较于传统的机器学习方法,交互引导式模型提高了模型整体的检测性能。性能对比测试结果表明交互频次每增加0.02%,系统整体检测性能随之提升0.01%。     

一种联合DPI和DFI的网络流量检测方法

提出一种以深度包检测(DPI)技术为主、深度流检测(DFI)技术为辅的网络流量检测方法。基于MPC8572网络处理器的模式匹配引擎模块,利用DPI实现细粒度检测,对于DPI的误识别情况,通过DFI进行鉴别并提示重新检测,以达到纠错目的。实验结果表明,联合方法具有检错和纠错功能,且能提高网络流量检测的准确率。     

基于EBP的宏观网络流量异常行为检测

针对以往Hurst指数估算方法在求解精度和实时性上的不足,提出将EBP引入到网络流量白相似特性分析中,对比实验表明EBP对Hurst指数的估算更精确、实时性更高。利用EBP的这一优势将其运用到宏观网络行为的在线实时分析和异常行为的检测中,对林肯实验室宏观网络行为数据的分析表明,正常行为和异常行为的Hurst分布曲线差异明显。与传统匹配方法相比,基于EBP的异常行为检测方法检测效率更高。     

基于网络流量的入侵检测研究

首先给出计算机网络正常和异常的概念,接着介绍入侵检测中的误用检测和异常检测。然后对网络流量中的主要入侵检测方法进行介绍。最后基于网络流量的特点,简单介绍了网络流量在入侵检测中的发展趋势和主要研究方向。     

基于熵的网络异常流量检测研究综述

网络流量异常检测及分析作为一种重要的网络监管控制手段,是网络及安全管理领域的重要研究内容.本文探讨了网络异常流量的种类,简述了基于传统的异常检测方法在网络异常流量检测中的应用以及存在的问题.针对基于信息熵、相对熵、活跃熵等熵值理论在网络异常流量检测中的研究,阐述了基于熵值理论的异常检测在国内外的研究进展情况.总结了当前基于熵值理论的异常检测研究工作中存在的问题及改进方向.     

一种无类标训练数据异常检测模型

提出了一种基于无类标训练数据的异常检测方法（ADUTD），该：于法克服了传统异常检测需要纯净训练数据或有类标训练数据的限制，提高了异常检测的可用性．ADUTD通过过滤掉网络连接记录属性中低频率类型值的方法，过滤掉由训练数据中的攻击记录引入的类型值，并建立正常行为的统计模型．建立模型所使用的属性不仅包括网络连接中数据包的头部字段，也包括应用层的数据．ADUTD另一个特点是按网络连接服务类型划分数据并分别建立统计模型，提高了检测模型的预测能力．用DARPA1999评估数据集所做的实验结果显示，ADUTD能有效检测网络入侵．     

一种非纯净训练数据异常入侵检测方法

异常入侵检测系统在训练阶段建立对象的正常行为模型，在测试阶段把它与对象的行为进行比较，如果出现了大于给定域值的偏差，就认为发生了入侵．通常建立对象正常行为模型的方法是用没有入侵的数据训练系统．这种方法存在实用性和可靠性方面的缺陷：人工合成的训练数据基表可以保证没有攻击，但它与入侵检测系统将要实际工作的环境有很大的差别；而从实际使用环境提取的训练数据又不能保证不合有攻击．本文提出了一种基于网络的非纯净训练数据的异常入侵检测方法ADNTD（Anomaly Detection for Noisy Training Data），它通过过滤训练数据中的低概率特征域的方法过滤掉训练数据中的攻击数据并建立网络的正常行为模型，以保证即使训练数据含有攻击的情况下仍能取得较好的检测效果．实验结果显示：在训练数据含有攻击时，ADNTD的性能明显好于以前的系统；在采用纯净数据训练时，ADNTD也具有与以前的系统相当的性能；ADNTD用带有攻击的数据训练的情况下仍能达到以前的同类系统用纯净数据训练相同的检测性能．     

基于数据挖掘技术的Web应用异常检测

本文提出的异常检测系统以Web日志文件作为输入,利用数据挖掘技术建立两种异常检测模型,分别对待测的Web请求记录输出五个异常概率,对各概率进行加权处理后得到一个最终的异常概率。     

网络异常的检测与诊断方法

为提高网络的可用性和可靠性，当网络出现异常时，首先，必须尽快地发现异常(即异常检测)，发出警报，这样可以提前采取措施以避免或减轻对服务的影响，其次，必须从大量的警报信息中作出正确的诊断，提取出真正的、非冗余的信息，以便找出问题的根源(即警报关联)，从而解决问题，改善服务质量．本文就网络异常检测和警报关联两个方面进行总结和分析，回顾了该领域的主要研究工作，最后提出了一种新的异常检测方法．     

网络流量异常检测中的维数约简研究

对包含大流量数据的高维度网络进行异常检测,必须加入维数约简处理以减轻系统在传输和存储方面的压力。介绍高速网络环境下网络流量异常检测过程以及维数约简方式,阐述流量数据常用特征和维数约简技术研究的最新进展。针对网络流量特征选择和流量特征提取2种特征降维方式,对现有算法进行归纳分类,分别描述算法原理及优缺点。此外,给出维数约简常用的数据集和评价指标,分析网络流量异常检测中维数约简技术研究面临的挑战,并对未来发展方向进行展望。     

云环境下SDN的流量异常检测性能分析

随着复杂的混合云网络逐渐成为云计算发展的瓶颈,软件定义网络(SDN)技术近年来成为学术界和工业界关注的热点。在网络安全领域,对于应用SDN来解决网络攻击的研究尚处于起步阶段,SDN是否能够高效检测来自内部的网络攻击尚无定论。针对该问题,在分析SDN技术框架的基础上,设计基于OpenStack的云环境实验方案。在传统云环境网络和SDN环境下同时测试2种流量异常检测算法,模拟Flood攻击和端口扫描攻击,分析SDN在检测攻击时的精确度和资源使用率。结果表明,在云环境下利用SDN检测内部威胁时比传统网络环境占用更少的物理内存而不影响精确度,但直接在SDN控制器上部署安全应用的方式也存在性能瓶颈。     

基于时间序列图挖掘的网络流量异常检测

网络流量异常检测要解决的核心问题之一是获得信息的全面性和流量信息描述的准确性.针对现有网络异常流量检测方法分析多时间序列的不足,提出了一种基于图挖掘的流量异常检测方法.该方法使用时间序列图准确、全面地描述用于流量异常检测的多时间序列的相互关系;通过对项集模式进行支持度计数,挖掘各种频繁项集模式,有利于对各种异常流量的有效检测;通过挖掘各项集之间的关系,引入了项集的权重系数,解决了流量异常检测的多时间序列相互关系的量化问题.仿真结果表明,该方法能有效地检测出网络流量异常,并且对DDos攻击的检测效果明显优于基于连续小波变换的检测方法.     

基于t-SNE降维预处理的网络流量异常检测

网络流量中大多数流量都是正常的,但经常会出现偏离正常范围的异常流量,主要由DDOS攻击、渗透攻击等恶意的网络行为引起,这些异常行为通常会导致网络质量下降,甚至网络直接瘫痪。因此引入网络安全态势的预测,在仅知道正常网络流量的情况下判断网络中的异常。异常检测是一种网络安全态势的预测方法,用来判断网络中是否有异常。现有的异常检测算法由于无法准确提取网络数据包的低维特征导致算法的性能不佳,因此,需要找到网络数据包的准确的低维特征表示,该低维特征表示能够区分网络数据包是正常的还是有攻击的。为此,本文引入基于t-SNE降维的NLOF异常检测算法。该算法采用t-SNE算法自动预处理网络数据包以获得低维的网络数据包特征,之后将得到的低维的网络数据包特征作为NLOF算法的输入进行异常检测。其中,本文的NLOF算法首先采用k-means算法将网络数据包聚类成为K个簇,并将网络数据包数量小于N个的簇标记为异常簇,之后将未被标记为异常簇的网络数据包作为LOF算法的输入进行异常检测。在ISCX2012数据集上的实验结果表明,基于t-SNE降维的LOF算法达到最优性能时,准确率为98.46%,精确度为98.38%,检测率为98.54%,FAR为0.66%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.18个百分点、0.02个百分点和0.01个百分点。基于t-SNE降维的NLOF算法达到最优性能时,准确率为98.53%,精确度为98.86%,检测率为98.86%,FAR为0.32%。该算法比基于现有最新算法的准确率、检测率和F1分别高3.25个百分点、0.34个百分点和0.41个百分点。这是异常检测中首次采用t-SNE算法自动提取低维的网络数据包特征。此外,LOF算法仅能捕获异常点,而本文的NLOF算法能够同时捕获异常点和异常簇。