基于NetFlow的特征感知自适应的流采样方法

采样是网络异常检测中数据采集的主要方法。而网络流的持续时间、数据包的大小、异常流量出现的频率等都在不断变化,给准确的采样带来很多负面的影响。为此,提出了特征感知的自适应采样技术,在流量特征不断变化的情况下可以自动调整采样率,并将它和随机采样技术、选择采样技术进行比较,研究了这些采样技术在网络行为分析系统中保留网络特征的能力,实验结果表明此方法在保留网络特征和异常检测质量评估中,明显优于其他方法。     

分组采样技术研究

随着网络带宽的不断提高,分组采样技术作为网络测量的手段越来越受到重视。因为在高速网络中对所有的分组进行实时的统计分析代价太大,而通过分组采样可以大大减少测量的代价,从而具有更好的可扩展性。本文对近来提出的一些分组采样技术进行了系统的分析和研究,主要对它们的原理、精度和效果进行了详细分析,并对其中存在的问题提出了一些改进的措施。     

基于采样特异性因子的实时异常检测

面向特异性的数据挖掘中,特异性因子是一个重要概念,但其计算时间复杂度过高。使用基于采样的方法定义特异性因子即采样特异性因子((Sampled Peculiarity Factor,SPF)可在不影响精度的情况下,提高运行效率。为提高基于SPF算法的异常检测效率,提出了基于SPF的学习采样频率算法,将SPF和最优采样频率结合起来提出了实时异常检测算法。在真实数据集上进行了实验,置信度为95%时,得到的最优采样频率序列为[1/32,1/16]。仿真实时异常实验表明该算法的误检率为2%。     

基于Pathneck网络测量的采样算法研究

针对Pathneck测量网络瓶颈的周期性采样算法无法有效的适应网络的动态变化的问题,结合Patheck测量延迟值的特点,提出一种基于延迟值分布函数的自控式采样的算法.     

在线社会网络无偏采样技术

作为当前流行的内容共享和信息传播的平台,在线社会网络(online social network, OSN)(例如Facebook和Twitter)已经吸引了各个领域研究人员的关注.然而,研究者通常很难获取完整的在线社会网络数据集,取而代之的是通过一个具有代表性样本集来估计完整网络的特性.因此,怎样获得无偏样本集或对网络特性进行无偏估算成为了OSN研究的关键前提.对在线社会网络的无偏采样技术研究现状进行了综述分析.首先在理论上给出了大规模网络无偏采样的充分必要条件,接着从采样原理、采样偏见性和采样效率3方面对目前常用的采样技术进行了对比分析,最后讨论了在线社会网络采样技术的发展趋势.该工作为在线社会网络采样技术的使用及其研究提供了重要的参考价值.     

网络重要流检测方法综述

网络的管理与监测是网络领域的重要话题,这一领域的相关技术通常也称为网络测量(network measurement).网络重要流检测(network heavy hitter detection)是网络测量的一项关键技术,也是研究对象.重要流指占用网络资源(如带宽或发送的数据包数量)超过某一给定标准的流,检测重要流有助于快速识别网络异常,提升网络运行效率,但链路的高速化为其实现带来了挑战.按出现时间顺序,可将重要流检测方法划分为两大类:基于传统网络框架的和基于软件定义网络(SDN)框架的.围绕网络重要流检测相关的框架与算法,系统地总结其发展过程与研究现状,并尝试给出其未来可能的发展方向.     

采样方法研究综述

Nyquist Shannon采样定理从提出至今已经过了近70年的发展历程,为模拟 世界到数字世界的转变作出了巨大贡献。在这70年的进程中,围绕如何在不丢失信号中有用 信息的前提下,降低采样速率和减少采集数据量的主题、新的采样理论和采样方法也不断涌现 。本文在总结和回顾现有采样技术原理和框架的基础上,结合个人见解对单通道随机 采样、压缩传感采样、有限新息率采样及X 采样等稀疏采样方法的特点、适用场合、最新 进展和公开问题及难点进行了评价,并对稀疏采样发展前景予以展望,并为采样技术改进 和拓展等应用领域提供参考。     

大流识别方法综述

首先介绍大流识别方法的研究动机和国内外发展现状,根据采用技术的差异,将现有方法分为基于抽样的方法、基于计数的方法、基于最近最少使用算法的方法和基于哈希的方法,简要分析了几类方法的优缺点;然后分别选取经典算法进行剖析,并给出大流识别的典型应用;最后探讨了值得进一步研究的问题和可能的发展方向.     

基于包对采样的IP网络时延变化测量方法

时延变化是反映网络路径负载特征的IP网络性能指标．基于路径排队模型,发现时延变化对负载的反映受探测包发送时间间隔影响．因参考时延选取不当及采样方式限制,现有方法所测时延变化只粗略反映路径负载．提出了包对采样方法选取恰当参考时延,避免采样方式限制,增强了时延变化反映路径负载的能力;同时确定了探测包发送时间间隔的下界．对一条Internet路径的实测验证了包对采样所测时延变化对路径负载的较强反映能力和探测包发送时间间隔对这种反映能力的影响．     

自适应网络往返时延采样方法

在讨论周期性数据采样算法弊端的基础上,提出自适应往返时延（RTT）的采样算法。该算法以时延变化率作为动态控制采样频率的主要依据,根据网络时延变化的缓急自动调整采样时间间隔。通过实验分析证明,该算法实现简单,可有效地跟踪网络RTT变化情况,从总体上减少采样工作量,减轻因网络测量而给网络带来的额外负载。     

一种改进的自适应流量采样方法

高速链路对实时网络流量监测提出挑战.由于流量采集分析设备性能的限制,采用精确、高效的采样方法进行流量监测分析已成为必然.最简单的固定概率采样能监测较大业务流,但往往忽略掉比例几乎超过80%的较小业务流.数据流算法可以实时高效采集高速链路数据,基于该算法的SGS(sketch guided sampling)采样技术可以实时准确估计流大小分布,但当采样速率增大到监测系统处理能力最大值时,该方法的准确性迅速降低.基于SGS方法,提出一种自适应实时网络流量的采样方法SRGS(sketch and resources guided sampling).该方法将监测系统处理能力作为采样概率调节的一个重要参数.实验结果显示,SRGS方法能够及时根据当前流大小和监测系统处理能力,调节数据包采样概率,准确性高于SGS方法.     

基于抽样测量的高速网络实时异常检测模型

实时异常检测是目前网络安全的研究热点.基于大规模网络流量的统计特征,寻找能够评价网络行为的稳定测度,并建立抽样测量模型.基于中心极限理论和假设检验理论,建立网络流量异常行为实时检测模型.最后定义ICMP请求报文和应答报文之间比率的网络行为测度,并实现对CERNET网络ICMP扫描攻击的实时检测.该方法和思路对其他网络安全检测研究具有一定的指导意义.     

基于熵的网络异常流量检测研究综述

网络流量异常检测及分析作为一种重要的网络监管控制手段,是网络及安全管理领域的重要研究内容.本文探讨了网络异常流量的种类,简述了基于传统的异常检测方法在网络异常流量检测中的应用以及存在的问题.针对基于信息熵、相对熵、活跃熵等熵值理论在网络异常流量检测中的研究,阐述了基于熵值理论的异常检测在国内外的研究进展情况.总结了当前基于熵值理论的异常检测研究工作中存在的问题及改进方向.     

高速网络流量测量方法

高速网络流量测量是目前实施实时准确地监测、管理和控制网络的基础.基于网络流量测量的应用,将网络流量测量分为抽样方法和数据流方法.从不同的层次,将抽样方法分为分组抽样和流抽样,分别介绍了两类抽样方法;从测度角度介绍了数据流方法.详细介绍了高速网络流量测量的常用数据结构,以及抽样、数据流方法在高速网络流量测量中的应用,比较了各种方法的优劣.概述了高速网络流量测量技术的研究进展.最后,就现有的网络流量测量方法的不足,对网络流量测量的发展趋势和进一步的研究方向进行了讨论.     

基于自相似特性的流量测量采样方法

针对大型网络流量测量中测量数据量巨大、不能有效地描述流量特征的问题,本文将近年来网络研究的热点自相似性运用在流量测量中。根据流量变化对自相似参数H的影响,提出了一种基于网络的自相似特性的流量测量采样方法。该方法降低了流量测量的采样频率,能够及时、准确地发现网络异常,并能使测量数据更准确地刻画流量特征。     

一种适用突发流量的数据中心网络流调度策略

云数据中心网络的流调度问题是当下的一个研究热点.比较具有实用性的流调度是不假设流信息预先可知,但目前这类流调度方案在流量突发时的表现并不理想.提出了一种针对流量突发情况的流调度方案,通过将每流排队与多级反馈队列调度相结合,实现了一个基于流隔离的多级调度方案FISH,解决了流量突发情况下不同流的排队竞争问题.实验结果表明,该方案性能稳定,可以将小流完成时间降低8.6%以上.     

基于FARIMA模型的流量抽样测量方法

目前的流量抽样测量方法主要基于传统的数学理论,并没有考虑到实际网络流量的特征,基于此,提出基于FARIMA流量预测的抽样方法,根据流量预测值动态调整抽样率,既减轻了CPU的负载,又节省了存储空间。通过对比实际使用中的流量抽样测量方法取得的数据报文样本均值和Hurst参数,表明该方法能够正确体现原始数据的流量行为统计特征。     

基于C4.5决策树的流量分类方法

近年来,利用机器学习方法处理流量分类问题成为网络测量领域一个新兴的研究方向.在现有研究中,朴素贝叶斯方法及其改进算法以其实现简单、分类高效的特点而被广泛应用.但此类方法过分依赖于样本在样本空间的分布,具有潜在的不稳定性.为此,引入C4.5决策树方法来处理流量分类问题.该方法利用训练数据集中的信息熵来构建分类模型,并通过对分类模型的简单查找来完成未知网络流样本的分类.理论分析和实验结果都表明,利用C4.5决策树来处理流量分类问题在分类稳定性上均具有明显的优势.     

基于流量信息结构的异常检测

由于人们对网络流量规律的认识还不够深入,大型高速网络流量的异常检测仍然是目前测量领域研究的一个难点问题.通过对网络流量结构和流量信息结构的研究发现,在一定范围内,正常网络流量的IP、端口等具有重尾分布和自相似特性等较为稳定的流量结构,这种结构对应的信息熵值较为稳定.异常流量和抽样流量的信息熵值以正常流量信息熵值为中心波动,构成以IP、端口和活跃IP数量为维度的空间信息结构.据此对流量进行建模,提出了基于流量信息结构的支持向量机(support vector machine,简称SVM)的二值分类算法,其核心是将流量异常检测转化为基于SVM的分类决策问题.实验结果表明,该算法具有很高的检测效率,还初步验证了该算法的抽样检测能力.因此,将该算法应用到大型高速骨干网络具有实际意义.