随机分组抽样下子群体的流大小分布估计

随机分组抽样是网络管理和测量中最常见的抽样方法。已有的研究大都集中在此抽样方法下基于总体的流大小分布估计算法,但一些网络应用更关心总体流量中某个子群体的流大小分布。本文将总体的网络流划分成子群体S和子群体的补集-S,提出了一种在随机分组抽样下运用TCP协议信息的由S与S-共同组成流大小的联合分布的估计算法。实验证明,该算法能够较好地还原子群体及其在总体下的流大小分布的特征;另一方面,通过运用样本流中TCP协议信息,提高了子群体流大小分布估计算法的准确性。     

基于持续增量模型的低速端口扫描检测算法

针对低速端口扫描进行了研究,根据低速扫描的时间持续性和特征分散性,提出了一种基于持续增量模型的低速端口扫描检测算法,结合条件熵对特征分布的评估达到检测目的。实验结果表明算法的检测率能达到99.78%,且误报率为7%。算法适用于多种复杂网络环境,且不需要网络先验知识,检测率对阈值的精确性要求低,能够有效检测到低速端口扫描行为。     

基于流抽样和LRU的高速网络大流检测算法

在高速主干网络中,随着网络链路速率的不断提高和网络流数量的增加,如何及时、准确地检测出网络中的大流信息,成为目前网络流测量的热点问题。根据传统LRU算法由于突发性大量小流导致淘汰大流的测量缺陷和网络重尾分布的特点,提出一种新的识别大流的算法——基于流抽样和LRU的大流检测算法。算法通过流抽样技术过滤大部分的小流,并通过LRU算法识别大流信息,将过滤和识别过程分离,减少小流错误淘汰大流的可能性,提高算法测量准确性。分析算法的复杂度和漏检率,并通过实际试验数据分析了算法参数配置对于大流测量的准确性的影响。理论分析和仿真结果表明,与标准LRU算法和LRU_BF算法相比,在使用相同的存储空间下,新算法具有更高的测量准确性和实用性。     

基于云计算的数据异常智能检测技术研究

针对传统数据异常智能检测技术无法实现检测率与误检率同步的问题,提出一种基于云计算的数据异常智能检测技术。该技术结合聚类分析算法,通过计算相似度实现异常数据与正常数据之间的分类,从而达到数据异常检测的目的,其过程如下:首先对待检测数据进行预处理,然后从预处理后的数据中提取代表性特性,接着计算待检测数据与数据特征之间的相似度,并按照相似度大小筛选出异常数据,最后进行异常数据响应,并进行相应处理。结果表明:与结合神经网络算法、深度学习算法、随机森林算法等传统数据异常检测技术相比,本技术在保证检测率的同时,降低了误检率,误检率分别降低0.19%,0.4%、0.53%。     

空间高效的数据包公平抽样算法

数据包公平抽样通过牺牲长流的包抽样率以换取更高的短流包抽样率,因而比均匀随机包抽样更能保证数据流之间的公平性.现有的公平抽样算法SGS(sketch guided sampling)存在空间效率低、短流估计误差大的问题.提出了一种空间高效的数据包公平抽样算法SEFS(space-efficient fair sampling).SEFS算法的新颖之处在于采用多解析度抽样统计器对数据流流量作近似估计,各个统计器由d-left哈希表实现.采用在OC-48和OC-192骨干网采集的真实流量数据,在数据流流量测量以及长流检测的应用背景下,对SEFS算法和SGS算法的性能进行了比较.实验结果表明,与SGS算法相比,SEFS算法在空间复杂度降低65%的前提下,仍具有更高的估计精度.特别是对于占网络数据流绝大多数的短流而言,SEFS算法估计精度高的优势更为明显.     

改进的R-SSD全景视频图像车辆检测算法

针对SSD算法在检测全景视频图像车辆目标时存在准确率低、漏检率高的问题,构建了一种改进的SSD网络,命名为R-SSD,并提出了一种基于R-SSD的全景视频图像中车辆目标检测算法。在原SSD网络之前增加了一个RPN*网络,目的在于过滤负样本先验框并粗略调整先验框的位置和大小,为后续回归提供好的初始条件。在原SSD和RPN*网络之间构建了传输转换模块,实现两个网络间的特征融合,并增加低层特征信息,从而提高目标的检测效果。在同时兼顾了RPN*网络和SSD*网络损失函数的基础上提出了新的损失函数,应用了二分类和多分类的方法,使回归操作更加精确。将采集的全景视频图像数据分为训练集和测试集,通过对比实验,表明提出的R-SSD算法检测精度可达90.78%,明显优于SSD算法,可较好地解决全景目标车辆检测中误检率较高、漏检率较高等问题。     

网络自适应公平分组抽样算法研究

针对SGS(sketch guided sampling)的缺陷,提出了一种网络自适应公平抽样算法.根据抽样分组估计出值流量大小,并依据该值调整抽样比,使之适应于流量变化,从而达到对各种流的公平抽样的效果.对算法的相关性质进行了证明与分析,基于实际互联网数据进行了实验比较,实验结果表明,该算法具有准确性、自适应性、易于工程实现等优点.     

基于贝叶斯征兆解释度的链路故障定位算法

针对故障和征兆关系不确定的网络中故障定位算法检测率低和误检率高的缺陷,提出了一种基于贝叶斯征兆解释度的链路故障定位算法。该算法以概率加权的二分图作为故障传播模型,通过处理贝叶斯后验概率信息,定义一种新的参数贝叶斯征兆解释度,并基于该参数对可能链路故障进行判断,得出最优故障假设集合,实现链路故障定位。理论分析和仿真实验表明,该算法具有较低的计算复杂度,且在小规模不确定网络中具有较高的故障检测率和较低的故障误检率。     

基于机器学习的电力系统网络异常检测与分类方法

针对电力系统网络异常检测问题，提出一种基于随机森林的网络特征分类方法，并在此基础上采用双向LSTM分类模型进行网络异常检测。首先根据IEC 104协议报文格式与传输大小构建应用层多维特征，对构建特征进行排序筛选，得到对网络状况影响程度最高的10项特征；再将筛选出的特征输入Bi＿LSTM分类模型，二分类和多分类不同角度进行网络异常检测。结果表明，在二分类实验中，采用的双向LSTM算法，检测率为92.48%,较kNN算法高9.14%,较SVW算法高34.11%;误检率为7.38%,较kNN算法低6.13,较SVW算法低2.14%,检测效果最好。而在输入正常样本、DoS异常样本和IEC 104异常样本的多分类检测中，使用双向LSTM算法检测率分别为92.59%、92.31%和48.12%,较kNN算法和SVW算法更高；误检率分别为10.54%、8.11%和4.13%,较对比模型综合误差最低，网络异常检测效果最好。     

基于MDP的无线传感网络Sybil攻击检测方法研究

为了提高无线传感网络中对Sybil攻击的检测精准度,提出基于MDP的无线传感网络Sybil攻击检测方法。采用近似梯度下降算法结合小波去噪法对无线传感网络信号展开去噪处理,进而利用马尔科夫决策过程(MDP)表示去噪后的无线传感网络信号,并对其展开跟踪,通过RSSI算法对Sybil攻击展开定位,实现无线传感网络中Sybil攻击检测。实验结果表明,所提方法的检测率为99.9%,误检率为0.06%,检测时间为0.4 s,该方法的检测率高、误检率低、检测效率高,可有效提高无线传感网络中对Sybil攻击的检测精准度。     

Fast Filtered Sampling

Traffic sampled from the network backbone using uniform packet sampling is commonly utilized to detect heavy hitters, estimate flow level statistics, as well as identify anomalies like DDoS attacks and worm scans. Previous work has shown however that this technique introduces flow bias and truncation which yields inaccurate flow statistics and “drowns out” information from small flows, leading to large false positives in anomaly detection.In this paper, we present a new sampling design: Fast Filtered Sampling (FFS), which is comprised of an independent low-complexity filter, concatenated with any sampling scheme at choice. FFS ensures the integrity of small flows for anomaly detection, while still providing acceptable identification of heavy hitters. This is achieved through a filter design which suppresses packets from flows as a function of their size, “boosting” small flows relative to medium and large flows. FFS design requires only one update operation per packet, has two simple control parameters and can work in conjunction with existing sampling mechanisms without any additional changes. Therefore, it accomplishes a lightweight online implementation of the “flow-size dependent” sampling method. Through extensive evaluation on traffic traces, we show the efficacy of FFS for applications such as portscan detection and traffic estimation.     

Diagnosing Traffic Anomalies Using a Two-Phase Model

Network traffic anomalies are unusual changes in a network,so diagnosing anomalies is important for network management.Feature-based anomaly detection models (ab)normal network traffic behavior by analyzing packet header features.PCA-subspace method (Principal Component Analysis) has been verified as an efficient feature-based way in network-wide anomaly detection.Despite the powerful ability of PCA-subspace method for network-wide traffic detection,it cannot be effectively used for detection on a single link.In this paper,different from most works focusing on detection on flow-level traffic,based on observations of six traffic features for packet-level traffic,we propose a new approach B6SVM to detect anomalies for packet-level traffic on a single link.The basic idea of B6-SVM is to diagnose anomalies in a multi-dimensional view of traffic features using Support Vector Machine (SVM).Through two-phase classification,B6-SVM can detect anomalies with high detection rate and low false alarm rate.The test results demonstrate the effectiveness and potential of our technique in diagnosing anomalies.Further,compared to previous feature-based anomaly detection approaches,B6-SVM provides a framework to automatically identify possible anomalous types.The framework of B6-SVM is generic and therefore,we expect the derived insights will be helpful for similar future research efforts.     

大尺度IP网络流量异常特征的多时间序列数据挖掘方法*

降低漏报率和误检率是网络流量异常检测的难点问题之一。本文提出了一种大规模通信网络流量异常特征分析的多时间序列数据挖掘方法,把多个网络流量特征参数构成的时间序列作为一个整体进行分析研究,进行多时间序列数据挖掘产生网络流量异常相关的有效关联规则,对整个通信网络的安全威胁进行准确地描述。Abilene网络数据验证了本文的方法。     

Detector SherLOCK: Enhancing TRW with Bloom filters under memory and performance constraints

Computer worms and bots are significant threats to large networks because they can spread very rapidly and are used for DDoS. The first phase of worms and bots begins by scanning vulnerable hosts. Missing on-going scanning activity can significantly deteriorate network performance. We propose a new scanning detection scheme, SherLOCK, based on the connection attempt success ratio. The proposed scheme can detect scanners with guaranteed false positive and false negative probabilities and with a limited memory size. Detection of scanners at high-speed links requires a high-speed memory and such memory devices are expensive and limited in size. We reduce the memory requirement by applying the Bloom filter. We show how slow scanners can be detected with a guaranteed performance for a given offered traffic load and memory size. This study can help to design the system that satisfies the target performance requirement. The detection performance is guaranteed under the assumption that malicious scanners and benign hosts have distinct behaviors in terms of the connection success ratio. We extend the proposed detector with a sampling mechanism to detect more intelligent scanners with guaranteed performance. These include scanners that use a list of pre-acquired IP addresses. We evaluate the performance of the proposed scheme through experiment using well-known traffic traces.     

一种网络入侵检测中的数据包采样方法 *

数据包采样方法是提升数据包处理能力很好的方法 ,在网络流量监测分析中得到了广泛应用。然而 ,传统的数据包采样算法应用在 IDS中会极大降低入侵检测率。针对入侵检测的特性 ,利用攻击流量和正常流量在时间上的连续性 ,提出了一种新的数据包采样方法 ,在保证检测率的前提下 ,极大地提升了 IDS的处理能力。     

基于MGLRU的IP流统计算法

针对最近最久未使用(LRU)算法在高速网络中大流漏判率高的缺陷,提出一种基于多粒度最近最久未使用检测算法。该算法采用分层多粒度压缩计数机制对高速网络数据抽样,提高对长流的识别精度。基于实际的互联网数据进行仿真实验,结果表明,在给定条件下,该方法的内存占用量为LRU算法的50%,测量误差仅为LRU算法的10%。     

SDN架构下基于ICMP流量的网络异常检测方法

互联网控制报文协议(Internet Control Message Protocol,ICMP)实时地反映着网络的状态,当网络故障或受到攻击时,ICMP报文在整个流量中出现的概率,以及ICMP流量中不同类型的报文比例等特征都会发生变化.本文利用ICMP流量小的特点,并结合SDN架构中控制面可对ICMP流量进行集中观察的优势,采用SVM分类的方法,提出一种轻量级的异常检测机制以改善异常检测的实时性和准确性——AD-ICMP-SDN(Anomaly Detection Method based on ICMP Traffic for SDN).实验结果证明,AD-ICMP-SDN在检测准确率和误报率等指标上展现了较好的性能.     

Network anomaly detection with incomplete audit data

With the ever increasing deployment and usage of gigabit networks, traditional network anomaly detection based Intrusion Detection Systems (IDS) have not scaled accordingly. Most, if not all IDS assume the availability of complete and clean audit data. We contend that this assumption is not valid. Factors like noise, mobility of the nodes and the large amount of network traffic make it difficult to build a traffic profile of the network that is complete and immaculate for the purpose of anomaly detection. In this paper, we attempt to address these issues by presenting an anomaly detection scheme, called SCAN (Stochastic Clustering Algorithm for Network Anomaly Detection), that has the capability to detect intrusions with high accuracy even with incomplete audit data. To address the threats posed by network-based denial-of-service attacks in high speed networks, SCAN consists of two modules: an anomaly detection module that is at the core of the design and an adaptive packet sampling scheme that intelligently samples packets to aid the anomaly detection module. The noteworthy features of SCAN include: (a) it intelligently samples the incoming network traffic to decrease the amount of audit data being sampled while retaining the intrinsic characteristics of the network traffic itself; (b) it computes the missing elements of the sampled audit data by utilizing an improved expectation–maximization (EM) algorithm-based clustering algorithm; and (c) it improves the speed of convergence of the clustering process by employing Bloom filters and data summaries.     

基于流量异常分析多维优化的入侵检测方法

入侵检测系统在检测和预防各种网络异常行为的过程中,海量和高维的流量数据使其面临着低准确率和高误报率的问题。本文提出一种基于流量异常分析多维优化的入侵检测方法,该方法在入侵检测数据的横向维度和纵向维度两个维度进行优化。在横向维度优化中,对数量较多的类别进行数据抽样,并采用遗传算法得到每个类别的最佳抽样比例参数,完成数据的均衡化。在纵向维度优化中,结合特征与类别的相关分析,采用递归特征添加算法选择特征,并提出平均召回率指标评估特征选择效果,实现训练集的低维高效性。基于优化的入侵检测数据,进一步通过训练数据集得到随机森林分类器,在真实数据集UNSW_NB15评估和验证本文提出的算法。与其他算法相比,本文算法具有高准确率和低误报率,并在攻击类型上取得了有效的召回率。     

应用于高速网络的基于报文采样和应用签名的BitTorrent流量识别算法

在高速网络上进行P2P流量识别具有极大的困难,因为基于端口号的方法已经不再准确,而基于应用签名的方法没有足够高的处理效率.提出了应用于高速网络的基于报文采样和应用签名的BitTorrent流量识别算法.建立了误检率和漏检率模型来分析报文采样率和签名率对识别准确度的作用,并指导应用签名和采样率的选择.通过开发流状态判别预处理器,在Snort平台上实现了该流量识别算法.实验结果表明该流量识别算法处理效率和准确度都是令人满意的,能应用于高速网络环境.在普通个人计算机上,对采样报文的处理效率在800Mbps以上.将该方法应用于报文处理,当采样率为0.5时漏检率为0.6%,当采样率为0.1时漏检率为5.9%,当采样率为0.05时漏检率为10.5%.将该方法应用于流数据分析,当采样率为0.5时漏检率为0.06%,当采样率为0.1时漏检率为0.33%,当采样率为0.05时漏检率为1.1%.该方法展现了优秀的误检性能,没有任何报文被误检.实验结果也表明误检率和漏检率模型是非常准确的.