一种网络入侵检测中的数据包采样方法 *

数据包采样方法是提升数据包处理能力很好的方法 ,在网络流量监测分析中得到了广泛应用。然而 ,传统的数据包采样算法应用在 IDS中会极大降低入侵检测率。针对入侵检测的特性 ,利用攻击流量和正常流量在时间上的连续性 ,提出了一种新的数据包采样方法 ,在保证检测率的前提下 ,极大地提升了 IDS的处理能力。     

Improving the performance of passive network monitoring applications with memory locality enhancements

Passive network monitoring is the basis for a multitude of systems that support the robust, efficient, and secure operation of modern computer networks. Emerging network monitoring applications are more demanding in terms of memory and CPU resources due to the increasingly complex analysis operations that are performed on the inspected traffic. At the same time, as the traffic throughput in modern network links increases, the CPU time that can be devoted for processing each network packet decreases. This leads to a growing demand for more efficient passive network monitoring systems in which runtime performance becomes a critical issue.In this paper we present locality buffering, a novel approach for improving the runtime performance of a large class of CPU and memory intensive passive monitoring applications, such as intrusion detection systems, traffic characterization applications, and NetFlow export probes. Using locality buffering, captured packets are being reordered by clustering packets with the same port number before they are delivered to the monitoring application. This results in improved code and data locality, and consequently, in an overall increase in the packet processing throughput and decrease in the packet loss rate. We have implemented locality buffering within the widely used libpcap packet capturing library, which allows existing monitoring applications to transparently benefit from the reordered packet stream without modifications. Our experimental evaluation shows that locality buffering improves significantly the performance of popular applications, such as the Snort IDS, which exhibits a 21% increase in the packet processing throughput and is able to handle 67% higher traffic rates without dropping any packets.     

AC-BM算法的改进及其在入侵检测中的应用

分析了入侵检测和网络流量中存在的问题。如果没有很快的处理速度，字符串匹配就会成为一个瓶颈。对于网络入侵检测系统来说，单一的字符串搜索包负载是缺乏效率的。它不能跟上日益增长的网络速度。因此，提出了一种改进的AC—BM算法。它是多模式匹配的算法。正如本文中所显示的一样，由于采用了改进的AC—BM算法，网络入侵枪测的性能有了改善。     

基于混合模式匹配算法的网络入侵检测

为了提升中央处理单元(CPU)和图形处理单元(GPU)协同检测网络入侵的性能,本文提出了一种具有数据包有效载荷长度约束的CPU/GPU混合模式匹配算法(LHPMA)。在分析CPU/GPU混合模式匹配算法(HPMA)的基础上,设计了长度约束分离算法(LBSA)对传入数据包进行提前分类。利用CPU中的预过滤缓冲区对较长数据包进行快速预过滤,结合全匹配缓冲区将较短数据包直接分配给GPU进行全模式匹配,通过减少有效载荷长度的多样性,提升了CPU/GPU协同检测网络入侵的性能。实验结果表明,LHPMA增强了HPMA的处理性能,充分发挥了GPU并行处理较短数据包的优势,并且LHPMA提高了网络入侵检测的吞吐量。     

一种异步日志记录的入侵防御系统的设计与实现

传统的入侵防御系统对于告警日志的记录采取同步的方式,即在整个数据包获取、数据包预处理、数据包检测、数据包处理以及日志记录的过程中,数据包获取会以同步阻塞的方式等待日志记录完成后才会再次循环进行,因此在整个系统运行过程中产生了大量的I／O操作,在高速复杂的网络环境下成为入侵防御系统的主要性能瓶颈。针对以上问题,设计并实现了一种异步记录告警日志的入侵防御系统（an Asynchronous Logging Intrusion Prevention System, ALIPS）,并应用多核技术进行并行处理、通过测试,相比传统入侵防御系统,本系统在吞吐量上有着5倍多的提高。     

动态规划理论在DSAMDP方法中的优化研究

网络入侵检测系统在流量大的情况下经常会出现较高的丢包率,曾提出通过DSAMDP（Dynamic Self-Adapting Multimedia Data Processing,动态自适应多媒体数据处理）方法来解决这一问题,收效良好。在此基础上,使用动态规划理论对DSAMDP方法的决策过程进行优化,在兼顾系统负载能力的同时,使每个时间片内选取的多媒体数据包序列的危险度达到最高。这种方法可使网络入侵检测系统将有限的处理能力集中处理那些更具危险性的多媒体数据包。实验结果表明,该方法可提高系统对高危多媒体信息的检测率。     

高速网络环境下的入侵检测技术研究综述*

高速网的普及应用对入侵检测技术提出了更高要求,传统的方法已难以适应处理大流量的网络数据。对入侵检测过程进行分析,指出高速网络环境下制约入侵检测效果的不利因素和难点,强调应从数据包捕获、模式匹配、负载均衡、系统架构等方面入手,充分利用软件的灵活性、专用硬件的并行性和快速性来提高入侵检测系统的性能,以适应高速的网络环境。     

Efficient parallel automata construction for hybrid resource-impelled data-matching

We are presenting an innovative, massively-parallel heterogeneous architecture for the very fast construction and implementation of very large Aho–Corasick and Commentz-Walter pattern-matching automata, commonly used in data-matching applications, and validate its use with large sets of data actively used in intrusion detection systems. Our approach represents the first known hybrid-parallel model for the construction of such automata and the first to allow self-adjusting pattern-matching automata in real-time by allowing full-duplex transfers at maximum throughput between the host (CPU) and the device (GPU). The architecture we propose is easily scalable to multi-GPU and multi-CPU systems and benefits greatly from GPU acceleration, also relying on a highly-efficient storage model for the automata and includes on-demand support for regular-expression matching, as well as support for custom heuristics to be built on top of the architecture, at different processing stages.     

用于网络入侵检测的模式匹配新方法

针对新一代网络入侵检测系统(NIDS)的创建需要先进的模式匹配引擎,提出一种模式匹配的新方案,利用基于硬件的可编程状态机技术(B-FSM)来实现确定性处理过程。该技术可以在一个输入流中同时获取大量模式,并高效地映射成转换规则。通过对网络入侵检测系统中普遍采用的规则集(Snort)进行实验,实验结果表明该方法具有存储高效、执行速度快、动态可更新等特点,可以满足NIDS的需要。     

基于B+树快速调优的反馈式负载平衡算法

网络带宽飞速发展,应用并行处理技术可以大幅度提高网络入侵检测系统（NIDS）的性能。并行处理环境下的NIDS要求在对报文进行负载均衡分配时要保持连接的完整性,即相关的报文要分配到同一个处理节点。基于B+树的稳定和均衡特性,提出基于B+树快速调优的反馈式负载平衡算法(BLB)。该算法利用B+树搜索性能高、完全平衡的特性,当负载不均衡时,对B+树结构的流表进行快速调优,重映射流表,达到负载均衡。通过仿真实验,证明了该方案能快速使B+树结构连接密集度达到平衡,有效地均衡负载,降低系统的丢包率。     

基于分布式统计时间序列的网络流量分析

研究网络数据在分布式存储下的相关性,有利于入侵检测整体的学习和指导优化数据的存储.重点研究了网络传输过程中各种类型数据的流量的这种相关性,提出了一种基于分布式统计(DS)的时间序列分析方法:根据网络协议间的关系将数据包分组,分析数量关系并给出报警阈值.仿真实验结果表明,该方法能较好地发现各种网络攻击.     

报文分类技术的研究及其应用

Internet网络应用的发展要求路由器支持诸如服务质量(QoS)、网络入侵检测、传输测量与记账、负载平衡、拥塞控制等多种不同的技术，虽然实现这些不同技术的细节变化可能很大，但一个公共的要求是路由器能够基于报文的头的某些字段对报文进行分类．从已有的研究表明，实现高速多维报文分类算法是非常困难的，它已成为路由器的新的瓶颈，因此吸引了许多研究人员的注意．系统论述了报文分类的相关技术，包括分类的模型、可能分类的字段，评价分类的基本标准等，通过对现有报文分类算法的比较和性能分析并结合分类规则所具有的特性，提出了设计报文分类算法所应遵循的原则和思路，同时还讨论了报文分类在网络技术领域中的应用和还需解决的一些相关问题．     

RePIDS: A multi tier Real-time Payload-based Intrusion Detection System

Intrusion Detection System (IDS) deals with huge amount of network traffic and uses large feature set to discriminate normal pattern and intrusive pattern. However, most of existing systems lack the ability to process data for real-time anomaly detection. In this paper, we propose a 3-Tier Iterative Feature Selection Engine (IFSEng) for feature subspace selection. Principal Component Analysis (PCA) technique is used for the pre-processing of data. Mahalanobis Distance Map (MDM) is used to discover hidden correlations between the features and between the packets. We also propose a novel Real-time Payload-based Intrusion Detection System (RePIDS) that integrates a 3-Tier IFSEng and the MDM approach. Mahalanobis Distance (MD) dissimilarity criterion is used to classify each packet as either a normal or an attack packet.The effectiveness of the proposed RePIDS is evaluated using DARPA 99 dataset and Georgia Institute of Technology attack dataset. The traffic for Web-based application is considered for validating our model. F-value, a criterion, is used to evaluate the detection performance of RePIDS. Experimental results show that RePIDS achieves better performance (high F-values, 0.9958 for DARPA 99 dataset and 0.976 for Georgia Institute of Technology attack dataset respectively, with only 0.85% false alarm rate) and lower computational complexity when compared against two state-of-the-art payload-based intrusion detection systems. Additionally, it has 1.3 time higher throughput in comparison with real scenario of medium sized enterprise network.     

一种可扩展的高效入侵监测平台技术

为了在更高带宽的网络中进行有效的入侵检测分析,研究了入侵检测中的数据获取技术,提出了一种可扩展的高效入侵监测框架SEIMA(scalable efficient intrusion monitoring architecture).在SEIMA结构模型中,通过将高效网络流量负载分割器与多个并行工作的入侵检测传感器相结合,从而可以将入侵检测扩展应用到更高的网络带宽中;通过使用高效地址翻译技术和缓冲区管理机制实现了旁路操作系统的高性能用户级网络报文传输模型,以便提高单传感器的报文处理性能;通过采用有限自动机的方法构建了基于用户层的多规则报文过滤器以消除多余数据包的处理开销.模拟环境和实际环境下的测试结果表明,SEIMA在提高网络入侵检测系统数据获取效率的同时,能够降低系统CPU的利用率,从而可以将更多的系统资源用于更复杂的数据分析过程.     

基于GPU的并行报文分类方法

 报文分类是网络设备的基本处理模式,通常采用报文过滤系统对每个报文进行分类。传统报文分类难以适应当今越来越高的网络流量,分类处理速度低于报文到达网络接口的速度,无法实现实时分析。因此,本文提出使用GPU对大规模报文集进行并行分类的方法,利用GPU的线程级并行处理能力加速报文分类吞吐率,并对其性能及优化方法进行详细分析。实验结果表明,GPU加速的Linear Search和RFC报文分类算法与纯CPU系统执行相比可达到4.4~132.5倍的加速比。     

多模式匹配算法在网络入侵自动检测中的应用

为了可以对计算机网络安全进行有效的保护,同时提高计算机网络入侵检测的功能及其效率,提出多模式匹配算法在网络入侵自动检测中的应用.首先快速检测引擎初始化,快速有效地区别规则集合;其次构造模式匹配链表,读取系统配置文件的规则;最后检测网络数据包,确保计算机网络安全.通过实验结果的对比,可以明显看出,相比于传统算法,多模式匹...     

Statistical and signal‐based network traffic recognition for anomaly detection

In this paper, a framework for recognizing network traffic in order to detect anomalies is proposed. We propose to combine and correlate parameters from different layers in order to detect 0‐day attacks and reduce false positives. Moreover, we propose to combine statistical and signal‐based features. The major contribution of this paper is novel framework for network security based on the correlation approach as well as new signal‐based algorithm for intrusion detection on the basis of the Matching Pursuit (MP) algorithm. As to our best knowledge, we are the first to use MP for intrusion and anomaly detection in computer networks. In the presented experiments, we proved that our solution gives better results than intrusion detection based on discrete wavelet transform.     

基于RBF神经网络的可信加密流量分类方法

网络流量分类广泛应用于网络资源分配、流量调度、入侵检测系统等研究领域。随着加密协议的普及和网络流量快速发展,基于深度学习的流量分类器由于其自动提取特征的特性和较高的分类准确性,逐渐受到科研人员的重视,但是面向网络流量分类的可信程度方面却不曾有研究。本文提出一种基于RBF神经网络对加密网络流量进行可信分类的方法。所提算法建立在RBF网络的思想上并采用一种新的损失函数和质心更新方案来进行训练,通过使用梯度惩罚强制检测输入的变化,能够有效地检测分布外的数据。在2个公共的ISCX VPN-nonVPN和USTC-TFC2016流量数据集上,与同类算法相比,所提算法取得了最好的分布外检测结果,在AUROC指标上达到98.55%。实验结果表明所提算法在具有较高分类性能的同时,能够有效地检测出分布外的流量数据,从而提高流量分类的可信性。     

检测分析技术在网络预警系统中的应用研究

为了提高网络预警系统的效率,将协议分析和改进的Apriori算法应用于检测分析模块,提出了一种新型的网络入侵检测模型。在该模型中,首先将截获的数据包结合历史数据包数据库进行协议分析,找出可能存在的入侵行为的相关数据包,然后采用改进的Apriori算法对这些数据包进行关联分析,最终获得检测结果。实验说明该模型与传统网络入侵检测系统(NIDS)相比,具有更低的漏检率。     

高速网络下的分布式实时入侵检测系统

随着网络技术的飞速发展，网络安全问题日益突出。网络入侵检测系统需要处理大量的数据，处理能力的缺乏会引起入侵事件的漏报，提高入侵检测系统的处理能力是目前急需解决的关键问题。DRTIDS(distributed real-time intrusion detection system for high-speed networks)是一个由单个分析节点和多个探测节点组成的、工作在高速网络下的分布式网络入侵检测系统。DRTIDS的分析节点执行基于网络主机的流量分配策略，保证尽可能地平衡分配网络流量，从而尽可能地发挥整个系统的处理能力。