NIDS歧义流量矫正系统

基于网络的入侵检测系统通过分析网络流量识别攻击，但隐藏在歧义网络数据中的Insertion和Evasion攻击利用不同系统实现网络协议栈的差异以及各系统所处不同的网络位置，逃避NIDS检测，以致漏报。文章回顾了歧义问题的相关研究，分析了其产生原因，并以重叠IP分片重组和重叠TCP段重构为例进行讨论。针对以逃避NIDS检测为目的的歧义流量问题，提出了NIDS歧义流量矫正系统，通过分析相关网络协议在实现中产生的歧义，对网络流量进行相应的矫正，使NIDS有效检测出隐藏在歧义网络流量中的特定的Insertion和Evasion攻击。     

基于堆叠卷积注意力的网络流量异常检测模型

入侵检测系统（IDS）在发现网络异常和攻击方面发挥着重要作用,但传统IDS误报率较高,不能准确分析和识别异常流量。目前,深度学习技术被广泛应用于网络流量异常检测,但仅仅采用简单的深度神经网络（DNN）模型难以有效提取流量数据中的重要特征。针对上述问题,提出一种基于堆叠卷积注意力的DNN网络流量异常检测模型。通过堆叠多个以残差模块连接的注意力模块增加网络模型深度,同时在注意力模块中引入卷积神经网络、池化层、批归一化层和激活函数层,防止模型过拟合并提升模型性能,最后在DNN模型中得到输出向量。基于NSL-KDD数据集对模型性能进行评估,将数据集预处理生成二进制特征,采用多分类、二分类方式验证网络流量异常检测效果。实验结果表明,该模型性能优于KNN、SVM等机器学习模型和ANN、AlertNet等深度学习模型,其在多分类任务中识别准确率为0.807 6,较对比模型提高0.034 0~0.097 5,在二分类任务中准确率和F1分数为0.860 0和0.863 8,较对比模型提高0.013 0~0.098 8和0.030 6~0.112 8。     

网络背景流量的分类与识别研究综述

互联网流量分类是识别网络应用和分类相应流量的过程,这被认为是现代网络管理和安全系统中最基本的功能。与应用相关的流量分类是网络安全的基础技术。传统的流量分类方法包括基于端口的预测方法和基于有效载荷的深度检测方法。在目前的网络环境下,传统的方法存在一些实际问题,如动态端口和加密应用,因此采用基于流量统计特征的机器学习（ML）技术来进行流量分类识别。机器学习可以利用提供的流量数据进行集中自动搜索,并描述有用的结构模式,这有助于智能地进行流量分类。起初使用朴素贝叶斯方法进行网络流量分类的识别和分类,对特定流量进行实验时,表现较好,准确度可达90%以上,但对点对点传输网络流量（P2P）等流量识别准确度仅能达到50%左右。然后有使用支持向量机（SVM）和神经网络（NN）等方法,神经网络方法使整体网络流量的分类准确度能达到80%以上。多项研究结果表明,对于多种机器学习方法的使用和后续的改进,很好地提高了流量分类的准确性。     

基于混合卷积神经网络和循环神经网络的入侵检测模型

针对电力信息网络中的高级持续性威胁问题,提出一种基于混合卷积神经网络（CNN）和循环神经网络（RNN）的入侵检测模型。该模型根据网络数据流量的统计特征对当前网络状态进行分类。首先,获取日志文件中网络流量的各统计值,进行特征编码、归一化等预处理工作;然后,通过深度卷积神经网络中可变卷积核提取不同主机入侵流量之间空间相关特征;最后,将已经处理好的包含空间相关特征的数据在时间上错开排列,利用深度循环神经网络挖掘入侵流量的时间相关特征。实验结果表明,该模型相对于传统的机器学习模型在曲线下方的面积（AUC）上提升了7.5%~14.0%,同时误报率降低了83.7%~52.7%。所提模型能准确地识别网络流量的类别,大幅降低误报率。     

基于RBF神经网络的可信加密流量分类方法

网络流量分类广泛应用于网络资源分配、流量调度、入侵检测系统等研究领域。随着加密协议的普及和网络流量快速发展,基于深度学习的流量分类器由于其自动提取特征的特性和较高的分类准确性,逐渐受到科研人员的重视,但是面向网络流量分类的可信程度方面却不曾有研究。本文提出一种基于RBF神经网络对加密网络流量进行可信分类的方法。所提算法建立在RBF网络的思想上并采用一种新的损失函数和质心更新方案来进行训练,通过使用梯度惩罚强制检测输入的变化,能够有效地检测分布外的数据。在2个公共的ISCX VPN-nonVPN和USTC-TFC2016流量数据集上,与同类算法相比,所提算法取得了最好的分布外检测结果,在AUROC指标上达到98.55%。实验结果表明所提算法在具有较高分类性能的同时,能够有效地检测出分布外的流量数据,从而提高流量分类的可信性。     

网络未知攻击检测的深度学习方法

为了实现入侵检测系统对未知攻击类型的检测,提出基于深度学习的网络异常检测方法。利用置信度神经网络,对已知类型流量和未知攻击流量进行自适应判别。基于深度神经网络,制定置信度估计方法评估模型分类结果,训练模型面向已知类型流量时输出高置信度值,识别到未知攻击流量时输出低置信度值,从而实现对未知攻击网络流量的检测,并设计自适应损失平衡策略和基于学习自动机的动态正则化策略优化异常检测模型。在网络异常检测UNSW-NB15和CICIDS 2017数据集上进行仿真实验,评估模型效果。结果表明,该方法实现了未知攻击流量的有效检测,并提高了已知类型流量的分类效果,从而增强了入侵检测系统的综合性能。     

基于深度学习的网络流时空特征自动提取方法

流量异常检测是网络入侵检测的主要途径之一,也是网络安全领域的一个热门研究方向。通过对网络流量进行实时监控,可及时有效地对网络异常进行预警。目前,网络流量异常检测方法主要分为基于规则和基于特征工程的方法,但现有方法需针对网络流量特征的变化需重新人工收集规则或 构造特征,工作量大且繁杂。为解决上述问题,该文提出一种基于卷积神经网络和循环神经网络的深度学习方法来自动提取网络流量的时空特征,可同时提取不同数据包之间的时序特征和同一数据包内字节流的空间特征,并减少了大量的人工工作。在 MAWILab 网络轨迹数据集上进行的验证分析结果表明,该文所提出的网络流时空特征提取方法优于已有的深度表示学习方法。     

一种基于深度CNN的入侵检测算法

入侵检测是检测和预防可能对基于网络的计算机系统进行攻击和入侵作出反应的技术。提出一种基于深度卷积神经网络的入侵检测的算法,在卷积神经网络基础上引入Inception模型和残差网络,采用深度学习技术,如Relu、Dropout、Softmax。提高模型的收敛速度,使得训练的模型的泛化能力更强,增加网络的宽度和深度,提升网络对尺度的适应性。使用KDD Cup 99数据对该算法进行验证,实验表明,该网络模型与GoogleNet和Lenet-5相比具有更高的准确率和检测率,准确率能够达到94.37%,误报率仅2.14%,提高了入侵检测识别的分类准确性。     

基于聚类过采样和自动编码器的网络入侵检测方法

近年来, 随着互联网技术的不断发展, 入侵检测在维护网络空间安全方面发挥着越来越重要的作用。但是, 由于网络入侵行为的数据稀疏性, 已有的检测方法对于海量流量数据的检测效果较差, 模型准确率、F-measure等指标数值较低, 并且高维数据处理的成本过高。为了解决这些问题, 本文提出了一种基于稀疏异常样本数据场景下的新型深度神经网络入侵检测方法, 该方法能够有效地识别不平衡数据集中的异常行为。本文首先使用k均值综合少数过采样方法来处理不平衡的流量数据, 解决网络流量数据类别分布不平衡问题, 平衡网络流量数据分布。再采用自动编码器来处理海量高维数据并训练检测模型, 来提升海量高维流量中异常行为的检测精度, 并在两个真实典型的入侵检测数据集上进行了大量的实验。实验结果表明, 本文所提出的方法在两个真实典型数据集上的检测准确率分别为99.06％和99.16%, F-measure分别为99.15%和98.22%。相比于常用的欠采样和过采样方法, k均值综合少数过采样技术能够有效地解决网络流量数据类别分布不平衡的问题, 提升模型对低频攻击行为的检测效果。同时, 与已有的网络入侵检测方法相比, 本文所提出的方法在准确率、F-measure和检测性能上均有明显提升, 证明了本文所提出的方法对于海量网络流量数据的检测具有较高的检测精度和良好的应用前景。     

基于自回归滑动平均的网络数据流量预测模型

在无线网络中,对入侵攻击的准确和迅速的检测是关系到无线网络安全的重要问题。各种入侵攻击可以由其导致的网络流量的变化来检测。针对网络流量复杂的非线性以及混沌性,结合网络流量的时间序列特性,提出了一种基于自回归滑动平均(ARMA)的网络数据流量预测模型。该模型利用第三方检测系统,不需要耗费网络资源,能够迅速和准确地预测网络流量。采用从16个信道分析器获得的数据流量测量值对模型进行了初始化。仿真实验结果表明,文中提出的模型能够有效地检测网络入侵攻击,提高了整个网络的性能,延长了网络的寿命。     

Large-scale network intrusion detection based on distributed learning algorithm

As network traffic bandwidth is increasing at an exponential rate, it’s impossible to keep up with the speed of networks by just increasing the speed of processors. Besides, increasingly complex intrusion detection methods only add further to the pressure on network intrusion detection (NIDS) platforms, so the continuous increasing speed and throughput of network poses new challenges to NIDS. To make NIDS usable in Gigabit Ethernet, the ideal policy is using a load balancer to split the traffic data and forward those to different detection sensors, which can analyze the splitting data in parallel. In order to make each slice contains all the evidence necessary to detect a specific attack, the load balancer design must be complicated and it becomes a new bottleneck of NIDS. To simplify the load balancer this paper put forward a distributed neural network learning algorithm (DNNL). Using DNNL a large data set can be split randomly and each slice of data is presented to an independent neural network; these networks can be trained in distribution and each one in parallel. Completeness analysis shows that DNNL’s learning algorithm is equivalent to training by one neural network which uses the technique of regularization. The experiments to check the completeness and efficiency of DNNL are performed on the KDD’99 Data Set which is a standard intrusion detection benchmark. Compared with other approaches on the same benchmark, DNNL achieves a high detection rate and low false alarm rate.     

基于分布式学习的大规模网络入侵检测算法

计算机网络的高速发展,使处理器的速度明显低于骨干网的传输速度,这使得传统的入侵检测方法无法应用于大规模网络的检测.目前,解决这一问题的有效办法是将海量数据分割成小块数据,由分布的处理节点并行处理.这种分布式并行处理的难点是分割机制,为了不破坏数据的完整性,只有采用复杂的分割算法,这同时也使分割模块成为检测系统新的瓶颈.为了克服这个问题,提出了分布式神经网络学习算法,并将其用于大规模网络入侵检测.该算法的优点是,大数据集可被随机分割后分发给独立的神经网络进行并行学习,在降低分割算法复杂度的同时,保证学习结果的完整性.对该算法的测试实验首先采用基准测试数据circle-in-the-square测试了其学习能力,并与ARTMAP(adaptive resonance theory supervised predictive mapping)和BP(back propagation)神经网络进行了比较;然后采用标准的入侵检测测试数据集KDD'99 Data Set测试了其对大规模入侵的检测性能.通过与其他方法在相同数据集上的测试结果的比较表明,分布式学习算法同样具有较高的检测效率和较低的误报率.     

基于可拓神经网络的火灾探测算法

为解决传统单一传感器式的火灾探测器容易造成火灾报警的漏报和误报的问题,采用多传感器信息融合技术,将温度、烟雾浓度和CO浓度等多个参数相结合,进行综合分析,对火灾进行早期预测。采用可拓神经网络作为数据融合算法,以温度、烟雾浓度、CO气体浓度三个物理参量作为输入,以三种火灾预警等级作为输出。通过仿真分析结果表明：火灾正确识别率很高,达到93.9%以上。同时通过与传统BP神经网络的对比,表明可拓神经网络在数据融合的速度和可靠性上有突出的优势,从而使可拓神经网络实际应用于火灾早期预测成为可能。     

Network intrusion detection based on deep learning model optimized with rule-based hybrid feature selection

ABSTRACT

Network Intrusion Detection System (NIDS) is often used to classify network traffic in an attempt to protect computer systems from various network attacks. A major component for building an efficient intrusion detection system is the preprocessing of network traffic and identification of essential features which is essential for building robust classifier. In this study, a NIDS based on deep learning model optimized with rule-based hybrid feature selection is proposed. The architecture is divided into three phases namely: hybrid feature selection, rule evaluation and detection. Several search methods and attribute evaluators were combined for features selection to enhance experimentation and comparison. The results obtained showed that the number of selected features will not affect the detection accuracy of the feature selection algorithms, but directly proportional to the performance of the base classifier. Results from the performance comparison proved that the proposed method outperforms other related methods with reduction of false alarm rate, high accuracy rate, reduced training and testing time of 1.2%, 98.8%, 7.17s and 3.11s, respectively. Finally, the simulation experiments on standard evaluation metrics showed that the proposed method is suitable for attack classification in NIDS.     

基于一维卷积神经网络的网络流量分类方法

针对传统机器学习算法对于流量分类的瓶颈问题,提出基于一维卷积神经网络模型的应用程序流量分类算法。将网络流量数据集进行数据预处理,去除无关数据字段,并使数据满足卷积神经网络的输入特性。设计了一种新的一维卷积神经网络模型,从网络结构、超参数空间以及参数优化方面入手构造了最优分类模型。该模型通过卷积层自主学习数据特征,解决了传统基于机器学习的流量分类算法中特征选择问题。通过网络公开数据集进行模型测试,相比于传统的一维卷积神经网络模型,所设计的神经网络模型的分类准确率提升了16.4%,总分类时间节省了71.48%。另外在类精度、召回率以及[F1]分数方面都有较好的提升。     

基于深度学习的网络流量预测研究综述

精准地预判网络流量变化趋势可以帮助运营商准确预估网络的使用情况,合理分配并高效利用网络资源,以满足日益增长且多样化的用户需求。以深度学习算法在网络流量预测领域的进展为线索,阐述了网络流量预测的评价指标和目前公开的网络流量数据集及应用,具体分析了网络流量预测中常用的深度信念网络、卷积神经网络、循环神经网络和长短时记忆网络共四种深度学习方法,并重点介绍了近年来针对不同问题所提出的改进神经网络模型,总结了各模型特点及应用场景。最后对网络流量预测未来发展进行了展望。     

基于双向长短期记忆循环神经网络的网络流量预测

针对长短期记忆循环神经网络在对时间序列进行学习时存在早期特征记忆效果差、难以充分挖掘整个网络流量特征等问题,提出一种基于双向长短期记忆循环神经网络的网络流量预测方法,以提高网络流量预测的准确性。对网络流量序列进行双向学习,避免单向学习导致较早学习部分特征提取和记忆效果差的问题。同时双向学习可以充分挖掘网络流量天与天之间双向的特征,完整地学习到网络流量的整体特征。仿真实验结果表明,改进后的方法相比原方法具有更好的预测效果。     

基于量子免疫克隆算法的神经网络优化方法

为降低神经网络的冗余连接及不必要的计算代价,将量子免疫克隆算法应用于神经网络的优化过程,通过产生具有稀疏度的权值来优化神经网络结构。算法能够有效删除神经网络中的冗余连接和隐层节点,并同时提高神经网络的学习效率、函数逼近精度和泛化能力。该算法已应用于秦始皇帝陵博物院野外文物安防系统。经实际检验,算法提高了目标分类概率,降低了误报率。     

基于CNN-SIndRNN的恶意TLS流量快速识别方法

传统浅层机器学习方法在识别恶意TLS流量时依赖专家经验且流量表征不足,而现有的深度神经网络检测模型因层次结构复杂导致训练时间过长。提出一种基于CNN-SIndRNN端到端的轻量级恶意加密流量识别方法,使用多层一维卷积神经网络提取流量字节序列局部模式特征,并利用全局最大池化降维以减少计算参数。为增强流量表征,设计一种改进的循环神经网络用于捕获流量字节长距离依赖关系。在此基础上,采用独立循环神经网络IndRNN单元代替传统RNN循环单元,使用切片并行计算结构代替传统RNN的串行计算结构,并将两种类型深度神经网络所提取的特征拼接作为恶意TLS流量表征。在CTU-Maluware-Capure公开数据集上的实验结果表明,该方法在二分类实验上F1值高达0.965 7,在多分类实验上整体准确率为0.848 9,相比BotCatcher模型训练时间与检测时间分别节省了98.47%和98.28%。     

基于量子免疫克隆算法的神经网络优化方法

为降低神经网络的冗余连接及不必要的计算代价,将量子免疫克隆算法应用于神经网络的优化过程,通过产生具有稀疏度的权值来优化神经网络结构。算法能够有效删除神经网络中的冗余连接和隐层节点,并同时提高神经网络的学习效率、函数逼近精度和泛化能力。该算法已应用于秦始皇帝陵博物院野外文物安防系统。经实际检验,算法提高了目标分类概率,降低了误报率。