基于集成SVM和Bagging的未知恶意流量检测

未知恶意网络流量检测是异常检测领域亟待解决的核心问题之一.从高速网络数据流中获取的流量数据往往具有不平衡性和多变性.虽然在恶意网络流量异常检测特征处理和检测方法方面已存在诸多研究,但这些方法在同时解决数据不平衡性和多变性以及模型检测性能方面仍存在不足.因此,本文针对未知恶意网络流量检测目前存在的困难,提出了一种基于集成SVM和Bagging的未知恶意流量检测模型.首先,针对网络流量数据的不平衡性,提出一种基于Multi-SMOTE过采样的流量处理方法,以提高流量处理后的特征质量;第二,针对网络流量数据分布的多样性,提出一种基于半监督谱聚类的未知流量筛选方法,以实现从具有多样分布的混合流量中筛选出未知流量;最后,基于Bagging思想,训练了集成SVM未知恶意流量检测器.实验结果表明,本文所提出的基于集成SVM与Bagging的未知流量攻击类型检测模型在综合评价(F1分值)上优于目前同类未知恶意流量检测方法,同时在不同数据集上具有较好的泛化能力.     

基于深度学习的网络流量异常识别与检测

针对传统的工控网络流量数据在复杂网络环境下特征维度高,特征处理复杂度高,模型检测效率低等问题,本文使用了一种基于随机森林(random forest, RF)和长短期记忆网络(long short-term memory, LSTM)结合的流量异常识别与检测方法.首先使用随机森林算法计算流量特征的重要度评分,筛选出重要特征,剔除冗余特征,然后使用LSTM进行异常流量的识别与检测.为了评估模型的有效性与优越性,本文使用准确率、精确率、召回率和F1-score进行模型评价,并与传统的机器学习方法 Naive Bayes、QDA、KNN算法进行对比.实验结果表明,在公开数据集CIC-IDS-2017中,异常流量识别的总体准确率达99%.与传统的机器学习算法相比,该方法有效地提高了复杂网络环境下异常检测的准确性和效率,在工业控制网络安全和异常检测方面具有实际应用价值.     

基于改进非广延熵特征提取的双随机森林实时入侵检测方法

在网络骨干链路的高速、大数据量环境下,相对于正常数据,攻击及异常数据相对较少,进行实时入侵检测难度大。针对此问题,提出了一种基于改进非广延熵特征提取和双随机森林的实时入侵检测方法。利用非广延熵,提取出流量属性取值分布的多维特征,通过对非广延熵的改进来降低特征间的相关性。使用完整的特征样本集建立第一个随机森林检测模型,使用包含攻击数据的特征样本子集建立第二个随机森林检测模型,通过双随机森林检测算法实现对少量异常的有效检测。实验结果表明,该方法能够在有限流量信息的基础上获得较高的检测精确率和召回率,其时间和空间复杂度适当,适合于对骨干链路的实时入侵检测。     

基于直方图聚类的网络流量异常检测技术研究

基于流量特征的异常检测技术主要是通过网络流量特征属性分布规律映射网络异常行为。为提高检测准确率,降低误报率,文章提出了基于流量特征直方图聚类的异常检测和分类的技术。通过直方图的方法详细描述网段流量特征的时空信息,然后聚类分析各种属性特征的正常模型,最后根据待测流量特征属性与正常模型之间的距离所组成的向量来衡量异常。基于DARPA99数据集的实验表明,该算法具有较高的异常检测和分类准确性。     

基于信息熵的网络流量信息结构特征研究

随着人们对网络流量特征研究的深入,网络异常检测技术得以不断发展,因此流量特征分析是网络异常检测的基础性重要工作。文章研究基于熵的流量信息结构特征,不同于已有的网络流量初级统计特征研究,它以提取的流量属性在单位时间内分布特征为研究对象。基于 DARPA 99数据集的实验表明,该方法相对于基于流量初级统计特征方流量异常表示方法具有更强的敏感性。     

网络流量异常检测中的维数约简研究

对包含大流量数据的高维度网络进行异常检测,必须加入维数约简处理以减轻系统在传输和存储方面的压力。介绍高速网络环境下网络流量异常检测过程以及维数约简方式,阐述流量数据常用特征和维数约简技术研究的最新进展。针对网络流量特征选择和流量特征提取2种特征降维方式,对现有算法进行归纳分类,分别描述算法原理及优缺点。此外,给出维数约简常用的数据集和评价指标,分析网络流量异常检测中维数约简技术研究面临的挑战,并对未来发展方向进行展望。     

基于极限树特征递归消除和LightGBM的异常检测模型

入侵检测数据维数大、数据样本不均衡、数据集分散性大的问题严重影响分类性能,为了解决该问题,文章提出基于极限随机树的特征递归消除(Extra Trees-Recursive Feature Elimination,ET-RFE)和LightGBM(LGBM)的入侵检测方法。首先对网络数据进行独热编码重构,在数据级层面均衡少量样本的攻击类别;其次,使用基于ET-RFE对流量特征进行降维处理,寻找含有信息量最大的最优特征子集;最后,将得到的最优特征子集作为LGBM输入数据集进行分类训练,并利用贝叶斯算法对LGBM参数进行优化。实验采用真实的网络流量数据集UNSW-NB15,通过与随机森林(RF)、XGboost算法和GALR-DT算法比较可得,文章所提方法能够有效提高检测率,并对小样本攻击类型实现有效的召回率。     

网络未知攻击检测的深度学习方法

为了实现入侵检测系统对未知攻击类型的检测,提出基于深度学习的网络异常检测方法。利用置信度神经网络,对已知类型流量和未知攻击流量进行自适应判别。基于深度神经网络,制定置信度估计方法评估模型分类结果,训练模型面向已知类型流量时输出高置信度值,识别到未知攻击流量时输出低置信度值,从而实现对未知攻击网络流量的检测,并设计自适应损失平衡策略和基于学习自动机的动态正则化策略优化异常检测模型。在网络异常检测UNSW-NB15和CICIDS 2017数据集上进行仿真实验,评估模型效果。结果表明,该方法实现了未知攻击流量的有效检测,并提高了已知类型流量的分类效果,从而增强了入侵检测系统的综合性能。     

面向不平衡样本的物联网入侵检测方法

随着设备的迭代,网络流量呈现指数级别的增长,针对各种应用的攻击行为越来越多,从流量层面识别并对这些攻击流量进行分类具有重要意义。同时,随着物联网设备的激增,针对这些设备的攻击行为也逐渐增多,造成的危害也越来越大。物联网入侵检测方法可以从这些海量的流量中识别出攻击流量,从流量层面保护物联网设备,阻断攻击行为。针对现阶段各类攻击流量检测准确率低以及样本不平衡问题,提出了基于重采样随机森林（RF,random forest）的入侵检测模型——Resample-RF,共包含3种具体算法：最优样本选择算法、基于信息熵的特征归并算法、多分类贪心转化算法。在物联网环境中,针对不平衡样本问题,提出最优样本选择算法,增加小样本所占权重,从而提高模型准确率;针对随机森林特征分裂效率不高的问题,提出基于信息熵的特征归并算法,提高模型运行效率;针对随机森林多分类精度不高的问题,提出多分类贪心转化算法,进一步提高准确率。在两个公开数据集上进行模型的检验,在 IoT-23 数据集上 F1 达到0.99,在Kaggle数据集上F1达到1.0,均具有显著效果。从实验结果中可知,提出的模型具有非常好的效果,能从海量流量中有效识别出攻击流量,较好地防范黑客对应用的攻击,保护物联网设备,从而保护用户。     

基于堆叠卷积注意力的网络流量异常检测模型

入侵检测系统(IDS)在发现网络异常和攻击方面发挥着重要作用,但传统IDS误报率较高,不能准确分析和识别异常流量。目前,深度学习技术被广泛应用于网络流量异常检测,但仅仅采用简单的深度神经网络(DNN)模型难以有效提取流量数据中的重要特征。针对上述问题,提出一种基于堆叠卷积注意力的DNN网络流量异常检测模型。通过堆叠多个以残差模块连接的注意力模块增加网络模型深度,同时在注意力模块中引入卷积神经网络、池化层、批归一化层和激活函数层,防止模型过拟合并提升模型性能,最后在DNN模型中得到输出向量。基于NSL-KDD数据集对模型性能进行评估,将数据集预处理生成二进制特征,采用多分类、二分类方式验证网络流量异常检测效果。实验结果表明,该模型性能优于KNN、SVM等机器学习模型和ANN、AlertNet等深度学习模型,其在多分类任务中识别准确率为0.807 6,较对比模型提高0.034 0～0.097 5,在二分类任务中准确率和F1分数为0.860 0和0.863 8,较对比模型提高0.013 0～0.098 8和0.030 6～0.112 8。     

基于词袋模型的分布式拒绝服务攻击检测

针对分布式拒绝服务（DDoS）攻击有效荷载快速变化,人工干预需要依赖经验设定预警阈值以及异常流量特征码更新不及时等问题,提出一种基于二进制流量关键点词袋（BSP-BoW）模型的DDoS攻击检测算法。该算法可以自动从当前网络的流量数据中训练得到流量关键点（SP）,针对不同拓扑网络进行自适应异常检测,减少频繁更新特征集带来的人工成本。首先,对已有的攻击流量和正常流量进行均值聚类,寻找网络流量中的SP;然后,将原有的流量转化映射到相应SP上使用直方图进行形式化表达;最后,通过欧氏距离进行DDoS攻击的分类检测。在公开数据库DARPA LLDOS1.0上的实验结果表明,所提算法的异常网络流量识别率优于现有的局部加权学习（LWL）、支持向量机（SVM）、随机树（Random Tree）、logistic回归分析（logistic）、贝叶斯（NB）等方法。所提的基于词袋聚类模型算法在拒绝服务攻击的异常流量识别中有很好的识别效果和泛化能力,适合部署在中小企业（SME）网络流量设备上。     

基于数据挖掘的网络异常流量入侵检测方法

为解决利用传统方法进行网络流量异常入侵检测时存在检测正确率较低的问题,提出基于数据挖掘的网络流量异常入侵检测方法。根据网络攻击行为对网络异常流量特征属性进行提取,利用数据挖掘的关联分析找出异常流量特征之间的相关性,并将网络异常流量特征进行联合计算熵值处理,实现异常网络流量入侵检测。实验结果表明,设计的网络流量异常入侵检测方法在不同入侵行为类型上的检测正确率均在96.00%以上,证明该方法可以准确地检测出网络中潜在的入侵行为,具有较好的实用性。     

基于深度学习的网络流时空特征自动提取方法

流量异常检测是网络入侵检测的主要途径之一,也是网络安全领域的一个热门研究方向。通过对网络流量进行实时监控,可及时有效地对网络异常进行预警。目前,网络流量异常检测方法主要分为基于规则和基于特征工程的方法,但现有方法需针对网络流量特征的变化需重新人工收集规则或 构造特征,工作量大且繁杂。为解决上述问题,该文提出一种基于卷积神经网络和循环神经网络的深度学习方法来自动提取网络流量的时空特征,可同时提取不同数据包之间的时序特征和同一数据包内字节流的空间特征,并减少了大量的人工工作。在 MAWILab 网络轨迹数据集上进行的验证分析结果表明,该文所提出的网络流时空特征提取方法优于已有的深度表示学习方法。     

基于层叠模型的网络流量异常检测方法*

进行网络流量异常检测,需要对正常流量行为建立准确的模型,根据异常流量与正常模型间的偏离程度作出判断。针对现有网络流量模型中自相似模型与多分形模型无法全面刻画流量特征的不足,提出了一种基于流量层叠模型分析的异常检测算法,采用层叠模型对整个时间尺度上的流量特征进行更准确的描述,并运用小波变换对流量的层叠模型进行估计,分析异常流量对模型估计的影响,提出统计累计偏离量进行异常流量检测的方法。仿真结果表明,该方法能够有效检测出基于自相似Hurst系数方法不能检测的弱异常以及未明显影响Hurst系数变化的异常流。     

基于小波的网络流量异常协同相变检测

针对网络流量表现出的非线性和非平稳性等复杂的动力学特征,提出一种基于小波的网络流量异常协同相变检测方法。该方法从网络流量时间序列的离散小波域出发,利用序参量的非线性动力学方程描述网络流量系统的复杂行为,采用势函数来刻画网络流量系统的非平稳相变过程,进一步分析了网络流量状态与各种攻击模式之间的变化关系,并通过协同学模型对网络流量序参量进行演化,当相应序参量收敛时,即可检测到相应的攻击模式或是正常流量模式。最后,采用了DARPA 1999数据集进行了实验测试,网络流量异常的平均检测率达到了90.00%,而平均误检率只有15.03%。实验结果表明,基于小波的协同相变方法可以用于网络流量异常检测。     

基于统计的网络流量异常检测模型

提出了一个基于统计的流量异常检测模型。根据网络流量的可测度集,描绘了一个正常网络流量的基线。参照该正常流量基线,使用假设检验理论进行异常检测。采用一个基于滑动窗口的流量更新策略,使异常检测能够更加高效。论述了在高速网络情况下提高检测性能的方法。     

基于改进的随机森林算法的入侵检测模型

针对现有入侵检测算法对不同类型的攻击检测的不均衡性和对攻击的响应时间较差的问题.将随机森林算法引入到入侵检测领域,构造了基于改进的随机森林算法的入侵检测模型,并把这种算法用于基于网络连接信息的数据的攻击检测和异常发现.通过对DARPA数据的入侵检测实验,其结果表明,基于改进的随机森林算法的入侵检测模型是可行的、高效的,对数据集DARPA中所包含的4种类型的攻击检测具有良好的均衡性.     

基于iForest和LOF的流量异常检测

异常检测在现代大规模分布式系统的安全管理中起着重要作用,而网络流量异常检测则是组成异常检测系统的重要工具。网络流量异常检测的目的是找到和大多数流量数据不同的流量,并将这些离群点视为异常。由于现有的基于树分离的孤立森林(iForest)检测方法存在不能检测出局部异常的缺陷,为了克服这个缺陷,提出一种基于iForest和局部离群因子(LOF)近邻集成的无监督的流量异常检测方法。首先,改进原始的iForest与LOF算法,在提升检测精度的同时控制算法时间;然后分别使用两种改进算法进行检测,并将结果进行融合以得到最终的检测结果;最后在自制数据集上对所提方法进行有效性验证。实验结果表明,所提方法能够有效地隔离出异常,获得良好的流量异常检测效果。     

基于灰狼算法优化DBN的医院网络异常流量识别

为了提高医院网络异常流量识别的精度,提出一种基于灰狼算法优化DBN的医院网络异常流量识别方法。针对DBN模型性能受权值和偏置参数的影响,运用灰狼算法对DBN模型的权值和偏置进行优化选择,将医院网络流量特征数据作为DBN模型的输入向量,网络异常流量的类型作为DBN模型的输出向量,建立GWO-DBN的医院网络异常流量识别模型。研究结果表明,GWO-DBN进行医院网络异常流量识别具有更高的准确率、检测率和更低的误报率。     

基于流量异常分析多维优化的入侵检测方法

入侵检测系统在检测和预防各种网络异常行为的过程中,海量和高维的流量数据使其面临着低准确率和高误报率的问题。本文提出一种基于流量异常分析多维优化的入侵检测方法,该方法在入侵检测数据的横向维度和纵向维度两个维度进行优化。在横向维度优化中,对数量较多的类别进行数据抽样,并采用遗传算法得到每个类别的最佳抽样比例参数,完成数据的均衡化。在纵向维度优化中,结合特征与类别的相关分析,采用递归特征添加算法选择特征,并提出平均召回率指标评估特征选择效果,实现训练集的低维高效性。基于优化的入侵检测数据,进一步通过训练数据集得到随机森林分类器,在真实数据集UNSW_NB15评估和验证本文提出的算法。与其他算法相比,本文算法具有高准确率和低误报率,并在攻击类型上取得了有效的召回率。