基于GAN-PSO-ELM的网络入侵检测方法

针对传统机器学习方法在处理非平衡的海量入侵数据时少数类检测率低的问题，提出一种融合生成式对抗网络（GAN）、粒子群算法（PSO）和极限学习机（ELM）的入侵检测（GAN-PSO-ELM）方法。对原始网络数据进行预处理，利用GAN并采用整体类扩充的方式对数据集进行少数类样本扩充。在扩充后的平衡数据集上，利用PSO算法优化ELM的输入权重与隐含层偏置，并建立入侵检测模型。在NSL-KDD数据集上进行仿真实验。实验结果表明，与SVM、ELM、PSO-ELM方法相比，GAN-PSO-ELM不仅具有较高的检测效率，而且在整体检测准确率上平均提高了3.74%，在少数类R2L和U2R上分别平均提高了28.13%和16.84%。     

基于双向循环生成对抗网络的无线传感网入侵检测方法

针对无线传感器网络（WSN）入侵检测方法在离散高维特征的不平衡数据集上检测精度低和泛化能力差的问题,提出一种基于双向循环生成对抗网络的WSN入侵检测方法 BiCirGAN。首先,引入对抗学习异常检测（ALAD）通过潜在空间合理地表示高维、离散的原始特征,提高对原始特征的可理解性。其次,采用双向循环对抗的结构确保真实空间和潜在空间双向循环的一致性,从而保证生成对抗网络（GAN）训练的稳定性,并提高异常检测的性能。同时,引入Wasserstein距离和谱归一化优化方法改进GAN的目标函数,以进一步解决GAN的模式崩坏与生成器缺乏多样性的问题。最后,由于入侵攻击数据的统计属性随时间以不可预见的方式变化,建立带有Dropout操作的全连接层网络对异常检测结果进行优化。实验结果表明,在KDD99、UNSW-NB15和WSN＿DS数据集上,相较于AnoGAN、BiGAN、MAD-GAN以及ALAD方法,BiCirGAN在检测精确度上提高了3.9%～33.0%,且平均推断速度是ALAD方法的4.67倍。     

基于SMOTE和深度信念网络的异常检测

针对现有海量非平衡数据集中少数类别样本入侵检测率低的问题,提出了一种基于合成少数类过采样技术（SMOTE）和深度信念网络（DBN）的异常检测（SMOTE-DBN）方法。首先,用SMOTE技术增加了少数类别样本的样本数;然后在预处理后的较平衡数据集上,用非监督的受限玻尔兹曼机（RBM）对预处理后的高维数据进行特征降维;其次,用反向传播（BP）算法微调模型参数,获得预处理后数据的较优低维表示;最后通过softmax分类器对较优低维数据进行分类。KDD1999数据集仿真实验表明,SMOTE优化处理能够提高模型对少数类别样本的检测率,在相同数据集上,SMOTE-DBN方法与DBN方法、支持向量机（SVM）方法相比,检测率分别提高了3.31个百分点和7.34个百分点,误报率分别降低了1.11个百分点和2.67个百分点。     

基于DBN-XGBDT的入侵检测模型研究

在分布均匀的海量数据情况下,现有的入侵检测模型均具备良好的检测性能。但网络中产生的海量入侵数据的分布通常具有不均衡特点,而大多数检测模型针对罕见攻击类型的检测率低。针对上述问题,提出了一种深度信念网络（Deep Belief Networks,DBN）融合极限梯度提升（eXtreme Gradient Boosting,XGBoost）基于决策树算法（Decision Tree,DT）的入侵检测模型（DBN-XGBDT）。该模型将预处理后的数据集输入深度信念网络中,实现对入侵检测数据的降维处理,将得到的特征数据根据攻击类别任两类为一组,通过XGBoost算法逐一构建梯度提升树并细化为二分类;最后运用控制变量法和XGBoost内置的交叉验证进行调参,择优调整模型参数,对未知网络攻击实现有效检测。基于NSL-KDD数据集对DBN-XGBDT模型与XGBoost、DBN-BP、DBN-MSVM等优越模型进行了检测实验。实验结果表明,DBN-XGBDT模型较上述3个单一、混合分类模型的正确率分别提升2.07个百分点、1.14个百分点,对U2R的检测率提升至75.37%,平均误报率降至56.23%,为入侵检测处理不均衡数据且提高对罕见攻击的检测性能提供了新方法。     

基于CVAE-CatBoost的工业控制网络异常流量检测研究

为解决工业控制网络异常流量检测中存在的数据分布不均衡、现有模型检测率低的问题，提出一种基于条件变分自编码器（CVAE）和CatBoost算法的异常流量检测模型。CVAE引入标签信息作为约束条件，控制生成样本的类别。CatBoost算法通过引入无偏估计克服梯度偏差，提高预测的准确性，同时采用多种树的生长方式降低过拟合的风险。使用CVAE进行数据增强，扩充稀有攻击样本，构建分布均匀的平衡数据集。将CatBoost算法作为异常流量检测模型，对Dos、Fuzzers等攻击样本进行精确识别并输出分类结果。实验结果表明：在UNSW-NB15数据集上，利用CVAE进行数据增强后，CatBoost算法对少数类样本的F1值平均提升了25.16个百分点，整体精确率、召回率和F1值分别达到87.85%、87.87%和87.86%；在ZYELL＿NCTU NetTraffic＿1.0数据集上，利用CVAE进行数据增强后，CatBoost算法对少数类样本的F1值平均提升了16.32%，整体精确率、召回率和F1值均达到99.85%。该模型能够有效避免数据不均衡问题，相较K近邻、随机森林、卷积神经网络等机器学习和深...     

基于改进非广延熵特征提取的双随机森林实时入侵检测方法

在网络骨干链路的高速、大数据量环境下,相对于正常数据,攻击及异常数据相对较少,进行实时入侵检测难度大。针对此问题,提出了一种基于改进非广延熵特征提取和双随机森林的实时入侵检测方法。利用非广延熵,提取出流量属性取值分布的多维特征,通过对非广延熵的改进来降低特征间的相关性。使用完整的特征样本集建立第一个随机森林检测模型,使用包含攻击数据的特征样本子集建立第二个随机森林检测模型,通过双随机森林检测算法实现对少量异常的有效检测。实验结果表明,该方法能够在有限流量信息的基础上获得较高的检测精确率和召回率,其时间和空间复杂度适当,适合于对骨干链路的实时入侵检测。     

面向高维不均衡数据的入侵检测技术研究

本文介绍分析了高维不均衡的入侵数据对检测结果的影响，以及入侵检测系统的相关算法技术。随着互联网规模的扩展，网络信息数据暴涨，网络入侵攻击、数据泄漏等网络安全问题剧增。平衡数据集对入侵检测有着重要意义。因此如何更好地处理高维不均衡的入侵数据，进而提高模型的检测性能，已是入侵检测的研究热点。     

基于流量异常分析多维优化的入侵检测方法

入侵检测系统在检测和预防各种网络异常行为的过程中,海量和高维的流量数据使其面临着低准确率和高误报率的问题。本文提出一种基于流量异常分析多维优化的入侵检测方法,该方法在入侵检测数据的横向维度和纵向维度两个维度进行优化。在横向维度优化中,对数量较多的类别进行数据抽样,并采用遗传算法得到每个类别的最佳抽样比例参数,完成数据的均衡化。在纵向维度优化中,结合特征与类别的相关分析,采用递归特征添加算法选择特征,并提出平均召回率指标评估特征选择效果,实现训练集的低维高效性。基于优化的入侵检测数据,进一步通过训练数据集得到随机森林分类器,在真实数据集UNSW_NB15评估和验证本文提出的算法。与其他算法相比,本文算法具有高准确率和低误报率,并在攻击类型上取得了有效的召回率。     

非平衡技术在高速网络入侵检测中的应用

针对现有的高速网络入侵检测系统丢包率高、检测速度慢以及检测算法对不同类型攻击检测的非平衡性等问题,提出了采用两阶段的负载均衡策略的检测模型。在线检测阶段对网络数据包按协议类型进行分流的检测,离线建模阶段对不同协议类型的数据进行学习建模,供在线部分检测。在讨论非平衡数据处理的各种采样技术基础上,采用改进后的过抽样少数样本合成过采样技术（SMOTE）对网络数据进行预处理,采用AdaBoost 、随机森林算法等进行分类。另外对特征选取等方面进行了实验,结果表明SMOTE过抽样可提高各少数类的检测,随机森林算法分类效果好而且建模所用的时间稳定。     

基于GAN-AdaBoost-DT不平衡分类算法的信用卡欺诈分类

针对传统单个分类器在不平衡数据上分类效果有限的问题，基于对抗生成网络（GAN）和集成学习方法，提出一种新的针对二类不平衡数据集的分类方法——对抗生成网络-自适应增强-决策树（GAN-AdaBoost-DT）算法。首先，利用GAN训练得到生成模型，生成模型生成少数类样本，降低数据的不平衡性；其次，将生成的少数类样本代入自适应增强（AdaBoost）模型框架，更改权重，改进AdaBoost模型，提升以决策树（DT）为基分类器的AdaBoost模型的分类性能。使用受测者工作特征曲线下面积（AUC）作为分类评价指标，在信用卡诈骗数据集上的实验分析表明，该算法与合成少数类样本集成学习相比，准确率提高了4.5%，受测者工作特征曲线下面积提高了6.5%；对比改进的合成少数类样本集成学习，准确率提高了4.9%，AUC值提高了5.9%；对比随机欠采样集成学习，准确率提高了4.5%，受测者工作特征曲线下面积提高了5.4%。在UCI和KEEL的其他数据集上的实验结果表明，该算法在不平衡二分类问题上能提高总体的准确率，优化分类器性能。     

基于改进双重深度Q网络的入侵检测模型

入侵检测技术作为网络安全有效的防御手段,是网络安全体系中的重要组成部分。随着互联网的快速发展,网络数据量快速增加,网络攻击更加趋于复杂化和多元化,目前主流的入侵检测技术无法有效识别各种攻击。针对实际网络环境中正常流量和攻击流量数据不平衡,且对攻击类流量检测率低的问题,基于深度强化学习提出一种基于改进双重深度Q网络的CBL_DDQN网络入侵检测模型。该模型将一维卷积神经网络和双向长短期记忆网络的混合网络模型引入深度强化学习的DDQN框架,并使用深度强化学习中的反馈学习和策略生成机制训练智能体来对不同类别的攻击样本进行分类,在一定程度上减弱了训练模型过程中对数据标签的依赖性。采用Borderline-SMOTE算法降低数据的不平衡度,从而提高稀有攻击的检测率。通过NSL_KDD和UNSW_NB15数据集对模型的性能进行评估,结果表明：该模型在准确率、精确率、召回率这三项指标上均取得了良好的结果,检测效果远优于Adam-BNDNN、KNN、SVM等检测方法,是一种高效的网络入侵检测模型。     

基于改进CGANs的入侵检测方法研究

近年来,机器学习算法在入侵检测系统(IDS)中的应用获得越来越多的关注。然而,传统的机器学习算法更多的依赖于已知样本,因此需要尽可能多的数据样本来对模型进行训练。遗憾地是,随着越来越多未知攻击的出现,且用于训练的攻击样本具有不平衡性,传统的机器学习模型会遇到瓶颈。文章提出一种将改进后的条件生成对抗网络(CGANs)与深度神经网络(DNN)相结合的入侵检测模型(CGANs-DNN),通过解决样本不平衡性问题来提高检测模型对未知攻击类型或只有少数攻击样本类型的检测率。深度神经网络(DNN)具有表征数据潜在特征的能力,而经过改进后的条件CGANs,能够通过学习已知攻击样本潜在数据特征分布,来根据指定类型生成新的攻击样本。此外,与生成对抗网络(GANs)和变分自编码器(VAE)等无监督生成模型相比,CGANsDNN经过改进后加入梯度惩罚项,在训练的稳定性上有了很大地提升。通过NSL-KDD数据集对模型进行评估,与传统算法相比CGANs-DNN不仅在整体准确率、召回率和误报率等方面有更好的性能,而且对未知攻击和只有少数样本的攻击类型具有较高的检测率。     

基于Fisher-PCA和深度学习的入侵检测方法研究

为了在攻击形式多样化、入侵数据海量及多维化的环境中快速、准确地识别网络攻击,提出了一种融合Fisher-PCA特征提取与深度学习的入侵检测算法。通过Fisher特征选择算法选出重要的特征组成特征子集,然后基于主成分分析法（Principal Component Analysis,PCA）将特征子集进行降维,提取出了分类能力强的特征集。构建了一种新的DNN（Deep Neural Networks）深度神经网络模型对网络攻击数据和正常数据进行识别与分类。在KDD99数据集上进行试验,结果表明这种入侵检测算法与传统的ANN、SVM算法相比,在准确率上分别提高了12.63%、6.77%,在误报率上由原来的2.31%、1.96%降为0.28%,与DBN4 、PCA-CNN算法相比,在准确率和检测率保持基本相同的同时有着更低的误报率。     

A Real-Time and Ubiquitous Network Attack Detection Based on Deep Belief Network and Support Vector Machine

In recent years, network traffic data have become larger and more complex, leading to higher possibilities of network intrusion. Traditional intrusion detection methods face difficulty in processing high-speed network data and cannot detect currently unknown attacks. Therefore, this paper proposes a network attack detection method combining a flow calculation and deep learning. The method consists of two parts: a real-time detection algorithm based on flow calculations and frequent patterns and a classification algorithm based on the deep belief network and support vector machine (DBN-SVM). Sliding window (SW) stream data processing enables real-time detection, and the DBN-SVM algorithm can improve classification accuracy. Finally, to verify the proposed method, a system is implemented. Based on the CICIDS2017 open source data set, a series of comparative experiments are conducted. The method’s real-time detection efficiency is higher than that of traditional machine learning algorithms. The attack classification accuracy is 0.7 percentage points higher than that of a DBN, which is 2 percentage points higher than that of the integrated algorithm boosting and bagging methods. Hence, it is suitable for the real-time detection of high-speed network intrusions.      

面向不平衡样本的物联网入侵检测方法

随着设备的迭代,网络流量呈现指数级别的增长,针对各种应用的攻击行为越来越多,从流量层面识别并对这些攻击流量进行分类具有重要意义。同时,随着物联网设备的激增,针对这些设备的攻击行为也逐渐增多,造成的危害也越来越大。物联网入侵检测方法可以从这些海量的流量中识别出攻击流量,从流量层面保护物联网设备,阻断攻击行为。针对现阶段各类攻击流量检测准确率低以及样本不平衡问题,提出了基于重采样随机森林（RF,random forest）的入侵检测模型——Resample-RF,共包含3种具体算法：最优样本选择算法、基于信息熵的特征归并算法、多分类贪心转化算法。在物联网环境中,针对不平衡样本问题,提出最优样本选择算法,增加小样本所占权重,从而提高模型准确率;针对随机森林特征分裂效率不高的问题,提出基于信息熵的特征归并算法,提高模型运行效率;针对随机森林多分类精度不高的问题,提出多分类贪心转化算法,进一步提高准确率。在两个公开数据集上进行模型的检验,在 IoT-23 数据集上 F1 达到0.99,在Kaggle数据集上F1达到1.0,均具有显著效果。从实验结果中可知,提出的模型具有非常好的效果,能从海量流量中有效识别出攻击流量,较好地防范黑客对应用的攻击,保护物联网设备,从而保护用户。     

融合随机森林和梯度提升树的入侵检测研究

网络入侵检测系统作为一种保护网络免受攻击的安全防御技术,在保障计算机系统和网络安全领域起着非常重要的作用.针对网络入侵检测中数据不平衡的多分类问题,机器学习已被广泛用于入侵检测,比传统方法更智能、更准确.对现有的网络入侵检测多分类方法进行了改进研究,提出了一种融合随机森林模型进行特征转换、使用梯度提升决策树模型进行分类的入侵检测模型RF-GBDT,该模型主要分为特征选择、特征转换和分类器这3个部分.采用UNSW-NB15数据集对RF-GBDT模型进行了实验测试,与其他3种同领域的算法相比,RF-GBDT既缩短了训练时间,又具有较高的检测率和较低的误报率,在测试数据集上受试者工作特征曲线下的面积可达98.57%.RF-GBDT对于解决网络入侵检测数据不平衡的多分类问题具有较显著的优势,是一种切实可行的入侵检测方法.     

An iterative multiple sampling method for intrusion detection

ABSTRACT

Threats to network security increase with growing volumes and velocity of data across networks, and they present challenges not only to law enforcement agencies, but to businesses, families and individuals. The volume, velocity and veracity of shared data across networks entail accurate and reliable automated tools for filtering out useful from malicious, noisy or irrelevant data. While data mining and machine learning techniques have widely been adopted within the network security community, challenges and gaps in knowledge extraction from data have remained due to insufficient data sources on attacks on which to test the algorithms accuracy and reliability. We propose a data-flow adaptive approach to intrusion detection based on high-dimensional cyber-attacks data. The algorithm repeatedly takes random samples from an inherently bi-modal, high-dimensional dataset of 82,332 observations on 25 numeric and two categorical variables. Its main idea is to capture subtle information resulting from reduced data dimension of a large number of malicious flows and by iteratively estimating roles played by individual variables in construction of key components. Data visualization and numerical results provide a clear separation of a set of variables associated with attack types and show that component-dominating parameters are crucial in monitoring future attacks.     

基于聚类过采样和自动编码器的网络入侵检测方法

近年来,随着互联网技术的不断发展,入侵检测在维护网络空间安全方面发挥着越来越重要的作用。但是,由于网络入侵行为的数据稀疏性,已有的检测方法对于海量流量数据的检测效果较差,模型准确率、F-measure等指标数值较低,并且高维数据处理的成本过高。为了解决这些问题,本文提出了一种基于稀疏异常样本数据场景下的新型深度神经网络入侵检测方法,该方法能够有效地识别不平衡数据集中的异常行为。本文首先使用k均值综合少数过采样方法来处理不平衡的流量数据,解决网络流量数据类别分布不平衡问题,平衡网络流量数据分布。再采用自动编码器来处理海量高维数据并训练检测模型,来提升海量高维流量中异常行为的检测精度,并在两个真实典型的入侵检测数据集上进行了大量的实验。实验结果表明,本文所提出的方法在两个真实典型数据集上的检测准确率分别为99.06%和99.16%, F-measure分别为99.15%和98.22%。相比于常用的欠采样和过采样方法, k均值综合少数过采样技术能够有效地解决网络流量数据类别分布不平衡的问题,提升模型对低频攻击行为的检测效果。同时,与已有的网络入侵检测方法相比,本文所提出的方法在准确率、F-m...