基于DBN-XGBDT的入侵检测模型研究

在分布均匀的海量数据情况下,现有的入侵检测模型均具备良好的检测性能。但网络中产生的海量入侵数据的分布通常具有不均衡特点,而大多数检测模型针对罕见攻击类型的检测率低。针对上述问题,提出了一种深度信念网络（Deep Belief Networks,DBN）融合极限梯度提升（eXtreme Gradient Boosting,XGBoost）基于决策树算法（Decision Tree,DT）的入侵检测模型（DBN-XGBDT）。该模型将预处理后的数据集输入深度信念网络中,实现对入侵检测数据的降维处理,将得到的特征数据根据攻击类别任两类为一组,通过XGBoost算法逐一构建梯度提升树并细化为二分类;最后运用控制变量法和XGBoost内置的交叉验证进行调参,择优调整模型参数,对未知网络攻击实现有效检测。基于NSL-KDD数据集对DBN-XGBDT模型与XGBoost、DBN-BP、DBN-MSVM等优越模型进行了检测实验。实验结果表明,DBN-XGBDT模型较上述3个单一、混合分类模型的正确率分别提升2.07个百分点、1.14个百分点,对U2R的检测率提升至75.37%,平均误报率降至56.23%,为入侵检测处理不均衡数据且提高对罕见攻击的检测性能提供了新方法。     

基于改进双重深度Q网络的入侵检测模型

入侵检测技术作为网络安全有效的防御手段,是网络安全体系中的重要组成部分。随着互联网的快速发展,网络数据量快速增加,网络攻击更加趋于复杂化和多元化,目前主流的入侵检测技术无法有效识别各种攻击。针对实际网络环境中正常流量和攻击流量数据不平衡,且对攻击类流量检测率低的问题,基于深度强化学习提出一种基于改进双重深度Q网络的CBL_DDQN网络入侵检测模型。该模型将一维卷积神经网络和双向长短期记忆网络的混合网络模型引入深度强化学习的DDQN框架,并使用深度强化学习中的反馈学习和策略生成机制训练智能体来对不同类别的攻击样本进行分类,在一定程度上减弱了训练模型过程中对数据标签的依赖性。采用Borderline-SMOTE算法降低数据的不平衡度,从而提高稀有攻击的检测率。通过NSL_KDD和UNSW_NB15数据集对模型的性能进行评估,结果表明：该模型在准确率、精确率、召回率这三项指标上均取得了良好的结果,检测效果远优于Adam-BNDNN、KNN、SVM等检测方法,是一种高效的网络入侵检测模型。     

HL-Isomap+SVM在网络入侵检测中的应用

支持向量机所具有的处理小样本和良好的推广能力的优势,在入侵检测中得到了广泛应用。考虑到数据特征的高维性和冗余性,特征提取是一个关键步骤。采用非线性流形学习算法L-Isomap对入侵检测数据进行特征选择,然后应用one-class SVM训练并识别异常。通过将异构值差度量（HVDM）距离代替欧几里德距离提出了HL-Isomap。选用KDD数据集来比较上述不同模型,实验结果表明了降维方法的有效性,尤其是误警率性能得到了显著的提高。     

基于深度循环神经网络和改进SMOTE算法的组合式入侵检测模型

已有入侵检测模型普遍只针对网络入侵行为的静态特征进行分析检测,造成检测率低及误报率高等缺陷,且无法有效应用低频攻击。为此提出一种新的基于深度循环神经网络（DRNN）和区域自适应合成过采样算法（RA-SMOTE）的组合式入侵检测模型（DRRS）。首先,RA-SMOTE 对数据集中低频攻击样本进行自适应区域划分,实现差别样本增量,从数据层面提升低频攻击样本数量;其次,利用 DRNN 特有的层间反馈单元,完成多阶段分类特征的时序积累学习,同时多隐层网络结构实现对原始数据分布的最优非线性拟合;最后,使用训练好的DRRS模型完成入侵检测。实验结果表明,相比已有入侵检测模型,DRRS在改善整体检测效果的同时显著提高了低频攻击检测率,且对未知新型攻击具有一定检出率,适用于实际网络环境。     

基于LFKPCA-DWELM的入侵检测方案

基于机器学习的入侵检测系统普遍存在由于入侵数据维度大、数据样本不均衡和离散度大而严重影响分类性能的问题。提出了一种基于LFKPCA-DWELM的入侵检测算法,用改进的果蝇算法（LFOA）对核主成分分析算法（KPCA）进行优化,用优化后的核主成分分析算法（LFKPCA）对数据进行特征提取,将处理后的数据用于基于数据离散度的加权极限学习机（DWELM）的训练,最后使用训练好的模型进行分类实验。实验结果显示,该算法有效提高了检测率,降低了误报率和检测时间。     

通信垃圾文本识别的半监督学习优化算法

在对非平衡通信文本使用随机下采样来提高分类器性能时,为了解决随机下采样样本发生有偏估计的问题,提出基于否定选择密度聚类的下采样算法（NSDC-DS）。利用否定选择算法的自体异常检测机制改善传统聚类,将样本中心点和待聚类样本分别作为检测器和自体集,对两者进行异常匹配;使用否定选择密度聚类算法对样本相似性进行评估,改进传统的下采样方法,使用NBSVM分类器对采样后的通信样本进行垃圾识别;使用PCA对样本所具有的信息量进行评估,提出改进的PCA-SGD算法对模型参数进行调优,完成通信垃圾文本的半监督识别任务。为了验证改进算法的优越性,使用不平衡通信文本等多个数据集,在否定选择密度聚类、NSDC-DS算法、PCA-SGD与传统模型上进行对比分析。实验结果表明,改进的模型不仅具有较好的通信垃圾文本识别能力,而且具有较快和稳定的收敛速度。     

非平衡技术在高速网络入侵检测中的应用

针对现有的高速网络入侵检测系统丢包率高、检测速度慢以及检测算法对不同类型攻击检测的非平衡性等问题,提出了采用两阶段的负载均衡策略的检测模型。在线检测阶段对网络数据包按协议类型进行分流的检测,离线建模阶段对不同协议类型的数据进行学习建模,供在线部分检测。在讨论非平衡数据处理的各种采样技术基础上,采用改进后的过抽样少数样本合成过采样技术（SMOTE）对网络数据进行预处理,采用AdaBoost 、随机森林算法等进行分类。另外对特征选取等方面进行了实验,结果表明SMOTE过抽样可提高各少数类的检测,随机森林算法分类效果好而且建模所用的时间稳定。     

面向非平衡数据集的金融欺诈账户检测研究

针对非平衡金融数据集,提出一种银行欺诈账户检测框架iForest-SMOTE。基于账户的动态交易特点,从统计、时序、监督信息维度抽取账户交易行为特征。针对过采样技术ADASYN在金融账户数据集中存在的跨区域样本合成问题,提出一种基于iForest算法的数据集均衡预处理策略,通过iForest算法对数据进行混合采样,在去除多数类噪声数据的同时降低分类器对少数类的学习难度。在此基础上,设计随机森林分类器实现金融欺诈账户检测。在真实金融账户交易数据集上进行实验,结果表明,与ADASYN、SMOTE等采样技术相比,iForest-SMOTE在召回率和准确率方面具有明显优势,F-value值至少能够提升2.13个百分点。     

基于ADASYN-SFS-RF的欺诈检测模型泛化性能提升及可解释性研究

针对行业欺诈行为形式多样、操作隐蔽,且数据分布极端不平衡等问题,研究采用ADASYN（adaptive synthetic sampling approach for imbalanced learning）算法将分类决策边界向困难的实例进行自适应移动实现数据扩增,以解决不平衡数据造成的过拟合问题。采用基于随机森林的序列向前搜索策略算法筛选出最优特征子集对欺诈进行检测,降低ADASYN算法添加噪声数据对分类边界确定的影响,构建欺诈检测模型,并使用LIME对模型检测结果作出局部解释,提高模型的使用价值。实验表明,该模型可以较好地克服传统欺诈检测模型对多数类样本误分类的缺陷,有助于提高行业对交易欺诈行为识别的效率。同时,通过LIME对模型检测出的随机样本进行有效解析,便于决策者对算法模型的检测结果作出实证分析,起到明显的预警及决策参考价值。     

基于改进SMOTE的制造过程不平衡数据分类策略

不平衡数据分析是智能制造的关键技术之一,其分类问题已成为机器学习和数据挖掘的研究热点。针对目前不平衡数据过采样策略中人工合成数据边缘化且需要降噪处理的问题,提出一种基于改进SMOTE（synthetic minority oversampling technique）和局部离群因子（local outlier factor,LOF）的过采样算法。首先对整个数据集进行[K]-means聚类,筛选出高可靠性样本进行改进SMOTE算法过采样,然后采用LOF算法删除误差大的人工合成样本。在4个UCI不平衡数据集上的实验结果表明,该方法对不平衡数据中少数类的分类能力更强,有效地克服了数据边缘化问题,将算法应用于磷酸生产中的不平衡数据,实现了该不平衡数据的准确分类。     

堆叠去噪自编码器在垃圾邮件过滤中的应用

针对垃圾邮件数量日益攀升的问题,提出了将堆叠去噪自编码器应用到垃圾邮件分类中.首先,在无标签数据集上,使用无监督学习方法最小化重构误差,对堆叠去噪自编码器进行贪心逐层预训练,从而获得原始数据更加抽象和健壮的特征表示; 然后,在堆叠去噪自编码器的最上层添加一个分类器后,在有标签数据集上,利用有监督学习方法最小化分类误差,对预训练获得的网络参数进行微调,获得最优化的模型; 最后, 利用训练完成的堆叠去噪编码器在6个不同的公开数据集上进行测试.将准确率、召回率、更具有平衡性的马修斯相关系数作为实验性能评价标准,实验结果表明,相比支持向量机算法、贝叶斯方法和深度置信网络的分类效果,基于堆叠去噪自编码器的垃圾邮件分类器的准确率都高于95%,马修斯相关系数都大于0.88,在应用中具有更高的准确率和更好的健壮性.     

基于GSA与DE优化混合核ELM的网络异常检测模型

为了增强网络入侵检测模型的准确率与泛化性,提出一种基于引力搜索算法（GSA）与差分进化（DE）算法优化混合核极限学习机（ELM）的网络入侵检测模型。该模型针对采用单个核函数的ELM模型存在的泛化能力弱、学习能力差的问题,结合多项式核函数和径向基函数的优点,构建混合核ELM模型（HKELM）,将GSA和DE相结合优化HKELM模型参数,从而提高其在异常检测过程中的全局和局部优化能力,在此基础上利用核主成分分析算法进行入侵检测数据的数据降维和特征抽取,构建网络入侵检测模型KPCA-GSADE-HKELM。在KDD99数据集上的实验结果表明,与KDDwinner、CSVAC、CPSO-SVM、Dendron等模型进行对比,KPCA-GSADE-HKELM模型具有更高的检测精度和更快的检测速度。     

基于聚类分析的网络入侵检测模型

为提高网络入侵检测系统的入侵识别能力,提出一种基于模糊C均值(FCM)聚类的入侵检测模型。该模型包括数据预处理器、FCM聚类处理器、类中心集更新器和检测系统,可以同时处理数值属性与符号属性。实验结果表明,与其他模型相比,该模型具有较低的误警率和较高的检测率。     

基于LISOMAP的相关向量机入侵检测模型

针对现有入侵检测模型分类检测精度低、误报率高的问题,提出一种基于地标等距映射(LISOMAP)的相关向量机(RVM)入侵检测分类模型。首先采用LISOMAP对训练样本中的数据进行非线性降维,结合深度优先搜索(DFS)参数优化的RVM进行分类检测。结果表明,该模型与基于主成分分析(PCA)法的支持向量机(SVM)、基于LISOMAP的SVM模型相比,在保证一定检测率的情况下,误报率有了明显下降。     

基于半监督学习和三支决策的入侵检测模型

针对现有的入侵检测模型在未知攻击上表现不佳,且标注数据极其有限的情况,提出一种基于半监督学习（SSL）和三支决策（3WD）的入侵检测模型——SSL-3WD。SSL-3WD模型通过3WD在信息不足情况下的优秀表现来满足SSL在数据信息的充分冗余性上的假设。首先利用3WD理论对网络行为数据进行分类,而后根据分类结果选择适当的“伪标记”样本组成新的训练集以扩充原有数据集,最后重复分类过程,以得到所有对于网络行为数据的分类。在NSL-KDD数据集上,所提模型的检出率达到了97.7%,相较于对比方法中检出率最高的自适应的集成学习入侵检测模型Multi-Tree,提升了5.8个百分点;在UNSW-NB15数据集上,所提模型的准确率达到了94.7%,检出率达到了96.3%,相较于对比方法中表现最好的基于深度堆叠非对称自编码器（SNDAE）的入侵检测模型,分别提升了3.5个百分点和6.2个百分点。实验结果表明,所提SSL-3WD模型提升了对网络行为进行检测的准确率和检出率。     

SVM-DT-Based Adaptive and Collaborative Intrusion Detection

As a primary defense technique, intrusion detection becomes more and more significant since the security of the networks is one of the most critical issues in the world. We present an adaptive collaboration intrusion detection method to improve the safety of a network. A self-adaptive and collaborative intrusion detection model is built by applying the Environmentsclasses, agents, roles, groups, and objects (E-CARGO) model. The objects, roles, agents, and groups are designed by using decision trees (DTs) and support vector machines (SVMs), and adaptive scheduling mechanisms are set up. The KDD CUP 1999 data set is used to verify the effectiveness of the method. The experimental results demonstrate the feasibility and efficiency of the proposed collaborative and adaptive intrusion detection method. Also, the proposed method is shown to be more predominant than the methods that use a set of single type support vector machine (SVM) in terms of detection precision rate and recall rate.      

基于前馈多层感知器的网络入侵检测的多数据包分析

提出了一种新型网络入侵检测模型,在该模型中,首先将截获的数据包结合历史数据包数据库进行协议分析,找出可能存在的入侵行为的相关数据包,然后采用前馈多层感知器神经网络对这些相关的数据包进行回归分析,最终获得检测结果。该模型与传统采用单数据包检测方式的网络入侵检测系统(NIDS)模型相比,具有更低的漏检率。     

基于树突细胞算法与对支持向量机的入侵检测

针对入侵检测技术在处理大规模数据时存在的高误报率、低训练速度和低实时性的问题,提出了一种基于树突细胞算法与对支持向量机的入侵检测策略(DCTWSVM).利用树突细胞算法(DCA)对威胁数据进行初始检测,在此基础上利用对支持向量机(TWSVM)进行检测结果的优化处理.为了验证策略的有效性,设计性能对比实验,实验结果表明,相较于DCA、支持向量机(SVM)、反向传播(BP)神经网络,DCTWSVM策略的检测精度提高了2.02%、2.30%、5.44%,误报率分别降低了0.26%、0.46%、0.90%,训练速度相较于SVM提高了两倍且只需耗费极少的训练时间,可以更好地适用于大规模数据下的实时入侵检测环境.     

基于混合AIS/SOM的入侵检测模型

针对异常检测信息获取不足的缺点,提出基于混合人工免疫系统(AIS)/自组织映射(SOM)的入侵检测模型。该模型采用人工免疫系统检测网络异常,对检测到的异常连接用自组织映射进行分类,应用KDDCUP99实验数据集进行仿真。结果表明该检测方法是有效的,能够将检测到的异常连接分类并给出异常连接的更多信息,检测和分类效率较高、误报率低。     

基于粗糙集的网络入侵检测模型研究

本文提出了一种基于粗糙集(Rough Set)理论的网络入侵检测模型,通过运用粗糙集理论结合遗传算法对网络连接数据提取检测规则集。仿真结果表明,该方法对各类已知和未知攻击尤其是DoS和Probe攻击具有较高的检测率和较低的误报率,因此本文提出的基于粗糙集理论的入侵检测模型在应用于复杂网络数据分析和网络攻击检测方面是高效的。