人工智能集成学习方法在入侵检测中的运用

在监督学习的分类中,集成学习已经成功地运用于许多不同的领域。文献中许多研究者通过考虑不同的组合方式、训练数据集、基分类器以及其他因素提出了不同的集成学习方法。人工智能技术相比于其他技术有许多优点,在解决入侵检测问题的集成学习发展中发挥着重要的作用。但是,目前还没有一篇综述性的文章来回顾解决入侵检测问题的通用集成方法和基于人工智能技术的集成学习方法。对入侵检测问题的集成学习方法进行对比和总结,并对该领域今后的研究方向进行了展望,为理解入侵检测系统领域的集成提供帮助。     

基于集成学习的无监督网络入侵检测方法

目前,网络对抗对入侵检测智能化和自主性的需求不断提高,基于深度学习的方法通过训练和学习来区分复杂攻击模式和行为,但有监督的学习方法需要专家知识和大量人工开销。针对上述问题,文章提出一种基于集成学习的无监督网络入侵检测方法,并使用基于3种不同异常检测理念的深度学习检测器,在3种不同集成逻辑下对各单检测器的检测结果进行检测判定。该方法可以综合分析时间序列数据中不同类型的异常数据,降低无监督异常检测模型由于过度拟合所造成的影响,并以一种高效的在线方式检测可能存在的网络攻击数据流。在KDD CUP 1999和CSE-CICIDS 2018数据集上进行验证,实验结果表明,与其他单一的无监督异常检测模型相比,文章提出的集成方法结合了不同无监督检测模型的优势,适用于对多种网络入侵引起的异常进行检测。     

基于集成学习的入侵检测方法

入侵检测是近年来网络安全研究的热点。利用多分类器技术,研究了基于集成学习的入侵检测方法。应用Bootstrap技术生成分类器个体,为了提高分类器的差异性,应用聚类技术对分类器进行聚类,在相应的聚类结果中选取不同的分类器个体,并选择不同的融合方法对分类结果进行融合。针对入侵检测数据的实验表明了该集成技术的有效性。     

基于半监督学习的入侵检测系统

在入侵检测方法中,半监督学习作为一种特殊的学习形式,结合了监督学习与非监督学习在检测已知模式数据与未知模式数据方面各自的优点.据此,为进一步提高入侵检测系统的检测准确性,提出一种结合SVM与KMO(online kmeans)算法各自优点的半监督入侵检测模型.该模型首先利用SVM算法对全部的输入数据进行区分,然后将其认为的合法数据集用KMO算法分类,以该结果作为决策模块的输入并做出最终的响应.实验显示,文中模型比单独使用其中的任一种方法具有更高的检测准确率.由此可见,该模型对于实际的入侵检测系统具有实用价值.     

基于集成学习的入侵检测方法

为解决传统入侵检测中存在的检测效率低、对未知的入侵行为检测困难等问题,提出了将改进的BP神经网络算法和支持向量机集成的入侵检测模型.实验表明,集成改进的BP神经网络和支持向量机与检出率最好的单个神经网络、单个SVM相比检测率有所提高,同时提高了对未知入侵行为的识别.     

基于集成学习的系统调用实时异常检测框架

基于系统调用数据的异常检测无法完成进程生命周期内的入侵行为同步感知任务,且存在实时异常检测准确率低的问题。提出一个基于集成学习的系统调用实时异常检测框架,其中包括数据处理与切片、集成学习、异常检测与反馈模块。在数据处理与切片模块中,对处于生命周期内的进程行为轨迹进行采集与分析,根据线上待分析数据与线下模型训练数据对时效性的不同要求,设计2种系统调用轨迹的切分策略;在集成学习模块中,改进GPT语言模型和门控循环神经单元用于构建系统调用轨迹片段行为轮廓,以集成学习思想融合异常检测异构模型同时抓取单向语义特征与统计特征;在异常检测与反馈模块中,采用考虑单个系统调用重要度的异常判决方法,引入同步感知与实时裁决共存的异常预警机制。在公开数据集上的实验结果表明,该框架具有进程生命周期内的入侵同步感知能力,所构建的集成模型在保证低误报率（0.2%）的同时具有高异常检测准确率（99.3%）,优于决策树模型、单分类SVM、BiLSTM等对比模型。     

基于互信息加权集成迁移学习的入侵检测方法

入侵检测系统（IDS）已成为网络安全体系结构中的必要组成部分。在面对现代网络安全需求时,现有的入侵检测方法的可行性和持续性仍然存在提高空间,主要体现在更早地发现入侵威胁和提高入侵检测系统的检测精准度,为此提出一种基于互信息加权的集成迁移学习（ETL）入侵检测方法。首先,通过迁移策略对多组特征集进行建模;然后,使用互信息度量在迁移模型下特征集在不同域中的数据分布;最后,根据度量值对多个迁移模型进行集成加权,得到集成迁移模型。该方法通过学习新环境下的少量有标记样本和以往环境下的大量有标记样本的知识,可以建立效果优于传统非集成、非迁移的入侵检测模型。使用基准NSL-KDD数据集对该方法进行评估,实验结果表明,所提方法具有良好的收敛性能,并提高了入侵检测的精准率。     

基于SVM的网络入侵检测集成学习算法

互联网络中,计算机和设备随时受到恶意入侵的威胁,严重影响了网络的安全性。入侵行为升级快、隐蔽性强、随机性高,传统方法难以有效防范。针对这一问题,提出一种基于SVM的网络入侵检测集成学习算法,该算法利用SVM建立入侵检测基学习器,采用AdaBoost集成学习方法对基学习器迭代训练,生成最终的入侵检测模型,仿真实验表明了该算法的有效性。     

基于增量集成学习的动态自适应SDN入侵检测

随着SDN网络应用的推广,SDN网络的安全也越来越受到重视,基于模式识别的网络入侵检测由于无法一次性收集完备的训练数据集,使得对未知的入侵行为识别率不高.为提高入侵检测系统的自适应性,提出了增量集成学习算法,并用该算法解决SDN入侵检测问题.该算法利用滑动窗口法获得数据块,对新的数据块进行训练获得子分类器,然后依据在历史数据块和当前数据块的分类结果筛选子分类器进行集成,使得分类模型不断完善从而能够自适应的识别未知攻击行为.通过在NSL-KDD数据集上的实验结果可以看到,该算法可以提高未知攻击的识别率.     

基于神经网络集成的入侵检测方法的研究

针对目前入侵检测中存在的误检率高、对新的入侵方法不敏感等问题,提出了一种基于神经网络集成的入侵检测方法。使用负相关法训练神经网络集成,采用tf×idf的系统调用编码方式作为输入。实验结果表明,与单神经网络方法相比,神经网络集成弥补了神经网络方法在检测数据上的不足,在保证较高的入侵检测率的前提下,保持了较低的误检率。     

基于集成学习的物联网设备异常流量检测算法

随着物联网设备数量的快速增长,被劫持的物联网设备组成的僵尸网络发起非法攻击的频率大大增加,物联网设备的安全性已经成为一个严峻的问题。为了检测物联网设备发起的异常流量,提出一种集成学习的个体学习器选择算法（individual learner selection algorithm,IISA）,IISA是一种基于相关系数度量的选择方法,利用相关系数将相似度差异大的个体学习器集成起来并采用投票的方式进行判决,在减少个体学习器的同时,提高检测的准确度和检测效率。实验结果表明,和八种半监督机器学习检测算法相比,其查全率最大降低9.12%,准确率最大提高4.69%,检测效率最大提高70.72%。     

伪标签置信选择的半监督集成学习视频语义检测

在视频语义检测中，有标记样本不足会严重影响检测的性能，而且伪标签样本中的噪声也会导致集成学习基分类器性能提升不足。为此，提出一种伪标签置信选择的半监督集成学习算法。首先，在三个不同的特征空间上训练出三个基分类器，得到基分类器的标签矢量；然后，引入加权融合样本所属某个类别的最大概率与次大概率的误差和样本所属某个类别的最大概率与样本所属其他各类别的平均概率的误差，作为基分类器的标签置信度，并融合标签矢量和标签置信度得到样本的伪标签和集成置信度；接着，选择集成置信度高的样本加入到有标签的样本集，迭代训练基分类器；最后，采用训练好的基分类器集成协作检测视频语义概念。该算法在实验数据集UCF11上的平均准确率到达了83.48%，与Co-KNN-SVM算法相比，平均准确率提高了3.48个百分点。该算法选择的伪标签能体现样本所属类别与其他类别的总体差异性，又能体现所属类别的唯一性，可减少利用伪标签样本的风险，有效提高视频语义概念检测的准确率。     

分类器动态集成的入侵数据流检测算法

入侵数据流具有快速更新以及概念漂移的特点,静态集成分类器无法及时反映整个空间的数据分布,入侵检测正确率不高,对此,文中提出了一种单分类器动态集成的入侵检测方法,该方法动态分配各分类器权值并用区间估计检查概念漂移并更新分类器。实验结果表明,在处理超平面构造的数据流上,分类效果优于多数投票、加权投票两种静态分类方法,在真实入侵实数据集上有高检测率。     

A survey on ensemble learning

Despite significant successes achieved in knowledge discovery,traditional machine learning methods may fail to obtain satisfactory performances when dealing with complex data,such as imbalanced,high-dimensional,noisy data,etc.The reason behind is that it is difficult for these methods to capture multiple characteristics and underlying structure of data.In this context,it becomes an important topic in the data mining field that how to effectively construct an efficient knowledge discovery and mining model.Ensemble learning,as one research hot spot,aims to integrate data fusion,data modeling,and data mining into a unified framework.Specifically,ensemble learning firstly extracts a set of features with a variety of transformations.Based on these learned features,multiple learning algorithms are utilized to produce weak predictive results.Finally,ensemble learning fuses the informative knowledge from the above results obtained to achieve knowledge discovery and better predictive performance via voting schemes in an adaptive way.In this paper,we review the research progress of the mainstream approaches of ensemble learning and classify them based on different characteristics.In addition,we present challenges and possible research directions for each mainstream approach of ensemble learning,and we also give an extra introduction for the combination of ensemble learning with other machine learning hot spots such as deep learning,reinforcement learning,etc.     

集成学习分布式异常检测方法

研究了基于模型共享的集成学习分布式异常检测模型,采用多数投票、边界扩展、平均叠加和距离加权4种不同的集成学习方法得到全部的局部模型;采用交换本地数据挖掘模型的方式来实现数据共享,从而构造出一个总体的集成学习模型。从全局的观点检测异常,减少了集中式检测所需数据的传输量,有效保护了数据提供者的隐私性。仿真实验结果表明,该方法的检测性能与集中式检测的性能相当,甚至更好。     

基于机器学习的入侵检测研究

针对现有的检测技术和入侵检测系统还存在一些问题和不足,提出将机器学习方法应用在入侵检测系统中,建立了一个基于学习的入侵检测系统模型,给出了一个基于机器学习的入侵检测系统的设计.该系统不仅能通过模式匹配的方式检测到一些已知的攻击,还能通过自我学习检测到未知的攻击.     

一种半聚类的异常入侵检测算法

针对基于监督学习的入侵检测算法所面临的训练样本不足的问题,提出了一种结合改进k 近邻法的基于半监督聚类的异常入侵检测算法,利用少量的标记数据改善算法的学习能力,并实现了对新攻击类型的检测。实验结果表明,在标记数据极少的情况下,算法的检测结果明显好于非监督学习的算法,接近于监督学习的检测算法。     

基于集成学习的僵尸网络在线检测方法

针对现有的僵尸网络研究工作所检测的僵尸网络生命周期的阶段较为单一的问题,提出基于集成学习的僵尸网络在线检测方法。首先,细粒度地标记僵尸网络多个阶段的流量,生成僵尸网络数据集;其次,结合多种特征选择算法生成包含23个特征的重要特征集和包含28个特征的次重要特征集,基于Stacking集成学习技术集成多种深度学习模型,并针对不同的初级分类器提供不同的输入特征集,得到僵尸网络在线检测模型;最后,将僵尸网络在线检测模型部署在网络入口处在线检测多种僵尸网络。实验表明,所提基于集成学习的僵尸网络在线检测方法能够有效地检测出多个阶段的僵尸网络流量,恶意流量检测率可达96.47%。     

监督与半监督学习下的数据流集成分类综述

在监督或半监督学习的条件下对数据流集成分类进行研究是一个很有意义的方向.从基分类器、关键技术、集成策略等三个方面进行介绍,其中,基分类器主要介绍了决策树、神经网络、支持向量机等;关键技术从增量、在线等方面介绍;集成策略主要介绍了boosting、stacking等.对不同集成方法的优缺点、对比算法和实验数据集进行了总结与分析.最后给出了进一步研究方向,包括监督和半监督学习下对于概念漂移的处理、对于同质集成和异质集成的研究,无监督学习下的数据流集成分类等.