VAE过采样与迁移学习在网络入侵检测中的应用

在网络入侵检测中,异常样本通常要比正常样本少得多,数据的不平衡问题会导致检测模型的分类结果倾向于多数类,影响模型准确率.文章提出应用变分自编码器(VAE)模型对网络入侵检测中的不平衡数据进行过采样,通过学习原数据的特征后生成新样本重新平衡数据分布,以提高检测模型的性能.在训练检测模型时采用迁移学习方法,先在过采样后混合的数据集上预训练,再迁移到原数据集上进行训练,得到最终的检测模型.在NSL-KDD数据集上进行实验,网络入侵检测模型使用前馈神经网络.结果表明,基于深度学习的VAE过采样方法比传统的SMOTE过采样方法要更加有效,提高了网络入侵检测模型准确率3.23％.     

基于TSVM分类的网络入侵检测方法

网络入侵检测技术是入侵检测领域研究的热点内容,但仍然存在误报率较高、对建立检测模型的数据要求过高、在缺乏足够训练数据的"小样本"环境下检测性能明显下降等问题.基于TSVM分类机器学习算法,提出了一种有指导的网络入侵检测新方法,能够高效地检测网络入侵.通过基于著名的KDD Cup 1999数据集的实验,表明其相对于传统的入侵检测方法具有较高的检测率和较低的误报率;特别是在采用"小样本"训练集的情况下,其仍能保证较高的检测性能.     

基于CNN和SVM的报文入侵检测方法

为了进一步提高网络异常检测的准确率, 本文在对现有入侵检测模型分析的基础上, 提出了一种基于卷积神经网络和支持向量机的网络报文入侵检测方法. 该方法首先将数据预处理成二维矩阵, 为了防止算法模型过拟合, 利用permutation函数将数据随机打乱, 然后利用卷积神经网络CNN从预处理后的数据中学习有效特征, 最后通过支持向量机SVM分类器将得到的向量进行分类处理. 在数据集选择上, 采用网络入侵检测常用的权威数据集—京都大学蜜罐系统数据集, 通过与GRU-Softmax、GRU-SVM等现有检测率较高的模型进行实验对比, 该模型在准确率上最高分别提高了19.39% 和12.83%, 进一步提升了网络异常检测的准确度. 同时, 本研究所提出方法在训练速度和测试速度上有较大提高.     

基于粗糙集和CP神经网络的入侵检测模型

研究网络入侵检测准确度问题.针对入侵检测系统存在的比较高的漏报率以及高的误报率等缺陷,根据CP神经网络算法的优点,提出了一种改良型的CP神经网络入侵检测算法.算法采用已学习好的二值神经网络将简化的数据集作为CP神经网络输入数据,这样简化了CP神经网络的结构,解决了直接用CP学习造成的训练样本数量过大而难以收敛的问题,同时缩短了样本训练时间,有效提高了CP神经网络分类正确率.在Matlab平台上进行仿真的结果表明,所提出的新的入侵检测算法,训练样本时间更短,与传统网络入侵检测系统模型相比,具有更好的入侵识别率和检测率.     

基于SVM主动学习算法的网络入侵检测系统

入侵检测系统已经成为网络安全技术的重要组成部分。然而，传统的异常入侵检测技术需要通过对大量训练样本的学习才能达到较高的检测精度，而大量训练样本集的获取在现实网络环境中是比较困难的。本文研究在网络入侵检测中采用基于支持向量机（SVM）的主动学习算法，解决训练样本获取代价过大带来的问题。通过基于SVM的主动学习算
算法与传统的被动学习算法的对比实验说明，主动学习算法能有效地减少学习样本数及训练时间，能有效地提高入侵检测系统的分类性能。     

基于主动学习的工业互联网入侵检测研究

针对工业互联网结构复杂和已知攻击样本少导致的入侵检测准确率低的问题,文章提出一种基于主动学习的入侵检测系统(Active Learning-based Intrusion Detection System,ALIDS)。该系统将专家标注引入到入侵检测过程中,将主动学习查询策略与LightGBM结合,解决了训练样本稀缺情况下入侵检测系统准确率低的问题。首先从工业互联网原始网络流和载荷中提取特征,通过最近邻方法对缺失数据进行填补;再通过不确定性采样,选择最有价值的训练样本交由人工专家标注;然后将已标注样本加入训练集,同时使用贝叶斯优化对LightGBM模型进行超参数优化;最后在数据集上进行二分类和多分类实验,验证了ALIDS对入侵检测的有效性。     

支持向量机在网络异常入侵检测中的应用研究

研究网络安全问题,针对对网络异常入侵检测数据的特征进行提取,用传统异常入侵检测算法存在小样本情况下训练精度高,预测精度低的过拟合缺陷,出现误报和漏报现象,提出一种基于支持向量机的网络异常入侵检测方法.在支持向量机的网络异常入侵检测过程中,利用网格法寻找支持向量机最优参数,并找到的最优参数对网络异常入侵训练样本进行训练学习,得到最优异常入侵检测模型,对入侵检测数据进行预测.以网络异常入侵标准数据库DARPA中的数据集进行了仿真.仿真结果表明,小样本数据的支持向量机有较高的网络入侵检测准确率,具有较好的实时性,是一种高效、误报和漏报率低的网络异常入侵检测方法.     

基于集成降噪自编码的在线网络入侵检测模型

针对神经网络在线入侵检测模型训练时易出现过拟合和泛化能力弱的问题,提出基于改进的集成降噪自编码在线入侵检测模型以区分正常和异常的流量模式。降噪自编码减少了训练数据与测试数据的差别,缓解过拟合问题,提高模型的性能。同时阈值的选择方法直接影响网络入侵检测模型检测精度,该阈值采用随机方法确定,无须于离线入侵检测,不需通过完整的数据集即可选择最佳的阈值。采用CICIDS2017中的异常的数据流对模型进行测试,准确率分别为90.19%。结果表明,作为一种在线检测模型,提出的异常检测模型优于其他异常检测方法。     

入侵检测中的OCSVM方法综述

通常,在入侵检测的研究中把入侵行为看成是一个二分类问题,即正常和异常,这就需要一个被完全标记为正常和异常的训练数据集.而在实际应用中,很难找到这样的数据集,并且对于一些新的没有标记过的入侵行为,传统的入侵检测方法不能检测出来.而基于OCSVM的入侵检测不需要任何标记数据,并且能够从未标记的数据集中发现异常.     

人工智能集成学习方法在入侵检测中的运用

在监督学习的分类中,集成学习已经成功地运用于许多不同的领域。文献中许多研究者通过考虑不同的组合方式、训练数据集、基分类器以及其他因素提出了不同的集成学习方法。人工智能技术相比于其他技术有许多优点,在解决入侵检测问题的集成学习发展中发挥着重要的作用。但是,目前还没有一篇综述性的文章来回顾解决入侵检测问题的通用集成方法和基于人工智能技术的集成学习方法。对入侵检测问题的集成学习方法进行对比和总结,并对该领域今后的研究方向进行了展望,为理解入侵检测系统领域的集成提供帮助。     

An active learning based TCM-KNN algorithm for supervised network intrusion detection

As network attacks have increased in number and severity over the past few years, intrusion detection is increasingly becoming a critical component of secure information systems and supervised network intrusion detection has been an active and difficult research topic in the field of intrusion detection for many years. However, it hasn't been widely applied in practice due to some inherent issues. The most important reason is the difficulties in obtaining adequate attack data for the supervised classifiers to model the attack patterns, and the data acquisition task is always time-consuming and greatly relies on the domain experts. In this paper, we propose a novel supervised network intrusion detection method based on TCM-KNN (Transductive Confidence Machines for K-Nearest Neighbors) machine learning algorithm and active learning based training data selection method. It can effectively detect anomalies with high detection rate, low false positives under the circumstance of using much fewer selected data as well as selected features for training in comparison with the traditional supervised intrusion detection methods. A series of experimental results on the well-known KDD Cup 1999 data set demonstrate that the proposed method is more robust and effective than the state-of-the-art intrusion detection methods, as well as can be further optimized as discussed in this paper for real applications.     

一种主动学习式P2P流识别方法

P2P流的识别对于网络的维护与运营都具有重要意义,基于机器学习的流识别技术是目前研究的热点和难点内容,但目前仍然存在着建立分类模型需要大量适用的训练数据、训练数据的标记需要依赖领域专家以及因此而导致的工作量及难度过大和实用性不强等问题,而当前的研究工作很少涉及到这些问题的解决办法。针对这一问题,采用主动学习技术提取少量高质量的训练样本进行建模,并结合SVM分类算法提出了一种基于锦标赛选择的样本筛选方法。实验结果表明,其相对于已有的流识别方法,能够在仅依赖少量高质量训练样本的前提下,保证较高召回率及较低误报率,更适用于现实网络环境。     

基于直推式方法的网络异常检测方法

网络异常检测技术是入侵检测领域研究的热点和难点内容,目前仍然存在着误报率较高、对建立检测模型的数据要求过高、在复杂的网络环境中由于"噪音"的影响而导致检测率不高等问题.基于改进的TCM-KNN(transductive confidence machines for K-nearest neighbors)置信度机器学习算法,提出了一种网络异常检测的新方法,能够在高置信度的情况下,使用训练的正常样本有效地对异常进行检测.通过大量基于著名的KDD Cup 1999数据集的实验,表明其相对于传统的异常检测方法在保证较高检测率的前提下,有效地降低了误报率.另外,在训练集有少量"噪音"数据干扰的情况下,其仍能保证较高的检测性能;并且在采用"小样本"训练集以及为了避免"维灾难"而进行特征选取等优化处理后,其性能没有明显的削减.     

半监督环境下基于AE-ELM模型的工业网络安全防御研究

针对工业网络的安全性问题,在半监督环境的支持下,利用AE-ELM模型优化设计工业网络安全防御方法。根据不同网络攻击程序的攻击原理,设置工业网络入侵攻击检测标准。采集满足质量要求的工业网络实时数据,在半监督环境下,利用AE-ELM模型提取工业网络数据特征,通过与设置检测标准的匹配,得出工业网络攻击类型的检测结果。根据网络攻击类型,从边界、传输通道、终端等方面进行防御部署,实现工业网络的安全防御。通过与传统防御方法的对比测试得出结论：综合考虑两种攻击场景,在优化设计方法的防御作用下,工业网络的数据丢失率和篡改率分别降低约4.36%和2.35%,即优化设计方法具有更高的安全防御效果。     

Practical real-time intrusion detection using machine learning approaches

The growing prevalence of network attacks is a well-known problem which can impact the availability, confidentiality, and integrity of critical information for both individuals and enterprises. In this paper, we propose a real-time intrusion detection approach using a supervised machine learning technique. Our approach is simple and efficient, and can be used with many machine learning techniques. We applied different well-known machine learning techniques to evaluate the performance of our IDS approach. Our experimental results show that the Decision Tree technique can outperform the other techniques. Therefore, we further developed a real-time intrusion detection system (RT-IDS) using the Decision Tree technique to classify on-line network data as normal or attack data. We also identified 12 essential features of network data which are relevant to detecting network attacks using the information gain as our feature selection criterions. Our RT-IDS can distinguish normal network activities from main attack types (Probe and Denial of Service (DoS)) with a detection rate higher than 98% within 2 s. We also developed a new post-processing procedure to reduce the false-alarm rate as well as increase the reliability and detection accuracy of the intrusion detection system.     

基于人工蜂群算法的计算机网络DDoS攻击检测方法

计算机网络在DDoS入侵下容易出现停止服务、网络崩溃,为了提高网络安全性,提出基于人工蜂群算法的计算机网络DDoS攻击检测方法。根据特征样本之间的相关性构建计算机网络DDoS攻击的自适应的入侵检测信息分析模型,根据网络数据流与潜在空间之间的映射关系,结合测试样本和学习样本之间特征差异性进行DDoS攻击数据特征提取,在基站上设置入侵检测数据处理终端,采用人工蜂群算法实现对计算机网络攻击检测的个体最优值和全局最优值寻优,根据人工蜂群的动态寻优和组合优化结果,实现对组合网络流量数据间的攻击信息特征提取和聚类分析,解决计算机网络DDoS攻击检测过程中的连续多变量优化问题。仿真测试结果表明,采用该方法进行计算机网络DDoS攻击检测的寻优能力较好,精度和效率高于传统方法。     

机器学习在工业网络入侵检测中的研究应用

在工业化和信息化两化深度融合的背景下,工业控制网络面临着高强度、持续性的恶意渗透和网络攻击,对国家安全和工业生产构成了巨大威胁.检测工业控制网络遭受恶意攻击,高效区分正常数据和攻击数据的研究已成为热点问题.以密西西比州立大学SCADA实验室的能源系统攻击数据集作为工业控制网络入侵检测的主要研究对象,对比不同机器学习算法的准确率、漏警率、虚警率等重要指标,得出综合性能最优的XGBoost算法.为进一步提高入侵检测效率,提出了一种针对XGBoost算法的包裹式特征选择方法,在简化数据集的同时突出不同特征在入侵检测中的重要性.研究结果表明,结合包裹式特征选择的XGBoost算法能有效解决入侵检测问题并提高入侵检测效率,验证了此方法的有效性和科学性.     

基于特征选择的网络入侵检测模型研究

为了有效从收集的恶意数据中选择特征去分析,保障网络系统的安全与稳定,需要进行网络入侵检测模型研究;但目前方法是采用遗传算法找出网络入侵的特征子集,再利用粒子群算法进行进一步选择,找出最优的特征子集,最后利用极限学习机对网络入侵进行分类,但该方法准确性较低;为此,提出一种基于特征选择的网络入侵检测模型研究方法;该方法首先以增强寻优性能为目标对网络入侵检测进行特征选择,结合分析出的特征选择利用特征属性的Fisher比构造出特征子集的评价函数,然后结合计算出的特征子集评价函数进行支持向量机完成对基于特征选择的网络入侵检测模型研究方法;仿真实验表明,利用支持向量机对网络入侵进行检测能有效地提高入侵检测的速度以及入侵检测的准确性。     

基于SNMP进行数据挖掘的入侵检测系统研究

网络攻击日益隐蔽化和复杂化，传统入侵检测方法对此有很大局限性，该文提出将入侵检测系统和SNMP网络管理系统相结合，根据攻击的本质特征，使用数据挖掘技术从SNMP的网络统计数据中获取检测规则的方法，能有效实现对隐蔽和复杂攻击的检测。     

Local outlier factor and stronger one class classifier based hierarchical model for detection of attacks in network intrusion detection dataset

Identification of attacks by a network intrusion detection system (NIDS) is an important task. In signature or rule based detection, the previously encountered attacks are modeled, and signatures/rules are extracted. These rules are used to detect such attacks in future, but in anomaly or outlier detection system, the normal network traffic is modeled. Any deviation from the normal model is deemed to be an outlier/ attack. Data mining and machine learning techniques are widely used in offline NIDS. Unsupervised and supervised learning techniques differ the way NIDS dataset is treated. The characteristic features of unsupervised and supervised learning are finding patterns in data, detecting outliers, and determining a learned function for input features, generalizing the data instances respectively. The intuition is that if these two techniques are combined, better performance may be obtained. Hence, in this paper the advantages of unsupervised and supervised techniques are inherited in the proposed hierarchical model and devised into three stages to detect attacks in NIDS dataset. NIDS dataset is clustered using Dirichlet process (DP) clustering based on the underlying data distribution. Iteratively on each cluster, local denser areas are identified using local outlier factor (LOF) which in turn is discretized into four bins of separation based on LOF score. Further, in each bin the normal data instances are modeled using one class classifier (OCC). A combination of Density Estimation method, Reconstruction method, and Boundary methods are used for OCC model. A product rule combination of the threemethods takes into consideration the strengths of each method in building a stronger OCC model. Any deviation from this model is considered as an attack. Experiments are conducted on KDD CUP’99 and SSENet-2011 datasets. The results show that the proposed model is able to identify attacks with higher detection rate and low false alarms.