异常检测综述

异常检测旨在检测出不符合期望行为的数据,因而适合应用于故障诊断、入侵和欺诈检测以及数据预处理等多个领域.针对目前众多的专用和通用异常检测方法,本文侧重对基于统计的主流异常检测方法进行了回顾,力图提供一个新的结构化的异常检测方法的认识框架,并依据其监督和无监督学习算法的原理进行了简单分类,特别对部分异常检测方法间的等价性进行了深入探讨.     

基于数据挖掘的入侵检测多分类模型研究

入侵检测系统捕获的大量网络数据,需要采取有效的算法进行分类,用以判别数据流是否异常以及所属的攻击类别。为了有效地挖掘出判别数据流的模式与规则,针对入侵检测系统的分类器模型,采用数据挖掘技术中的反向传播神经网络算法、有监督的Kohonen神经网络算法和支持向量机算法进行对比研究。主要分析了各个算法的分类正确率、检测率和误...     

基于多代理的混合式入侵检测系统模型

在当前的网络环境下进行实时的入侵检测往往面临以下问题:一是网络的规模庞大,需要处理大量的信息,进而要求入侵检测系统有较大的吞吐量;二是网络的环境复杂,数据类型多样,相应的要求入侵检测系统有较大的准确度.针对这些问题,提出了一个入侵检测系统的模型,该模型基于多代理的分布式结构,能够适应网络规模和带宽的变化,具有很好的可扩展性;混合应用了异常和误用入侵检测技术,具有低的误警率和漏警率;采用了多属性的特征提取方法,能够精确的把握入侵行为的特征,从而有效的识别入侵行为;采用径向基函数来构造分类器,使得分类器具有较强的推广能力,能够对未知的入侵行为进行准确的判定,进一步增强了入侵检测的准确性.实验表明该系统吞吐量大,准确性高,适合于当前高速复杂的网络环境,具有很好的实用性.     

改进的BP网络在入侵检测中的应用

入侵检测是一种积极主动的安全防护技术,不仅能够检测来自外部的入侵行为,同时也监督内部用户的未授权活动,有着非常广泛的应用前景。而人工神经网络是一种基于大量神经元广泛互联的数学模型,具有自学习、自组织、自适应的特点。将神经网络技术和入侵检测技术相结合,建立了一个基于神经网络的入侵检测系统模型并实现了一个基于BP(Back Propagation)神经网络的入侵检测系统的原形,对原有的误差返向传播算法进行了改进以提高收敛速度,然后对一些实际数据进行了测试和分析,在检测率、漏报率、误报率等方面取得了较好的效果。     

面向入侵检测的机器学习方法综述

入侵检测方法是基于网络的入侵检测系统的核心,可以是基于特征的,也可以是基于异常的。基于特征的检测方法具有较高的检测率,但不能检测到未知新型攻击;基于异常的检测方法可以检测到新型攻击,但误报率较高。为了降低入侵检测的误报率并提高其检测率,许多机器学习技术被应用到入侵检测系统中。通过对大量带有入侵数据训练样本的学习,构建了一个用于区分正常状态和入侵状态的入侵检测模型。针对目前入侵检测系统存在的高误报率、低检测速度和低检测率等问题,对机器学习技术在入侵检测系统中的的优势、系统检测的通用数据集以及系统评估指标进行了详细阐述,并对未来研究趋势进行了展望。     

基于多层前向神经网络入侵检测系统的研究

针对目前入侵检测系统不能有效检测未知入侵行为的问题,根据神经网络的自学习和自适应性强的特点,采取了将多层前向神经网络与入侵检测系统相结合的方法,提出了一种入侵检测模型,给出了此模型中神经网络模块的改进训练算法,实验证明,此算法入侵检测率可达86％,最大误报率为3％,加大训练样本可进一步提高检测率,从而更有效地检测出未知的入侵行为;此算法实时性强,可有效提高神经网络的学习效率。     

网络入侵异常检测的实时方法

目前市面上的入侵检测系统一般都是基于特征匹配,不能对未知入侵进行有效检测,异常检测可以较好地检测未知入侵.MIT林肯实验室提出了一种离线的异常入侵检测方法,但不能据此建立实际的入侵检测系统,为此,提出一种能实时检测网络异常的入侵检测方法.该方法可以实时重建网络连接,提取每一连接的31个与入侵有关的特征,运用支持向量机进行在线检测,实验结果表明,该方法是有效的,检测精度在95%以上.为缩短入侵检测时间,对最短检测时间进行了研究,提出了最优入侵检测时间算法,根据此算法得出局域网内的异常连接在250ms内即可较准确地检测出.     

基于PCA和半监督聚类的入侵检测算法研究

针对网络入侵检测数据存在大量冗余信息和传统聚类算法对离群点检测不足的问题,提出一种基于主成分分析(principal component analysis, PCA)和半监督聚类的入侵检测算法。首先使用PCA对数据进行特征提取,消除数据间的冗余属性;然后利用少量已标记样本和成对约束信息,通过引入竞争凝聚让系统主动学习,以实现对大量未知样本的检测。在入侵检测数据集和UCI基准数据集上的实验结果表明,该算法能有效提高系统的性能。     

基于CSA无监督模糊聚类算法的异常检测方法

为解决模糊k 均值算法对初始化敏感及易陷入局部极值的不足,提出了基于克隆选择算法(CSA)的无监督模糊聚类异常入侵检测方法. 应用结合了具有进化搜索、全局搜索、随 机搜索和局部搜索特点的克隆算子快速得到了全局最优聚类,并应用模糊检测算法检测网络中的异常行为模式. 该方法的优点是不需要人工对训练集分类,并且可以检测出未知的攻击. 仿真试验表明,该方法不但能检测出未知的攻击,而且具有较低的误报率和较高的检测率.     

一种处理混合型属性的无监督异常入侵检测方法

针对目前入侵检测技术训练时处理类别型数据能力欠缺、误报率高的问题,提出一种处理混合型属性的无监督异常入侵检测方法,定义了类别型属性各取值之间的差异度,使得在对训练集进行无监督学习、生成检测模型过程中,能够同时有效地处理数值型属性和类别型属性．理论分析表明所定义的类别型属性值差异度既保留了类别型属性各取值之间的本质特征．同时也没有改变数据集的原始维数．实验中采用了网络入侵检测数据集KDD-CUP-99来训练模型．实验结果表明,采用的混合型属性处理方法进行聚类所建立的入侵检测模型,与现有方法相比,检测率高．     

Application of Bayesian Dynamic Forecast in Anomaly Detection

A macroscopical anomaly detection method based on intrusion statistic and Bayesian dynamic forecast is presented. A large number of alert data that cannot be dealt with in time are always aggregated in control centers of large-scale intrusion detection systems. In order to improve the efficiency and veracity of intrusion analysis, the intrusion intensity values are picked from alert data and Bayesian dynamic forecast method is used to detect anomaly. The experiments show that the new method is effective on detecting macroscopical anomaly in largescale intrusion detection systems.     

Unsupervised adversarial learning method for hard disk failure prediction

In order to solve the problem of over-fitting of traditional supervised learning methods in anomaly detection of unbalanced datasets, an unsupervised adversarial learning method is proposed for hard disk failure prediction. This method uses the long short-term memory neural network and fully connected layer to design an Autoencoder that can be used for secondary coding. Only normal samples are used for training. By reducing the reconstruction error and the distance between potential vectors, the model can learn the data distribution of normal samples, thus improving the generalization ability of the model. The model also introduces the generative adversarial network to enhance the effect of unsupervised learning. Experiments on several datasets show that the recall rate and precision of the proposed method are higher than those of traditional supervised learning and semi-supervised learning classifiers, and that its generalization ability is stronger. Therefore, the unsupervised adversarial learning method is effective in hard disk failure prediction.     

采用自适应GHA神经网络的分类器设计

介绍了一种自适应逼近数据实质维的GHA神经网络学习算法。基于主元子空间分解的思想,给出了基于该算法的分类器刻画方法,对其中的刻画参数给出了详细的界定。该分类器采用监督学习机制进行训练,可以自动学习输入的主元特征子空间维数。在入侵检测领域,利用KDD CUP 1999数据集对该方法进行了仿真。采用正常连接数据训练GHA异常检测分类器,利用拒绝服务攻击数据进行了误用检测训练。并将测试结果与其他入侵检测方法进行了比较。     

An entropy-based unsupervised anomaly detection pattern learning algorithm

Currently, most anomaly detection pattern learning algorithms require a set of purely normal data from which they train their model. If the data contain some intrusions buried within the training data, the algorithm may not detect these attacks because it will assume that they are normal. In reality, it is very hard to guarantee that there are no attack items in the collected training data. Focusing on this problem, in this paper,firstly a new anomaly detection measurement is proposed according to the probability characteristics of intrusion instances and normal instances. Secondly, on the basis of anomaly detection measure, we present a clusteringbased unsupervised anomaly detection patterns learning algorithm, which can overcome the shortage above. Finally, some exoeriments are conducted to verify the orooosed algorithm is valid.     

基于数据挖掘的自适应入侵检测系统

基于数据挖掘技术的入侵检测技术是近年来研究的热点，然而，当前采用数据挖掘技术的入侵检测系统存在的一个主要弊端是当被保护的系统发生了一些变化或进行了一定程度的调整后，误报率会明显提高．本文提出了一种自适应入侵检测系统框架，该框架能够自适应的维护正常规则集，并且在不牺牲检测性能的情况下解决规则的重新计算问题，从而使正常行为轮廓中的规则可以不断更新，加入新规则，删除旧规则，并修改已有的规则的支持度和置信度，从而有效地解决了基于数据挖掘技术入侵检测系统规则集的及时更新问题。     

基于Android防火墙日志系统的研究与实现

针对Android防火墙中的日志系统以及基于日志的入侵检测技术进行了深入研究,提出了误用检测和异常检测相结合的方法对手机防火墙日志进行入侵检测,同时将数据挖掘相关领域的理论和技术应用于入侵检测技术中,通过自主学习和分析各种隐私日志,建立和更新正常特征库和误用特征库,从而实现用户隐私保护,并能对一些木马进行查杀与修复。实验结果证明,该方法对入侵行为具有较高的检测率和较低的误报率,具有较大的实际应用意义。     

非负矩阵分解在入侵检测中的应用

针对当前入侵检测系统存在的检测效果差,对训练数据集要求高的问题,提出了一种使用非负矩阵分解算法的异常入侵检测模型.在预处理阶段综合考虑系统调用数据的时序和频率特征,将进程的入侵检测问题转换为向量空间的异常点检测问题,利用非负矩阵分解在提取特征和数据降维方面的优点,将高维空间降维映射到低维空间,最终在低维向量空间实现入侵检测.实验证实本方法检测效果良好.     

入侵异常检测研究综述

入侵检测是网络安全中极其重要的一环,异常检测是近年来入侵检测研究领域的热点。从分析入侵检测和网络安全模型间的关系开始,介绍入侵检测的概念和入侵检测系统的抽象模型,重点讨论基于网络数据、基于系统调用和基于系统调用参数的异常检测技术方法,对3种技术的重要研究方法进行了分析。指出入侵检测目前应尽量降低入侵检测系统对目标系统的性能影响和重点解决入侵异常检测系统的性能开销问题。随着网络环境的不断变化和入侵攻击手段的不断推陈出新,入侵异常检测未来的研究趋势之一是在入侵异常检测系统中增加可视化情景再现过程。