基于无指导离群点检测的网络入侵检测技术

讨论了基于无指导离群点检测的网络入侵检测技术及实现框架.技术方法首先在网络数据包上通过改进的随机森林算法建立了网络服务模型,然后通过确定网络服务模型上的离群点实现网络入侵检测.还通过在KDD'99数据集上对所提出的技术实现入侵检测的实验及结果进行了讨论并与其他无指导异常检测方法进行了比较.     

一种基于孤立点检测的入侵检测方法

孤立点检测在入侵检测中有着重要的意义，故将基于RNN的孤立点检测方法应用于网络入侵检测当中。先将数据集用于神经网络的训练，然后使用训练后的RNN对网络数据进行孤立度测量，根据度量结果判定是否为入侵行为。实验表明，该算法取得了很好的效果。     

局部离群点挖掘算法研究

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.现有的基于局部离群度的离群点挖掘算法存在检测精度依赖于用户给定的参数、计算复杂度高等局限.文中提出将对象属性分为固有属性和环境属性,用环境属性确定对象邻域、固有属性计算离群度的方法克服上述局限;并以空间数据为例,将空间属性与非空间属性分开,用空间属性确定空间邻域,用非空间属性计算空间离群度,设计了空间离群点挖掘算法.实验结果表明,所提算法具有对用户依赖性少、检测精度高、可伸缩性强和运算效率高的优点.     

Outlier Detection and Data Cleaning in Multivariate Non-Normal Samples: The PAELLA Algorithm

A new method of outlier detection and data cleaning for both normal and non-normal multivariate data sets is proposed. It is based on an iterated local fit without a priori metric assumptions. We propose a new approach supported by finite mixture clustering which provides good results with large data sets. A multi-step structure, consisting of three phases, is developed. The importance of outlier detection in industrial modeling for open-loop control prediction is also described. The described algorithm gives good results both in simulations runs with artificial data sets and with experimental data sets recorded in a rubber factory. Finally, some discussion about this methodology is exposed.     

基于Web日志文件的孤立点检测算法

Web挖掘是数据挖掘的重要研究分支之一。Web日志文件为Web挖掘提供了数据源,日志信息的孤立点检测是数据预处理的重要环节。介绍Web日志文件的构成,提出一种基于Web日志文件的孤立点检测算法,通过实验对算法进行进一步分析,并对其应用领域做简单概括。     

A Survey of Outlier Detection Methodologies

Outlier detection has been used for centuries to detect and, where appropriate, remove anomalous observations from data. Outliers arise due to mechanical faults, changes in system behaviour, fraudulent behaviour, human error, instrument error or simply through natural deviations in populations. Their detection can identify system faults and fraud before they escalate with potentially catastrophic consequences. It can identify errors and remove their contaminating effect on the data set and as such to purify the data for processing. The original outlier detection methods were arbitrary but now, principled and systematic techniques are used, drawn from the full gamut of Computer Science and Statistics. In this paper, we introduce a survey of contemporary techniques for outlier detection. We identify their respective motivations and distinguish their advantages and disadvantages in a comparative review.     

FART在非监督式网络异常检测中的应用

目前的入侵检测系统主要采用的是基于特征的误用方法。另外,近几年出现的基于数据挖掘技术的入侵检测方法则需要依靠带标识的训练数据来保证检测效果,然而在现实环境中,训练数据往往是难以获得的。与之相比,非监督式的异常检测系统则具有独特的优势,它无需大量的带标识的、用于标明各种攻击的训练数据,而只需要寻找和定义正常的分类,因此,它具有在不具备任何先验知识的情况下发现新型攻击的能力。文章提出了一种采用模糊自适应谐振网(fuzzyART)发现网络入侵的新方法,并在最后采用KDDCUP99的测试数据集对该方法进行了评估,证实了该方法在网络异常检测中的有效性。     

基于混合方法的多维时间序列驾驶异常点检测

针对传统异常点检测模型难以准确分析汽车驾驶异常行为的情况,建立一种基于自动编码器与孤立森林算法的多维时间序列汽车驾驶异常点检测模型。利用滑动窗口计算原始多维时间序列范数、范数变化率及相关统计信息值提取数据特征,通过自动编码器重构特征数据,并结合孤立森林算法实现异常点检测。实验结果表明,与基于LOF、OCSVM、iForest和LSTM-AE的异常点检测模型相比,该模型的召回率和F1度量值可分别提升至6%和2.4%以上,综合性能更优。     

一种异常挖掘技术在入侵检测中的应用

近年来,数据挖掘技术在异常入侵检测研究中得到了探索性的应用。异常挖掘技术可以检测出数据集中与众不同的数据,因此将异常挖掘技术应用于异常入侵检测可以识别那些表现出特殊性的入侵活动。该文从KDDCUP1999数据集中提取两种特征的数据集,采用第k最近邻异常挖掘进行异常入侵检测,用实验结果证明基于第k最近邻异常挖掘技术的异常入侵检测用于各类数据集都具有良好的性能.     

GridOF:面向大规模数据集的高效离群点检测算法

作为数据库知识发现研究的重要技术手段,现有离群点检测算法在运用于大型数据集时其时间与空间效率均无法令人满意．通过对数据集中离群点分布特征的分析,在数据空间网格划分的基础上,研究数据超方格层次上的密度近似计算与稠密数据主体滤除策略．给出通过简单的修正近似计算取代繁复的点对点密度函数值计算的方法．基于上述思想构造的离群点检测算法GlidOF在保持足够检测精度的同时显著降低了时空复杂度,运用于大规模数据集离群点检测具有良好的适用性和有效性．     

入侵检测中的免疫算法研究

免疫算法是一种新兴的智能计算技术,已成为网络、智能控制、计算等领域研究的重点和热点之一。开展免疫算法的理论研究,对于发展新的入侵检测技术,建立新一代的入侵检测系统着重要的意义。该文讨论了几种典型免疫算法的原理,包括基于T细胞否定选择原理的否定选择算法,基于生物免疫系统克隆选择理论的克隆选择算法,遗传算法与免疫理论结合的免疫遗传算法,并讨论分析了不同免疫算法使用在入侵检测技术中的优劣。     

基于模糊数据挖掘和遗传算法的网络入侵检测技术

文章通过开发一套新的网络入侵检测系统来证实应用模糊逻辑和遗传算法的数据挖掘技术的有效性;这个系统联合了基于模糊数据挖掘技术的异常检测和基于专家系统的滥用检测,在开发异常检测的部分时,利用模糊数据挖掘技术来从正常的行为存储模式中寻找差异,遗传算法用来调整模糊隶属函数和选择一个合适的特征集合,滥用检测部分用于寻找先前行为描述模式,这种模式很可能预示着入侵,网络的通信量和系统的审计数据被用做两个元件的输入;此系统的系统结构既支持异常检测又支持滥用检测、既适用于个人工作站又可以适用于复杂网络。     

基于高斯混合模型的海面运动目标检测

提出了一种基于变化检测的高斯混合模型参数估计方法,建立了象素点背景模型并用于海面运动目标的检测。在实验部分,将该方法估计的高斯混合背景模型的参数与基于迭代的EM算法估计的模型参数做比较,模拟实验的结果表明两者估计的参数值相差不大,而在对视频流中的象素点灰度值分布的逼近中,该文的方法比EM算法更接近真实的分布,并且在一定程度上减少了建立背景模型的所需的内存和计算时间。运动目标检测的结果表明,使用该方法建立的背景模型可以比较准确地检测到海面上的运动船只。     

聚类算法在入侵检测中的应用

入侵检测中对未知入侵的检测主要由异常检测完成,传统的异常检测方法需要构造一个正常行为特征轮廓的参考模型,但获取完全正常的数据比较困难。介绍的聚类技术是应用到入侵异常检测中的一种较为新颖的技术,是一种无需指导的异常检测技术,可以区分哪些是正常记录,哪些是异常记录。分析了将聚类方法应用于入侵检测中的可行性及对数据处理的标准化方法。另外,给出了基于覆盖的聚类算法与两种经典聚类算法的比较。     

基于分层高斯混合模型的半监督学习算法

提出了一种基于分层高斯混合模型的半监督学习算法,半监督学习算法的学习样本包括已标记类别样本和未标记类别学习样本。如用高斯混合模型拟合每个类别已标记学习样本的概率分布,进而用高斯数为类别数的分层高斯混合模型拟合全部(已标记和未标记)学习样本的分布,则形成为一个基于分层的高斯混合模型的半监督学习问题。基于EM算法,首先利用每个类别已标记样本学习高斯混合模型,然后以该模型参数和已标记样本的频率分布作为分层高斯混合模型参数的初值,给出了基于分层高斯混合模型的半监督学习算法,以银行票据印刷体数字识别做实验,实验结果表明,本算法能够获得较好的效果。     

基于机器学习的用户行为异常检测模型

针对LaneT等人提出的用户行为异常检测模型的不足,提出了一种新的IDS异常检测模型。该模型改进了用户行为模式和行为轮廓的表示方式,采用了新的相似度赋值方法,在对相似度流进行平滑时引入了“可变窗长度”的概念,并联合采用多个判决门限对用户行为进行判决。基于Unix用户shell命令数据的实验表明,该文提出的检测模型具有更高的检测性能。     

一种无类标训练数据异常检测模型

提出了一种基于无类标训练数据的异常检测方法（ADUTD），该：于法克服了传统异常检测需要纯净训练数据或有类标训练数据的限制，提高了异常检测的可用性．ADUTD通过过滤掉网络连接记录属性中低频率类型值的方法，过滤掉由训练数据中的攻击记录引入的类型值，并建立正常行为的统计模型．建立模型所使用的属性不仅包括网络连接中数据包的头部字段，也包括应用层的数据．ADUTD另一个特点是按网络连接服务类型划分数据并分别建立统计模型，提高了检测模型的预测能力．用DARPA1999评估数据集所做的实验结果显示，ADUTD能有效检测网络入侵．     

计算机系统入侵检测的隐马尔可夫模型

入侵检测技术作为计算机安全技术的一个重要组成部分,现在受到越来越广泛的关注,首先建立了一个计算机系统运行状况的隐马尔可夫模型（HMM）,然后在此模型的基础上提出了一个用于计算机系统实时异常检测的算法,以及该模型的训练算法。这个算法的优点是准确率高,算法简单,占用的存储空间很小,适合用于在计算机系统上进行实时检测。     

图像线状模式的有限混合模型及其EM算法

针对能够用回归模型刻画的图像特征,提出一个有限混合识别模型.该模型由有限个回归类构成,每个类的模型误差可以是正态的,也可以是满足一定条件的任意分布.文中给出了估计线性回归类参数的EM算法,该算法可推广到高维情形.     

基于有限状态机协议分析模型的入侵检测系统

基于状态协议分析的入侵检测方法利用网络协议提供的状态信息,把网络攻击过程转化为协议状态迁移,能有效地检测DOS/DDOS等较难检测的攻击.本文对协议分析入侵检测的方法和算法进行了研究,并通过对网络协议和入侵攻击的深入分析,提出了一个基于有穷状态机的状态协议迁移模型.在给出检测算法的形式化描述的基础上根据Snort规则语法扩展实现实验系统,并测试验证了其有效性.