基于无指导离群点检测的网络入侵检测技术

讨论了基于无指导离群点检测的网络入侵检测技术及实现框架.技术方法首先在网络数据包上通过改进的随机森林算法建立了网络服务模型,然后通过确定网络服务模型上的离群点实现网络入侵检测.还通过在KDD'99数据集上对所提出的技术实现入侵检测的实验及结果进行了讨论并与其他无指导异常检测方法进行了比较.     

基于密度的离群点挖掘在入侵检测中的应用

给出一种基于密度的局部离群点挖掘方法。采用KDD99数据集进行实验,对数据集中的41个属性提取特征,利用基于密度的聚类对统计处理过的数据集实行剪枝操作,剪除数据集中大部分密集的数据对象,保留未被剪除的候选离群对象集。采用局部离群挖掘方法计算离群候选对象的离群因子,检测出异常攻击。实验结果表明,该方法能保证较高的检测率和较低的误报率。     

基于孤立点检测的入侵检测方法研究

本文提出了一种基于孤立点检测的核聚类入侵检测方法。方法的基本思想是首先将输入空间中的样本映射到高维特征空间中,并通过重新定义特征空间中数据点到聚类之间的距离来生成聚类,并根据正常类比例Ｎ来确定异常数据类别,然后再用于真实数据的检测。该方法具有更快的收敛速度以及更为准确的聚类,并且不需要用人工的或其他的方法来对训练集进行分类。实验采用了KDD99的测试数据,结果表明,该方法能够比较有效的检测入侵行为。     

一种基于孤立点检测的入侵检测方法

孤立点检测在入侵检测中有着重要的意义，故将基于RNN的孤立点检测方法应用于网络入侵检测当中。先将数据集用于神经网络的训练，然后使用训练后的RNN对网络数据进行孤立度测量，根据度量结果判定是否为入侵行为。实验表明，该算法取得了很好的效果。     

Bagged Subspaces for Unsupervised Outlier Detection

In many domains, important events are not represented as the common scenario, but as deviations from the rule. The importance and impact associated with these particular, outnumbered, deviant, and sometimes even previously unseen events is directly related to the application domain (e.g., breast cancer detection, satellite image classification, etc.). The detection of these rare events or outliers has recently been gaining popularity as evidenced by the wide variety of algorithms currently available. These algorithms are based on different assumptions about what constitutes an outlier, a characteristic pointing toward their integration in an ensemble to improve their individual detection rate. However, there are two factors that limit the use of current ensemble outlier detection approaches: first, in most cases, outliers are not detectable in full dimensionality, but instead are located in specific subspaces of data; and second, despite the expected improvement on detection rate achieved using an ensemble of detectors, the computational efficiency of the ensemble will increase linearly as the number of components increases. In this article, we propose an ensemble approach that identifies outliers based on different subsets of features and subsamples of data, providing more robust results while improving the computational efficiency of similar ensemble outlier detection approaches.     

局部离群点挖掘算法研究

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.现有的基于局部离群度的离群点挖掘算法存在检测精度依赖于用户给定的参数、计算复杂度高等局限.文中提出将对象属性分为固有属性和环境属性,用环境属性确定对象邻域、固有属性计算离群度的方法克服上述局限;并以空间数据为例,将空间属性与非空间属性分开,用空间属性确定空间邻域,用非空间属性计算空间离群度,设计了空间离群点挖掘算法.实验结果表明,所提算法具有对用户依赖性少、检测精度高、可伸缩性强和运算效率高的优点.     

Anomaly Detection in ICS Datasets with Machine Learning Algorithms

An Intrusion Detection System (IDS) provides a front-line defense mechanism for the Industrial Control System (ICS) dedicated to keeping the process operations running continuously for 24 hours in a day and 7 days in a week. A well-known ICS is the Supervisory Control and Data Acquisition (SCADA) system. It supervises the physical process from sensor data and performs remote monitoring control and diagnostic functions in critical infrastructures. The ICS cyber threats are growing at an alarming rate on industrial automation applications. Detection techniques with machine learning algorithms on public datasets, suitable for intrusion detection of cyber-attacks in SCADA systems, as the first line of defense, have been detailed. The machine learning algorithms have been performed with labeled output for prediction classification. The activity traffic between ICS components is analyzed and packet inspection of the dataset is performed for the ICS network. The features of flow-based network traffic are extracted for behavior analysis with port-wise profiling based on the data baseline, and anomaly detection classification and prediction using machine learning algorithms are performed.     

Outlier Detection and Data Cleaning in Multivariate Non-Normal Samples: The PAELLA Algorithm

A new method of outlier detection and data cleaning for both normal and non-normal multivariate data sets is proposed. It is based on an iterated local fit without a priori metric assumptions. We propose a new approach supported by finite mixture clustering which provides good results with large data sets. A multi-step structure, consisting of three phases, is developed. The importance of outlier detection in industrial modeling for open-loop control prediction is also described. The described algorithm gives good results both in simulations runs with artificial data sets and with experimental data sets recorded in a rubber factory. Finally, some discussion about this methodology is exposed.     

数据流中孤立点识别方法

针对基于聚类分析及基于孤立点检测的入侵检测方法的局限,根据数据流的特点,提出了一种数据流中孤立点动态识别方法。该方法使用动态微粒群算法对特征空间中当前主要聚类的特征点进行追踪,通过计算数据流中数据对象与特征点的距离来判断数据对象的性质。将该方法应用于入侵检测而进行的实验证明了方法的有效性。     

基于KNN离群点检测和随机森林的多层入侵检测方法

入侵检测系统能够有效地检测网络中异常的攻击行为,对网络安全至关重要.目前,许多入侵检测方法对攻击行为Probe(probing),U2R(user to root),R2L(remote to local)的检测率比较低.基于这一问题,提出一种新的混合多层次入侵检测模型,检测正常和异常的网络行为.该模型首先应用KNN(K nearest neighbors)离群点检测算法来检测并删除离群数据,从而得到一个小规模和高质量的训练数据集;接下来,结合网络流量的相似性,提出一种类别检测划分方法,该方法避免了异常行为在检测过程中的相互干扰,尤其是对小流量攻击行为的检测;结合这种划分方法,构建多层次的随机森林模型来检测网络异常行为,提高了网络攻击行为的检测效果.流行的数据集KDD(knowledge discovery and data mining) Cup 1999被用来评估所提出的模型.通过与其他算法进行对比,该方法的准确率和检测率要明显优于其他算法,并且能有效地检测Probe,U2R,R2L这3种攻击类型.     

基于Web日志文件的孤立点检测算法

Web挖掘是数据挖掘的重要研究分支之一。Web日志文件为Web挖掘提供了数据源,日志信息的孤立点检测是数据预处理的重要环节。介绍Web日志文件的构成,提出一种基于Web日志文件的孤立点检测算法,通过实验对算法进行进一步分析,并对其应用领域做简单概括。     

A Survey of Outlier Detection Methodologies

Outlier detection has been used for centuries to detect and, where appropriate, remove anomalous observations from data. Outliers arise due to mechanical faults, changes in system behaviour, fraudulent behaviour, human error, instrument error or simply through natural deviations in populations. Their detection can identify system faults and fraud before they escalate with potentially catastrophic consequences. It can identify errors and remove their contaminating effect on the data set and as such to purify the data for processing. The original outlier detection methods were arbitrary but now, principled and systematic techniques are used, drawn from the full gamut of Computer Science and Statistics. In this paper, we introduce a survey of contemporary techniques for outlier detection. We identify their respective motivations and distinguish their advantages and disadvantages in a comparative review.     

基于标签传递的异常检测算法研究

异常检测旨在检测出观测数据中的非正常值,被广泛应用于反信用卡欺诈、网络入侵检测、医疗分析以及气象预报等领域。在异常检测中,正常数据通常具有异常数据所不具备的某种内蕴结构。因此,如何有效地利用正常数据与异常数据在数据结构上的差异性将有助于提高异常检测性能。为此,本文提出了一种新颖的基于标签传递的异常检测算法。该算法通过图模型刻画正常数据所具有的内蕴结构,并通过多重标签传递来构建未标记正例样本与待测试样本的标签置信度的差异。最后,基于正例样本的标签置信度的统计特性分析,实现对测试样本的异常性判决。在人工合成及真实数据集上的实验验证了本文算法的有效性。     

FART在非监督式网络异常检测中的应用

目前的入侵检测系统主要采用的是基于特征的误用方法。另外,近几年出现的基于数据挖掘技术的入侵检测方法则需要依靠带标识的训练数据来保证检测效果,然而在现实环境中,训练数据往往是难以获得的。与之相比,非监督式的异常检测系统则具有独特的优势,它无需大量的带标识的、用于标明各种攻击的训练数据,而只需要寻找和定义正常的分类,因此,它具有在不具备任何先验知识的情况下发现新型攻击的能力。文章提出了一种采用模糊自适应谐振网(fuzzyART)发现网络入侵的新方法,并在最后采用KDDCUP99的测试数据集对该方法进行了评估,证实了该方法在网络异常检测中的有效性。     

基于混合方法的多维时间序列驾驶异常点检测

针对传统异常点检测模型难以准确分析汽车驾驶异常行为的情况,建立一种基于自动编码器与孤立森林算法的多维时间序列汽车驾驶异常点检测模型。利用滑动窗口计算原始多维时间序列范数、范数变化率及相关统计信息值提取数据特征,通过自动编码器重构特征数据,并结合孤立森林算法实现异常点检测。实验结果表明,与基于LOF、OCSVM、iForest和LSTM-AE的异常点检测模型相比,该模型的召回率和F1度量值可分别提升至6%和2.4%以上,综合性能更优。     

基于非监督学习的入侵分析新方法

提出一种新的基于非监督学习的入侵分析方法.该方法具有发现未知攻击类型的能力,既可以作为独立的分析方法使用,又可以作为基于数据融合的入侵检测的一个分析引擎.在该方法中,核心非监督学习算法采用最大最小距离算法,同时融合非线性的归一化预处理和非数值型特征的有效编码等技术.与同类方法相比,该方法检测率较高,尤其是对于DoS和Probing两大类攻击效果更好.     

基于层次化深度学习的医疗数据库离群数据检测算法

对医疗数据库中存在的离散数据进行检测时,由于缺少数据过滤等过程而导致检测执行时间较长、检测效率低、离散点检测率低等问题,为此提出基于层次化深度学习的医疗数据库离散数据检测算法.首先,采用动态网格划分法划分空间中的稀疏区域和稠密区域,降低数据检测的规模,缩短检测执行时间;然后,通过层次化深度学习过程融合专家知识和数据的属性取值分布信息,实现医疗数据库中离散数据的检测.实验结果表明,该算法可以在较短的时间内准确完成医疗数据库中离散数据的检测,且相较于传统算法来说更具有应用优势.     

基于改进布谷鸟搜索的k-means算法的离群点检测

为了解决k-means算法的离群点检测容易受到初始聚类中心的影响陷入局部最优的问题,本文提出一种基于改进布谷鸟搜索的k-means算法的离群点检测方法.首先,对原始布谷鸟搜索算法中的发现概率和莱维飞行步长做自适应策略改进并进行实验仿真;其次讨论改进后的布谷鸟搜索算法的收敛性问题;最后将改进后的布谷鸟搜索算法与k-mea...     

一种异常挖掘技术在入侵检测中的应用

近年来,数据挖掘技术在异常入侵检测研究中得到了探索性的应用。异常挖掘技术可以检测出数据集中与众不同的数据,因此将异常挖掘技术应用于异常入侵检测可以识别那些表现出特殊性的入侵活动。该文从KDDCUP1999数据集中提取两种特征的数据集,采用第k最近邻异常挖掘进行异常入侵检测,用实验结果证明基于第k最近邻异常挖掘技术的异常入侵检测用于各类数据集都具有良好的性能.     

一种无监督网络入侵检测算法

多数入侵检测方法对训练数据集存在依赖,带标识的训练数据集在现实环境中难以被获取,无法保证所得标签数据能覆盖所有可能出现的攻击。该文提出基于无人监督聚类和混沌模拟退火算法的网络入侵检测方法,混沌模拟退火算法实现对聚类结果的优化,求得聚类的全局最优解,提高了数据分类的准确性和检测效率。在KDD CUP 1999上的仿真实验结果表明,该算法可实现预期效果。