一种高效异常检测方法

借鉴万有引力思想提出了一种差异性度量方法和度量类偏离程度的方法,以此为基础提出了一种基于聚类的异常检测方法。该异常检测方法关于数据集大小和属性个数具有近似线性时间复杂度,适合于大规模数据集。理论分析以及在真实数据集上的实验结果表明,该方法是有效的,稳健并且实用。     

一种无监督异常入侵检测的簇异常度量方法

文中主要研究用Pearson相关系数计算记录与簇、簇与簇间符号属性距离的方法;在这个方法中,提出了一种新的簇异常度量—近似平均距离AAD,AAD综合了一个簇的局部异常度,即簇的内部点密度,和该簇在整个簇结构中的全局异常度,即该簇与其它簇的距离;提出了依据AAD对聚类后的簇分类,并以已分类簇结构作为检测模型进行无监督异常检测的方法,通过异常检测能及时地对每个记录分类,从而能及时发现入侵行为,减小由入侵造成的损失;最后用KDD 99评估数据集所作的实验表明,用AAD作为簇的分类度量的方法比其它相关研究具有更高的检测率和更低的误警率。     

一种基于动态聚类的异常入侵检测方法

运用数据挖掘方法进行入侵检测已经成为网络安全领域的一个重要研究方向。提出一种动态聚类的数据挖掘方法进行异常入侵检测,该方法将不同用户行为的特征动态聚集,根据各个子的类支持度与预设的检测阈值比较来区分正常与异常。由于动态聚类算法在每次聚类过程中都检验归类的合理性,因此获得很好的聚类效果。实时检测试验得到了较高的检测率和较低的误报率。     

一种基于聚类的异常检测方法

利用数据挖掘技术对网络中的海量数据进行分析从而发现入侵行为已成为目前异常检测研究的重点.为了进一步提高入侵行为检测的质量,提出了一种改进的异常检测算法.该方法首先将训练数据集转换为标准的单位特征度量空间,然后利用改进算法对数据进行划分,以找到聚类中心.最后对改进算法进行了性能分析与比较,实验结果表明:算法具有良好的稳定...     

一种基于自我聚类的异常检测学习方法

提出一种新的基于正选择的异常检测方法,该方法通过聚类学习正常空间特征,在每个类中选择有代表性的自我样本构造检测器集,之后利用正选择算法进行异常检测。这种方法既能适用于自我样本集较多的情形,克服了T. Stibor提出的正选择的局限,又具备了一定的学习能力。同时,该方法还避免了负选择中随机选择样本带来的弊端。通过实验分析,该方法比VDetector具备更好的检测性能,是一种有效的异常检测方法。     

一种用于异常检测的自动日志分析方法

针对现代大型系统中系统日志的异常检测问题,提出了一种基于自动日志分析的异常检测方法(CSCM).该方法通过在预聚类下结合细化分析与多视角的异常提取过程,来实现系统日志的异常检测.首先,引入信息熵以提取日志信息量;其次,基于Canopy预聚类过程提取子集交叠数据,以缩小计算范围;利用谱聚类进行细化分析,并结合预聚类结果以...     

一种基于聚类和主成分分析的异常检测方法

提出了一种基于聚类和主成分分析的异常检测方法,该方法利用聚类分析将训练数据划分为不同的子集,从而得到正常模式在特征空间中的分布,然后利用主成分分析来提取各行为子集的特征轮廓,最后利用各子集的PCA变换矩阵进行检测。实验结果证明了基于主成分分析的异常检测方法的有效性。     

入侵检测系统中两种异常检测方法分析

随着互联网的广泛应用,网络信息量迅速增长,网络安全问题日趋突出。入侵检测作为网络安全的重要组成部分,已成为目前研究的热点,特别是针对异常入侵检测方法的研究。本文着重分析了基于神经网络的和层次聚类的异常检测方法,并从理论和实验层次对两种检测技术进行分析比较,客观分析了两种算法的优缺点。     

一种基于聚类的异常流量检测算法

通过分析常见异常流量的内在特征,在Chameleon算法的基础上,设计了一种基于聚类的异常流量检测算法。通过对DARPA1998数据集的实验结果表明,该算法能够在没有先验知识的前提下,对影响正常网络性能的异常流量有较高的检测准确率。     

一种基于DBMS的无监督异常检测算法及其应用

传统的基于身份认证和存取控制的数据库安全机制存在一定的局限性,如无法防止SQL注入、合法用户权限滥用等非法行为,而现存的入侵检测研究多集中在网络和操作系统,由此提出一个基于DBMS的无监督异常检测算法。首先定义了数据库查询的表示方法及其相似度计算方法,其次给出了包括查询聚类、标记和检测三阶段的异常检测算法,最后给出了算法在合成数据中的聚类结果及其在真实数据中检测SQL注入的应用,并讨论了利用数据库索引的扩展算法。     

基于相似孤立系数的孤立点检测算法

基于聚类的孤立点检测算法得到的结果比较粗糙,不够准确。针对该问题,提出一种基于相似孤立系数的孤立点检测算法。定义相似距离以及相似孤立点系数,给出基于相似距离的剪枝策略,根据该策略缩小可疑孤立点候选集,并降低孤立点检测算法的计算复杂度。通过选用公共数据集Iris、Labor和Segment—test进行实验验证,结果表明,该算法在发现孤立点、缩小候选集等方面相比经典孤立点检测算法更有效。     

局部离群点挖掘算法研究

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.现有的基于局部离群度的离群点挖掘算法存在检测精度依赖于用户给定的参数、计算复杂度高等局限.文中提出将对象属性分为固有属性和环境属性,用环境属性确定对象邻域、固有属性计算离群度的方法克服上述局限;并以空间数据为例,将空间属性与非空间属性分开,用空间属性确定空间邻域,用非空间属性计算空间离群度,设计了空间离群点挖掘算法.实验结果表明,所提算法具有对用户依赖性少、检测精度高、可伸缩性强和运算效率高的优点.     

A Novel Approach to Noise Clustering for Outlier Detection

Noise clustering, as a robust clustering method, performs partitioning of data sets reducing errors caused by outliers. Noise clustering defines outliers in terms of a certain distance, which is called noise distance. The probability or membership degree of data points belonging to the noise cluster increases with their distance to regular clusters. The main purpose of noise clustering is to reduce the influence of outliers on the regular clusters. The emphasis is not put on exactly identifying outliers. However, in many applications outliers contain important information and their correct identification is crucial. In this paper we present a method to estimate the noise distance in noise clustering based on the preservation of the hypervolume of the feature space. Our examples will demonstrate the efficiency of this approach.     

一种基于孤立点检测的入侵检测方法

孤立点检测在入侵检测中有着重要的意义，故将基于RNN的孤立点检测方法应用于网络入侵检测当中。先将数据集用于神经网络的训练，然后使用训练后的RNN对网络数据进行孤立度测量，根据度量结果判定是否为入侵行为。实验表明，该算法取得了很好的效果。     

空间离群点的检测算法

空间离群点是指与其邻居具有明显区别的属性值的空间对象。已有的空间离散点检测算法一个主要的缺陷就是这些方法导致一些真正的离群点被忽略而把一些非离群点当成了空间离群点。提出了一种迭代算法,该算法通过多次迭代检测离群点,取得较好效果。实验表明该算法具有较好的实用性。     

一种电力感知数据的离群点检测方案

鉴于离群点引发的数据质量问题给电力应用造成的不良影响,对电力感知数据的特征进行了分析,并基于电力感知数据的时间特征和异常检测技术的易用性需求,提出一种电力感知数据的离群点检测方案。该方案由异常检测服务框架和离群点检测方法构成。异常检测服务框架借鉴Web服务的思想,基于大数据技术,能够支持电力感知数据的存储和计算,并且以服务的形式提供电力感知数据的异常检测能力。离群点检测方法是基于聚类算法和考虑时间属性的数据分段方法来检测电力感知数据中的离群点异常。通过实验验证了该方法的可行性和有效性,结果表明该方法能够有效识别具有时间相关性和连续性的电力感知数据中存在的离群点,且在数据规模增大时,具有良好的并行性和可扩展性。     

基于无指导离群点检测的网络入侵检测技术

讨论了基于无指导离群点检测的网络入侵检测技术及实现框架.技术方法首先在网络数据包上通过改进的随机森林算法建立了网络服务模型,然后通过确定网络服务模型上的离群点实现网络入侵检测.还通过在KDD'99数据集上对所提出的技术实现入侵检测的实验及结果进行了讨论并与其他无指导异常检测方法进行了比较.     

A Survey of Outlier Detection Methodologies

Outlier detection has been used for centuries to detect and, where appropriate, remove anomalous observations from data. Outliers arise due to mechanical faults, changes in system behaviour, fraudulent behaviour, human error, instrument error or simply through natural deviations in populations. Their detection can identify system faults and fraud before they escalate with potentially catastrophic consequences. It can identify errors and remove their contaminating effect on the data set and as such to purify the data for processing. The original outlier detection methods were arbitrary but now, principled and systematic techniques are used, drawn from the full gamut of Computer Science and Statistics. In this paper, we introduce a survey of contemporary techniques for outlier detection. We identify their respective motivations and distinguish their advantages and disadvantages in a comparative review.     

一种基于磁盘的大数据集快速异常检测算法

异常点检测是数据挖掘的一个重要研究方向，基于Cell的异常点检测算法生成的Cell（单元）数与维数成指数增长．当生成的单元数增多及数据量增大时，基于Cell的算法不能有效工作．分析发现这些单元中存在很多无用的空单元．本文采用CD-Tree结构对非空单元进行索引，并采用聚簇技术，将每个单元中的数据点存放在同一个磁盘页链中．实验表明，采用CD-Tree以及聚簇技术设计的异常点检测磁盘算法的效率，以及所能处理的数据集维数较原基于Cell的磁盘算法都有显著的提高．     

基于Delaunay三角网的空间离群挖掘

空间离群是指非空间属性与其空间邻居显著不同的空间对象。空间数据的特殊性决定了空间离群挖掘需要充分考虑空间数据的特点,才能挖掘出有现实意义的离群。本文对现有主要的空间数据离群挖掘算法进行了研究分析,针对k-邻域法确定空间邻域的缺点,基于Delaunay三角网在表达空间邻近关系的有效性,通过构建Delaunay三角网确定空间邻域并生成空间权重矩阵,据此提出了基于Delaunay三角网的空间离群挖掘算法DT_SOF,并以实际生态地球化学数据进行实验检验。结果表明,算法具有较低的用户依赖性,能准确挖掘空间离群。