一种高效异常检测方法

借鉴万有引力思想提出了一种差异性度量方法和度量类偏离程度的方法,以此为基础提出了一种基于聚类的异常检测方法。该异常检测方法关于数据集大小和属性个数具有近似线性时间复杂度,适合于大规模数据集。理论分析以及在真实数据集上的实验结果表明,该方法是有效的,稳健并且实用。     

一种无监督异常入侵检测的簇异常度量方法

文中主要研究用Pearson相关系数计算记录与簇、簇与簇间符号属性距离的方法;在这个方法中,提出了一种新的簇异常度量—近似平均距离AAD,AAD综合了一个簇的局部异常度,即簇的内部点密度,和该簇在整个簇结构中的全局异常度,即该簇与其它簇的距离;提出了依据AAD对聚类后的簇分类,并以已分类簇结构作为检测模型进行无监督异常检测的方法,通过异常检测能及时地对每个记录分类,从而能及时发现入侵行为,减小由入侵造成的损失;最后用KDD 99评估数据集所作的实验表明,用AAD作为簇的分类度量的方法比其它相关研究具有更高的检测率和更低的误警率。     

一种基于动态聚类的异常入侵检测方法

运用数据挖掘方法进行入侵检测已经成为网络安全领域的一个重要研究方向。提出一种动态聚类的数据挖掘方法进行异常入侵检测,该方法将不同用户行为的特征动态聚集,根据各个子的类支持度与预设的检测阈值比较来区分正常与异常。由于动态聚类算法在每次聚类过程中都检验归类的合理性,因此获得很好的聚类效果。实时检测试验得到了较高的检测率和较低的误报率。     

一种基于聚类的异常检测方法

利用数据挖掘技术对网络中的海量数据进行分析从而发现入侵行为已成为目前异常检测研究的重点.为了进一步提高入侵行为检测的质量,提出了一种改进的异常检测算法.该方法首先将训练数据集转换为标准的单位特征度量空间,然后利用改进算法对数据进行划分,以找到聚类中心.最后对改进算法进行了性能分析与比较,实验结果表明:算法具有良好的稳定...     

一种基于自我聚类的异常检测学习方法

提出一种新的基于正选择的异常检测方法,该方法通过聚类学习正常空间特征,在每个类中选择有代表性的自我样本构造检测器集,之后利用正选择算法进行异常检测。这种方法既能适用于自我样本集较多的情形,克服了T. Stibor提出的正选择的局限,又具备了一定的学习能力。同时,该方法还避免了负选择中随机选择样本带来的弊端。通过实验分析,该方法比VDetector具备更好的检测性能,是一种有效的异常检测方法。     

一种用于异常检测的自动日志分析方法

针对现代大型系统中系统日志的异常检测问题,提出了一种基于自动日志分析的异常检测方法(CSCM).该方法通过在预聚类下结合细化分析与多视角的异常提取过程,来实现系统日志的异常检测.首先,引入信息熵以提取日志信息量;其次,基于Canopy预聚类过程提取子集交叠数据,以缩小计算范围;利用谱聚类进行细化分析,并结合预聚类结果以...     

一种基于聚类和主成分分析的异常检测方法

提出了一种基于聚类和主成分分析的异常检测方法,该方法利用聚类分析将训练数据划分为不同的子集,从而得到正常模式在特征空间中的分布,然后利用主成分分析来提取各行为子集的特征轮廓,最后利用各子集的PCA变换矩阵进行检测。实验结果证明了基于主成分分析的异常检测方法的有效性。     

入侵检测系统中两种异常检测方法分析

随着互联网的广泛应用,网络信息量迅速增长,网络安全问题日趋突出。入侵检测作为网络安全的重要组成部分,已成为目前研究的热点,特别是针对异常入侵检测方法的研究。本文着重分析了基于神经网络的和层次聚类的异常检测方法,并从理论和实验层次对两种检测技术进行分析比较,客观分析了两种算法的优缺点。     

一种基于聚类的异常流量检测算法

通过分析常见异常流量的内在特征,在Chameleon算法的基础上,设计了一种基于聚类的异常流量检测算法。通过对DARPA1998数据集的实验结果表明,该算法能够在没有先验知识的前提下,对影响正常网络性能的异常流量有较高的检测准确率。     

一种基于DBMS的无监督异常检测算法及其应用

传统的基于身份认证和存取控制的数据库安全机制存在一定的局限性,如无法防止SQL注入、合法用户权限滥用等非法行为,而现存的入侵检测研究多集中在网络和操作系统,由此提出一个基于DBMS的无监督异常检测算法。首先定义了数据库查询的表示方法及其相似度计算方法,其次给出了包括查询聚类、标记和检测三阶段的异常检测算法,最后给出了算法在合成数据中的聚类结果及其在真实数据中检测SQL注入的应用,并讨论了利用数据库索引的扩展算法。     

基于马尔科夫随机游走的两阶段离群检测算法

基于邻域的离群点检测算法中,参数的选择与确定是一个重要的问题,不合理的参数选择导致算法的性能显著下降。为减少参数对于离群点检测的影响,提出了一种基于马尔科夫随机游走的两阶段离群检测算法,可以在不影响算法效率的基础上,有效降低参数对检测结果的影响。该算法采用均匀采样策略生成一系列三角剖分图,并引入移除规则得到节点的拓扑结构,从而获得由节点连通性定义的转移概率矩阵,有效减少了算法的计算量和运行时间;其采用加权投票原则重新定义重启向量,并将不同图上得到的平稳分布向量的平均偏差值作为离群点分数,有效地提高了算法的准确性。采用合成数据集以及UCI数据集,验证了该算法与现有的算法相比有更高的准确率。     

基于相似孤立系数的孤立点检测算法

基于聚类的孤立点检测算法得到的结果比较粗糙,不够准确。针对该问题,提出一种基于相似孤立系数的孤立点检测算法。定义相似距离以及相似孤立点系数,给出基于相似距离的剪枝策略,根据该策略缩小可疑孤立点候选集,并降低孤立点检测算法的计算复杂度。通过选用公共数据集Iris、Labor和Segment—test进行实验验证,结果表明,该算法在发现孤立点、缩小候选集等方面相比经典孤立点检测算法更有效。     

基于中心移动的轨迹离群点检测

AIS数据是指通过AIS系统获取的船舶运动轨迹信息, 对其进行挖掘可以获得船舶的运动模式、航行路线、停靠地点等信息. 但其在采集过程中产生的离群点会对聚类等任务造成负面影响, 因此对AIS数据挖掘之前需要进行离群点检测. 然而, 当AIS轨迹数据中存在大量离群点时, 会导致大多数离群点检测算法的准确率显著下降. 为了解决这个问题, 本文提出了一种基于中心移动的轨迹离群点检测算法(center shift outlier detection, CSOD). 通过迫使数据点向其K近邻集合的中心移动, 使每个数据点更加接近典型数据, 从而有效地消除了离群点对聚类的影响. 为了验证本文算法的有效性, 使用浙江海域AIS渔船轨迹数据集, 将本文提出的CSOD算法与一些经典的离群点检测算法进行了对比实验. 实验结果表明, CSOD算法整体上性能更加优越.     

数据流中孤立点识别方法

针对基于聚类分析及基于孤立点检测的入侵检测方法的局限,根据数据流的特点,提出了一种数据流中孤立点动态识别方法。该方法使用动态微粒群算法对特征空间中当前主要聚类的特征点进行追踪,通过计算数据流中数据对象与特征点的距离来判断数据对象的性质。将该方法应用于入侵检测而进行的实验证明了方法的有效性。     

局部离群点挖掘算法研究

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.现有的基于局部离群度的离群点挖掘算法存在检测精度依赖于用户给定的参数、计算复杂度高等局限.文中提出将对象属性分为固有属性和环境属性,用环境属性确定对象邻域、固有属性计算离群度的方法克服上述局限;并以空间数据为例,将空间属性与非空间属性分开,用空间属性确定空间邻域,用非空间属性计算空间离群度,设计了空间离群点挖掘算法.实验结果表明,所提算法具有对用户依赖性少、检测精度高、可伸缩性强和运算效率高的优点.     

A Novel Approach to Noise Clustering for Outlier Detection

Noise clustering, as a robust clustering method, performs partitioning of data sets reducing errors caused by outliers. Noise clustering defines outliers in terms of a certain distance, which is called noise distance. The probability or membership degree of data points belonging to the noise cluster increases with their distance to regular clusters. The main purpose of noise clustering is to reduce the influence of outliers on the regular clusters. The emphasis is not put on exactly identifying outliers. However, in many applications outliers contain important information and their correct identification is crucial. In this paper we present a method to estimate the noise distance in noise clustering based on the preservation of the hypervolume of the feature space. Our examples will demonstrate the efficiency of this approach.     

基于聚类和核密度估计假设检验的异常值检测方法

异常值检测是数据挖掘领域中的核心问题,在工业生产中也有着广泛的应用。准确高效的异常值检测方法能够及时反映出工业系统运行状态,为相关人员提供参考,而传统的异常值检测方法无法很好地检测出变化模式复杂、变化范围小、具有流数据特性的数据中的异常值。因此,本文提出了一种新的针对该类型数据的异常值检测方法：首先通过对数据进行聚类划分,将相似的数据进行归类,从而将原本复杂的数据分布拆解成为每个聚类下简单数据分布的叠加;然后使用核密度估计假设检验的方法对待检测数据进行异常值检测。在标准数据集和真实数据上的实验结果表明,该方法相比于传统的异常值检测方法在检测精度上有一定的提升。     

基于局部估计密度的局部离群点检测算法

局部离群点检测是近年来数据挖掘领域的热点问题之一.针对交通数据去噪问题,提出一种基于局部估计密度的局部离群点检测算法,算法使用核密度估计方法计算每个数据对象的密度估计值,来表示该数据对象的局部估计密度,并在核函数的带宽函数计算中引入数据对象的k-邻域平均距离作为其邻域信息,然后利用求出的局部估计密度计算数据对象的局部离群因子,依据局部离群因子的大小来判断数据对象是否为离群点.实验表明,该算法在UCI标准数据集与模拟数据集上都可以取得较好的表现.