异常挖掘方法研究

该文首先简单介绍了与异常挖掘有关的几个问题,然后详细介绍了异常挖掘的各种方法,最后对各种方法的优缺点进行了比较。     

异常点挖掘研究进展

异常点是数据集中与其他数据显著不同的数据.一个人的噪声对另一个人而言可能是有用的数据,因此,随着人们对数据质量、欺诈检测、网络入侵、故障诊断、自动军事侦察等问题的关注, 异常点挖掘在信息科学研究领域日益受到重视.在充分调研国内外异常点挖掘研究文献基础上,系统地综述了数据库研究领域中异常点挖掘的研究现状,对已有各种异常点挖掘方法进行了总结和比较,并结合当前研究热点,展望了异常点挖掘未来的研究方向及其面临的挑战.     

一种异常挖掘技术在入侵检测中的应用

近年来,数据挖掘技术在异常入侵检测研究中得到了探索性的应用。异常挖掘技术可以检测出数据集中与众不同的数据,因此将异常挖掘技术应用于异常入侵检测可以识别那些表现出特殊性的入侵活动。该文从KDDCUP1999数据集中提取两种特征的数据集,采用第k最近邻异常挖掘进行异常入侵检测,用实验结果证明基于第k最近邻异常挖掘技术的异常入侵检测用于各类数据集都具有良好的性能.     

基于量子漫步算法的地震震前异常挖掘

地震特别是大震前会产生一些异常,但这些异常信息难以识别,导致无法充分利用这些异常信息预测地震的发生时间,减少地震带来的灾害影响.针对这个问题,提出一种基于量子漫步算法的震前异常挖掘方法,提取汶川地震和芦山地震的震前射出长波辐射（Outgoing Long-wave Radiation,OLR）异常,进而计算地震前后的P值,异常值CD等数据,通过统计分析方法,探索OLR异常与地震的关系.并且通过实验将该算法扩展到最近十年左右全球发生的8.0级及以上地震,验证该算法的有效性.实验结果表明,该算法能够有效的反映在地震前后会出现OLR异常,而且越大的地震异常越明显.因此,该算法适用于震前异常挖掘.     

孤立点挖掘算法研究

孤立点检测是数据挖掘中的重要一项内容.通过对当前的几种孤立点检测算法进行全面深入分析与比较,归纳和总结了它们的特点.对高维和空间数据中孤立点检测进行分析和研究,从而便于研究者以这些算法为基础,做进一步分析,提出新的改进算法.     

IncLOF:动态环境下局部异常的增量挖掘算法

异常检测是数据挖掘领域研究的最基本的问题之一，它在欺诈甄别、贷款审批、气象预报、客户分类等方面有广泛的应用，以前的异常检测算法只适应于静态环境，在数据更新时需要进行重新计算，在基于密度的局部异常检测算法LOF的基础上，提出一种在动态环境下局部异常挖掘的增量算法IncLOF，当数据库中的数据更新时，只对受到影响的点进行重新计算，这样可以大大提高异常的挖掘速度,实验表明，在动态环境下IncLOF的运行时间远远小于LOF的运行时间，并且用户定义的邻域中的最小对象个数与记录数之比越小，效果越明显.     

IDS中的模糊关联规则挖掘与响应

文中阐述了模糊关联规则挖掘技术,提出了在模糊关联规则的挖掘中将事务属性模糊集作为单一属性来处理的方法。详细描述了在异常检测中应用模糊关联规则挖掘的具体步骤,并以网络流量分析为例,验证了在入侵检测中应用这一方法的可行性。最后提出了根据规则集相似度来建立入侵响应机制的方法。     

一种序列挖掘模型用于异常检测的研究

应用序列挖掘方法对用户命令序列进行分析，建立用户行为概貌，并针对用户使用的高频命令序列用统计分析的方法对其进行独特性评价。实验结果表明，该方法稳定可靠。是一种较理想的异常检测模型。     

一种基于误差和关键点的地震前兆观测数据异常挖掘算法*

地震前兆观测数据是对地震进行分析和预测的重要依据。但是当前往往是以人工处理为主要手段,面对海量的前兆观测数据,迫切需要切实可行的异常挖掘算法。提出了基于误差和关键点的自顶向下(error and key-point top-down, EKTW)分段算法以及基于时间邻域的局部异常因子(time-neighbourhood local outlier factor, TLOF)分析方法。相比于传统的分段算法在高分辨率下近似效果不佳、对发现短时高频异常会造成一定程度影响的缺陷,EKTW分段算法通过对时间序列中     

一种面向高维混合属性数据的异常挖掘算法

异常检测是数据挖掘领域研究的最基本的问题之一,它在欺诈甄别、气象预报、客户分类和入侵检测等方面有广泛的应用。针对网络入侵检测的需求提出了一种新的基于混合属性聚类的异常挖掘算法,并且依据异常点(outliers)是数据集中的稀有点这一本质,给出了一种新的数据相似性和异常度的定义。本文所提出算法具有线性时间复杂度,在KDDCUP99和WisconsinPrognosisBreastCancer数据集上的实验表明,算本法在提供了近似线性时间复杂度和很好的可扩展性的同时,能够较好的发现数据集中的异常点。     

基于多维聚类挖掘的异常检测方法研究

网络异常检测是网络管理中非常重要的课题,因此已在近年来得到广泛研究.人们在该领域提出了许多先进的网络流量异常检测方法,但是自动准确地对网络流量进行分类和识别来发现网络中的异常流量仍然是一个非常具有挑战性的问题.文中提出了一种基于多维聚类挖掘的异常检测方法,通过两个阶段来实现异常检测.第一阶段先通过多维聚类挖掘算法,自动对网络中的流量进行多维聚类,第二阶段通过计算多维聚类的异常度来实现异常检测.通过文中的方法,网络中的异常流量被自动归类到不同的有意义的聚类中,通过对这些聚类进行分析可以发现网络中的异常行为.最后通过实验对算法进行了验证,结果表明该方法能够有效检测网络中的异常流量.     

一种基于异常检测的关联模式挖掘模型

国内外研究成果表明,将数据挖掘技术应用于异常检测在理论上是可行的,在技术上建立这样一套系统是可能的。关联模式的挖掘是基于异常检测的数据挖掘技术中的一个十分重要的研究课题,文章的目的就是建立基于异常检测的关联模式挖掘模型,并给出了相应的算法。     

基于不完全数据的异常挖掘算法研究

异常挖掘是数据挖掘的重要研究内容之一,对于不完全数据会面对双重的困难．首先将用于缺失数据填充的EM算法和MI算法推广到混合缺失情形,并根据Weisberg的不完全数据填充理论,提出了RE算法,然后通过将聚类分析与向前搜索算法结合起来,获得了比单纯的向前搜索法更优越的算法．最后,在上述填充算法的基础上探讨了不完全数据的异常挖掘．理论和实例分析均表明,基于不完全数据的异常挖掘算法是有效可行的．     

基于时间序列图挖掘的网络流量异常检测

网络流量异常检测要解决的核心问题之一是获得信息的全面性和流量信息描述的准确性.针对现有网络异常流量检测方法分析多时间序列的不足,提出了一种基于图挖掘的流量异常检测方法.该方法使用时间序列图准确、全面地描述用于流量异常检测的多时间序列的相互关系;通过对项集模式进行支持度计数,挖掘各种频繁项集模式,有利于对各种异常流量的有效检测;通过挖掘各项集之间的关系,引入了项集的权重系数,解决了流量异常检测的多时间序列相互关系的量化问题.仿真结果表明,该方法能有效地检测出网络流量异常,并且对DDos攻击的检测效果明显优于基于连续小波变换的检测方法.     

基于模糊序列模式挖掘的网络异常检测

序列模式挖掘技术在网络入侵检测中极具应用潜力。该文将模糊序列模式挖掘引入网络异常检测,构建了基于模糊序列模式挖掘的网络异常检测模型,介绍了模型中的主要工作流程。     

面向异常检测的关联模式快速挖掘算法

随着网络和其它信息技术的广泛应用,网络数据流量急剧增长,但现有网络流量异常监测的准确性与实时性均达不到实际应用的需求,迫切需要对流量数据进行快速、深层次的分析.因此,提出一种快速关联模式挖掘算法,通过提取重要的网络数据特征进行关联挖掘,不仅为流量数据分析判断提供及时准确的参考和借鉴,而且提高了监测准确性和效率.     

基于决策树的软件使用异常用户挖掘

本文提出一种基于决策树ID3算法的软件使用用户分类方法,利用软件的运行日志提取出软件使用记录的主要属性数据,对源数据进行数据预处理转化为挖掘算法可用数据集,从中提取出软件使用用户的分类规则,构建分类模型并根据形成的规则找出使用软件的异常用户,从而便于管理人员对B／S模式软件数据库系统的安全管理和维护。     

纳税异常关联规则挖掘数据模型的设计与实现

关联规则挖掘是数据挖掘的重要方面;纳税异常管理是税收管理的核心内容。本文以“对纳税异常进行关联规则挖掘”为研究对象,提出了建立纳税异常星型模式的思想,设计并实现了纳税异常数据模型,给出了在此模型上进行关联规则挖掘的应用实例。     

基于密度的异常挖掘智能网络入侵检测系统设计与实现

论文提出了基于密度的异常挖掘新方法,并将其应用于入侵检测系统引擎设计中,构建了相应的网络入侵检测系统。该系统通过挖掘异常数据的高效性,可及时发现新的未知入侵行为,用以更新入侵规则库。基于该规则库,系统采用BM模式匹配算法进行实时入侵检测。论文运用形式化语言对入侵检测系统各子模块进行结构化分析与描述。     

基于密度的异常挖掘智能网络入侵检测系统设计与实现

论文提出了基于密度的异常挖掘新方法,并将其应用于入侵检测系统引擎设计中,构建了相应的网络入侵检测系统.该系统通过挖掘异常数据的高效性,可及时发现新的未知入侵行为,用以更新入侵规则库.基于该规则库,系统采用BM模式匹配算法进行实时入侵检测.论文运用形式化语言对入侵检测系统各子模块进行结构化分析与描述.