离群点挖掘研究

随着人们对欺诈检测、网络入侵、故障诊断等问题的关注,离群点挖掘研究日益受到重视。在充分调研国内外离群点挖掘研究成果的基础上,介绍了数据库领域离群点挖掘的研究进展,并概要地总结和比较了已有的各种离群点挖掘方法,展望了离群点挖掘研究的未来发展方向和面临的挑战。     

离群点挖掘方法综述

离群点挖掘可揭示稀有事件和现象、发现有趣的模式,有着广阔的应用前景,因此引起广泛关注。首先介绍离群点的定义、引起离群的原因和离群点挖掘算法的分类,对基于距离和基于密度的离群点挖掘算法进行了比较详细的讨论,指出了其优缺点和发展方向,重点对当前研究的热点——高维大数据量的挖掘、空间数据挖掘、时序离群点挖掘和离群点挖掘技术的应用进行了讨论,指出了进一步研究方向。     

基于遗传算法的高维离群点检测算法的改进

离群点检测在欺诈检测、网络鲁棒性分析和入侵检测等领域有着重要的应用.Aggarwal和Yu提出的基于子空间投影和遗传算法(GA)的离群点检测方法是处理高维数据的一个有效方法.由于该算法的交叉重组过程采用贪心策略选择子串,并且随着变异概率的改变可能导致发现不了一些有意义的离群数据.文中对该算法的交叉过程和变异过程进行改进,提出一种改进的算法,提高了检测的精度并且不受变异概率改变的影响.     

高维数据离群点检测的局部线性嵌入方法

由于高维空间中数据点比较稀疏,用传统方法来检测高维空间中的离群点不能达到预期效果。提出了一种基于局部线性嵌入的离群点检测方法（OLLE）。在OLLE降维方法中,建立了一种有效的粗糙集模型,使数据集的下近似中的点保持局部线性结构。同时构造两个权重,使所有样本点保持局部近邻结构,且保证在降维的过程中使离群点远离正常点。最后,在低维空间中,采用基于最小生成树的k-最近邻启发式方法来检测离群点。通过一系列的模拟实验,证明OLLE方法能达到很好的降维效果,并且在低维空间中可以有效地检测出离群点。     

基于剪枝的海量数据离群点挖掘

基于距离的离群点挖掘通常需要O(N2)的时间进行大量的距离计算与比较,这限制了其在海量数据上的应用。针对此问题,提出了一个带剪枝功能的离群点挖掘算法。算法分为两步:在对数据集进行一遍扫描后,剪枝掉大量的非离群点;然后对余下的可疑数据实施一种改进的嵌套循环算法,以每个数据点与其k个最近邻点的平均距离作为离群度,确定前n个离群点。在真实数据和合成数据集上的实验结果均表明,该算法在获得高命中率的同时仍保持低误警率。与相关算法相比,其具有较低的时间复杂性。     

基于离群指数的时序数据离群挖掘

离群数据挖掘(0utlier mining,简称离群挖掘)是数据挖掘的重要内容.该文针对时序数据进行离群数据挖掘方法的研究,提出了离群指数的概念,在此基础上设计了时序数据离群数据挖掘算法,并对某钢铁企业电力负荷时序数据进行离群数据挖掘,结果表明了算法的有效性.     

局部离群点挖掘算法研究

离群点可分为全局离群点和局部离群点.在很多情况下,局部离群点的挖掘比全局离群点的挖掘更有意义.现有的基于局部离群度的离群点挖掘算法存在检测精度依赖于用户给定的参数、计算复杂度高等局限.文中提出将对象属性分为固有属性和环境属性,用环境属性确定对象邻域、固有属性计算离群度的方法克服上述局限;并以空间数据为例,将空间属性与非空间属性分开,用空间属性确定空间邻域,用非空间属性计算空间离群度,设计了空间离群点挖掘算法.实验结果表明,所提算法具有对用户依赖性少、检测精度高、可伸缩性强和运算效率高的优点.     

基于局部线性加权的离群点检测方法

为了提高高维数据集合离群数据挖掘效率,在分析了传统的离群数据挖掘算法优点和缺点的基础上,提出了一种基于局部线性加权的离群点检测算法.该算法利用LLE算法的思想寻找样本数据的内在嵌入分布,并通过距离公式和离群点权值判别式进行权值数据判定,根据权值的大小标识出数据集中的离群点.仿真实验的结果表明了该方法能够有效地发现高维数据集中的离群点.与此同时,该算法具有参数估计简单、参数影响不大等优点.该算法为离群点检测问题的机器学习提供了一条新的途径.     

基于信息论的高维海量数据离群点挖掘

针对高维海量数据集离群点挖掘存在“维数灾难”的问题,提出了基于信息论的高维海量数据的离群点挖掘算法。该算法采用属性选择,去除冗余属性降维。利用信息嫡作为离群点判断的度量标准,消除距离和密度量纲的弊端。在真实数据集上的实验结果表明,算法对高维海量数据离群点挖掘是有效可行的,其效率和精度得到了明显提高。     

基于频繁模式的离群点挖掘在入侵检测中的应用

针对网络安全数据高维度的特征,对传统离群点检测不能有效发现的网络数据中入侵行为细节进行检测。提出一种基于频繁模式的算法,通过检测数据项的频繁模式和关联规则,剥离数据流中或安全日志数据中的噪声和异常点,计算安全数据的加权频繁离群因子,精确定位离群点,最后从中自动筛选出异常属性。实验证明,该方法在较好的空间复杂性与时间复杂性下,能有效地发现在高维安全数据中异常的属性。     

离群数据的挖掘方法研究

离群数据的挖掘是数据挖掘的一个重要部分,本文介绍了几个重要的离群数据挖掘方法,给出了一个新的基于距离的离群数据发现方法：第k个最近邻居法;其主要思想是,离群数据总是远离大部分的正常数据。     

基于数据分区和网格的离群点挖掘算法

针对已有的基于网格的离群点挖掘算法挖掘效率低和对于大数据集适应性差的问题,提出基于数据分区和网格的离群点挖掘算法。算法首先将数据进行分区,以单元为单位筛选非离群点,并把中间结果暂存起来;然后采用改进的维单元树结构维护数据点的空间信息,以微单元为单位进行非离群点筛选,并通过两个优化策略进行高效操作;最后以数据点为单位挖掘离群点,从而得到离群数据集合。理论分析和实验结果表明了该方法是有效可行的,对大数据集和高维数据具有更好的伸缩性。     

离群数据之间模式相似性的分布式挖掘

提出了分布式系统中各站点离群数据之间模式相似性挖掘算法,该算法首先利用基于距离的离群数据挖掘算法挖掘各自站点的离群数据,然后计算离群数据的知识集,最后依据各站点知识集的分布情况来判断离群数据之间的类别相似性和行为相似性。     

高维类别属性数据流离群点快速检测算法

提出类别属性数据流数据离群度量--加权频繁模式离群因子(weighted frequent pattern outlier factor,简称WFPOF),并在此基础上给出一种快速数据流离群点检测算法FODFP-Stream(fast outlier detection for high dimensional categorical data streams based on frequent pattern).该算法通过动态发现和维护频繁模式来计算离群度,能够有效地处理高维类别属性数据流,并可进一步扩     

基于网格技术的高维大数据集离群点挖掘算法

提出了一种基于网格技术的高维大数据集离群点挖掘算法（OMAGT）。该算法针对高维大数据集的分布特性，首先采用基于网格技术的方法寻找出聚类区域，并删除聚类区域内不可能成为离群点的聚类点集，然后运用局部离群因子（LOF）算法对剩下的点集进行离群点挖掘。OMAGT算法较好地实现了聚类信息的动态释放，将保留的离群点挖掘信息控制在一定的内存容量范围内，提高了算法的时间效率和空间效率。理论分析与实验结果表明OMAGT算法是可行和有效的。     

高维数据挖掘技术研究

数据挖掘是致力于数据分析和理解,揭示数据内部蕴藏知识的技术。它是未来信息技术应用的重要目标之一。而高维数据在实际应用中的使用,使得对高维数据挖掘的研究有着非常重要的意义。文章介绍了高维数据挖掘对数据挖掘的挑战及应对策略,提出了一些挖掘模型的创新点。     

基于插值的高维稀疏数据离群点检测方法

离群点检测问题中的数据可被看作是正常点与异常点在空间中的高度混合，在减少正常点损失的前提下，离群点通常包含在离聚类中心最远的样本集中。受这种思想启发，提出一种针对高维稀疏数据的基于插值的离群点检测方法，该方法在K-means基础上应用遗传算法对原始数据进行插值处理，解决了K-means聚类中稀疏数据容易被合并的问题。实验结果表明，对比基于传统K-means聚类的离群点检测方法以及几种典型的基于改进K-means的检测方法，本文 方法损失的正常点更少，提高了检测的准确率和精确率。     

Web资源内容质量的离群点挖掘系统研究

在信息化时代,数据是企业生产和运行的基础,其质量好坏直接影响着企业的生存和效益。Internet已经成为一个巨大的数据仓库,为了确保我们所利用的web文本资源的高质量,本文介绍了利用web内容离群点挖掘技术审查Web文本内容,提高数据质量的方法,并且取得了较好的实验结果。     

基于邻域密度的异构数据局部离群点挖掘算法

由于数据集规模、维数,以及复杂程度的不断提高,导致对其离群点的挖掘难度越来越大,提出了基于邻域密度的局部离群点挖掘算法.首先依据节点计算性能对高维数据进行区域分割,通过各个维度的数据分布来评价区域分割的效果.然后采取核密度来描述局部密度,根据高斯分布得到数据出现次数,进一步计算出数据邻域密度.再由邻域及密度关系计算得到各数据离群度,从而判断异构数据中的离群点.最后针对可能存在的离群误判情况,采取离群分数计算,为增强此过程的检测性能,利用权重进行剪枝处理.人工与UCI数据集上的仿真结果表明,当数据量和数据维数改变时,算法对离群点挖掘的准确度几乎不受影响,挖掘时间和覆盖率指标也显著优于其它方法;同时对于不同类型和复杂度的异构数据,算法仍然保持良好的挖掘准确度和效率.     

面向高维大数据的局部离群点并行检测算法

当前局部离群点并行检测算法在实现时,没有消除局部离群点中存在的冗余数据,存在k值不稳定、局部可达密度低、检测时间长的问题,严重影响数据的正常使用,于是提出面向高维大数据的局部离群点并行检测算法。根据信息熵原理采用E-PCA算法提取高维大数据的特征,并消除冗余特征,实现高维大数据的降维处理,提高算法的检测精度;为了在较短的时间内完成局部离群点的并行检测,结合Hadoop分布式平台中的Mapreduce分布框架和传统的离群点检测算法,在高维大数据中完成局部离群点的并行检测。仿真结果表明,所提算法的k值适中、局部可达密度高和检测时间短。