基于高维数据流的异常检测算法

传统基于欧氏距离的异常检测算法在高维数据检测中存在精度无法保证以及运行时间过长的问题。为此,结合高维数据流的特点运用角度方差的方法,提出一种改进的基于角度方差的数据流异常检测算法。通过构建最佳数据集网格和最近数据网格的小规模数据流计算集,以快速即时地衡量最新数据点的异常程度,将改进的算法用于无线传感器网络采集的电梯真实数据流检测,实现电梯故障检测。实验结果表明,与ABOD、HODA等算法相比,改进算法能有效识别高维数据流中的异常点,可适用于实时性要求高的传感器高维数据流。     

多分辨率网格的数据压缩

在对三角形网格多分辨率分析中,为了避免重新网格化的过程,基于小波变换,扩展了Lounsbery的方法。该算法直接对不规则网格进行渐进压缩,得到了不同分辨率的网格。在此过程中还可以基于三角形网格的连接信息,对三角形网格进行优化,使之更加规则,从而使本文算法得到了改善。实验结果表明,算法速度快,效果良好,有一定的实用性。     

一种基于网格方法的高维数据流子空间聚类算法

基于对网格聚类方法的分析,结合由底向上的网格方法和自顶向下的网格方法,设计了一个能在线处理高维数据流的子空间聚类算法。通过利用由底向上网格方法对数据的压缩能力和自顶向下网格方法处理高维数据的能力,算法能基于对数据流的一次扫描,快速识别数据中位于不同子空间内的簇。理论分析以及在多个数据集上的实验表明算法具有较高的计算精度与计算效率。     

基于小波变换的不规则网格的多分辨率分析

Lounsbery 提出了一种三角形网格多分辨率分析方法，但该方法只能应用于规则的三角形网格，且包含了重新网格化的过程。为了解决该问题，基于小波变换，该文扩展了Lounsbery的方法。该算法直接对不规则网格进行渐进压缩，得到了不同分辨率的网格。在此过程中还可以基于三角形网格的连接信息，对三角形网格进行优化，使之更加规则，从而使该文算法得到了改善。将该文算法与以前的算法进行了比较，结果表明，该文算法速度快，效果良好，有一定的实用性。     

基于子空间聚类的入侵检测方法

本文通过分析现有入侵检测技术所存在的不足,探讨了基于子空间聚类的入侵检测技术的优势,并提出一种基于子空间聚类的入侵检测方法。该方法通过将网络数据进行子空间聚类分为正常类与异常类,从而检测入侵记录。文中详细的阐述了具体实现方案,并通过仿真实验验证了该方法的可行性。     

基于网格耦合的数据流异常检测

基于网格的数据分析方法以网格为单位处理数据,避免了数据对象点对点的计算,极大提高了数据分析的效率。但是,传统基于网格的方法在数据分析过程中独立处理网格,忽略了网格之间的耦合关系,影响了分析的精确度。在应用网格检测数据流异常的过程中不再独立处理网格,而是考虑了网格之间的耦合关系,提出了一种基于网格耦合的数据流异常检测算法GCStream-OD。该算法通过网格耦合精确地表达了数据流对象之间的相关性,并通过剪枝策略提高算法的效率。在5个真实数据集上的实验结果表明,GCStream-OD算法具有较高的异常检测质量和效率。     

基于角度方差的多层次高维数据异常检测算法

异常检测一直是数据挖掘领域的重要工作之一。基于欧式距离的异常检测算法在应用于高维数据时存在检测精度无法保证和运行时间过长的问题。在基于角度方差的异常检测算法基础上提出了一种多层次的高维数据异常检测算法（Hybrid outlier detection algorithm based on angle variance for High-dimensional data, HODA）。算法结合了粗糙集理论,分析属性之间的相互作用以排除影响较小的属性;通过分析各维度上的数据分布,对数据进行网格划分,寻找可能存在异常点的网格;最后对可能存在异常点的网格计算角度方差异常因子,筛选异常数据。实验结果表明,与ABOD, FastVOA和经典LOF算法相比,HODA算法在保证精测精度的前提下,运行时间显著缩短且可扩展性强。     

改进的SOD孤立点检测算法

针对传统SOD孤立点检测算法在处理高维数据时存在的问题,提出一种改进算法。通过对每一维的聚集度进行量化,确定各维的参考价值,从而降低算法结果对参数设定的敏感度,利用相对距离表示各点到中心值的偏离度,使其更利于不同密度子空间的孤立点检测。仿真实验结果表明,改进算法的检测精度优于传统SOD算法。     

基于投影网格的全球多分辨率地形绘制

提出一种基于投影网格的全球多分辨率地形绘制算法。利用投影网格剖分球面,快速完成视域内球面的非均匀网格化。对地形数据分层组织、分块存储,通过可视区域计算,实现高效率的地形数据装载和更新。由于每帧网格数量保持基本不变,确保了稳定的帧率。实验结果表明该算法在全球三维地形实时绘制上能取得较好的视觉效果,计算量小、具有较高的效率。     

面向图的异常检测研究综述

近年来,随着Web 2.0的普及,使用图挖掘技术进行异常检测受到人们越来越多的关注.图异常检测在欺诈检测、入侵检测、虚假投票、僵尸粉丝分析等领域发挥着重要作用.在广泛调研国内外大量文献以及最新科研成果的基础上,按照数据表示形式将面向图的异常检测划分成静态图上的异常检测与动态图上的异常检测两大类,进一步按照异常类型将静态...     

基于模型共享的分布式异常检测方法

传统集中式异常检测方法需要耗费大量的网络资源和计算时间。为此,提出一种基于模型共享的分布式异常检测方法。利用多数投票、边界扩展、平均叠加以及距离加权这4种集成学习方法得到全部局部模型,通过交换本地数据挖掘模型的方式实现数据共享,构造总体的集成式学习模型。实验结果表明,该模型能从全局的观点检测异常,减少集中式检测所需的数据传输量,有效地保护数据的隐私性。     

基于信息熵的大规模网络流量异常检测

提出了基于信息熵的大规模网络流量异常检测方法。该方法吸收了子空间方法的思想,并结合了K-means分类方法。以校园网为实验环境,应用基于信息熵的方法实现了网络流量异常检测的全过程。通过实验结果与应用标准子空间方法对测量数据分析结果的对比,证明了基于信息熵的大规模网络流量异常检测有着更高的检测精度。     

数据挖掘技术在网络型异常入侵检测系统中的应用

网络型异常检测的关键问题在于建立正常模式，将当前的系统或用户行为与建立好的正常模式进行比较，判断其偏离程度。简单介绍了数据挖掘算法以及基于数据挖掘的入侵检测系统的分类，从不同分类的角度介绍了数据挖掘方法在入侵检测系统中的应用。重点对比了模式比较的各种方法，并且使用网络型异常检测方法验证收集的正常数据是否充足的问题。     

基于系统调用和数据挖掘的程序行为异常检测

异常检测是目前入侵检测研究的主要方向之一。该文提出一种新的程序行为异常检测方法,主要用于Linux或Unix平台上以系统调用为审计数据的入侵检测系统。该方法利用数据挖掘技术中的序列模式对特权程序的正常行为进行建模,根据系统调用序列的支持度和可信度在训练数据中提取正常模式。在检测阶段,通过序列模式匹配对被监测程序的行为异常程度进行分析,提供两种可选的判决方案。实验结果表明,该方法具有良好的检测性能。     

基于数据挖掘技术的Web应用异常检测

本文提出的异常检测系统以Web日志文件作为输入,利用数据挖掘技术建立两种异常检测模型,分别对待测的Web请求记录输出五个异常概率,对各概率进行加权处理后得到一个最终的异常概率。     

基于半监督学习的学生消费数据异常检测

随着校园卡的应用场景越来越广泛,校园卡的资金安全问题日益突出,校园卡欺诈不但给师生和校内商家带来经济损失,还会危害校园的正常秩序。针对传统异常检测方法无法有效提取学生消费数据时序特征的问题,提出一种基于半监督学习的学生消费数据异常检测方法。首先,利用门控循环单元改进自编码器,使得模型可以更准确地进行消费数据的重构;然后,采用马氏距离计算重构误差,计算F_β-分数确定误差阈值,进行异常数据的检测;最后,利用所提方法对某高校的学生消费数据进行异常检测实验。实验结果表明,所提方法具有更优越的检测性能。     

轨迹异常检测研究综述

传感器技术的飞速发展催生大量交通轨迹数据,轨迹异常检测在智慧交通、自动驾驶、视频监控等领域具有重要的应用价值.不同于分类、聚类和预测等轨迹挖掘任务,轨迹异常检测旨在发现小概率、不确定和罕见的轨迹行为.轨迹异常检测中一些常见的挑战与异常值类型、轨迹数据标签、检测准确率以及计算复杂度有关.针对上述问题,全面综述近20年来轨迹异常检测技术的研究现状和最新进展.首先,对轨迹异常检测问题的特点与目前存在的研究挑战进行剖析.然后,基于轨迹标签的可用性、异常检测算法原理、离线或在线算法工作方式等分类标准,对现有轨迹异常检测算法进行对比分析.对于每一类异常检测技术,从算法原理、代表性方法、复杂度分析以及算法优缺点等方面进行详细总结与剖析.接着,讨论开源的轨迹数据集、常用的异常检测评估方法以及异常检测工具.在此基础上,给出轨迹异常检测系统架构,形成从轨迹数据采集到异常检测应用等一系列相对完备的轨迹挖掘流程.最后,总结轨迹异常检测领域关键的开放性问题,并展望未来的研究趋势和解决思路.