基于轨迹点局部异常度的异常点检测算法

随着大量的定位数据被收集在应用服务器,如何从大量定位轨迹数据挖掘异常信息已逐渐成为一个令人关注的研究课题.针对当前流行的、以轨迹片段表示局部特征的异常点检测算法存在的问题,文中提出了以轨迹点表示局部特征的异常点检测算法TraLOD.该算法不仅提出了将每个轨迹点赋予一个0～1的值来表示其局部异常程度,而且还引入了相对距离...     

基于数据空间网格划分的PK-树索引结构

在大规模高维数据挖掘研究中,数据存储与索引方法的有效性是决定算法时空效率的重要因素。将数据空间网格划分策略与高效率的树型索引结构结合起来,可以充分发挥两者在数据组织上的综合优势,将复杂问题转换为结构化的简单重复问题：在统一的框架下给出了各种数据空间网格划分的定义,讨论了两种适用于实现网格化数据索引的R-树和PK-树索引结构：试验结果表明,PK-树在数据存储和索引上具有更高的效率,与网格化数据组织方法结合起来,对于降低大规模高维数据分析问题的时空复杂度具有重要意义。     

基于R-Tree的高效异常轨迹检测算法

提出了异常轨迹检测算法,通过检测轨迹的局部异常程度来判断两条轨迹是否全局匹配,进而检测异常轨迹.算法要点如下:(1) 为了有效地表示轨迹的局部特征,以k个连续轨迹点作为基本比较单元,提出一种计算两个基本比较单元间不匹配程度的距离函数,并在此基础上定义了局部匹配、全局匹配和异常轨迹的概念;(2) 针对异常轨迹检测算法普遍存在计算代价高的不足,提出了一种基于R-Tree的异常轨迹检测算法,其优势在于利用R-Tree和轨迹间的距离特征矩阵找出所有可能匹配的基本比较单元对,然后再通过计算距离确定其是否局部匹配,从而消除大量不必要的距离计算.实验结果表明,该算法不仅具有很好的效率,而且检测出来的异常轨迹也具有实际意义.     

空间数据库网格索引机制的最优划分

该文证明了当空间对象的分布特征小于0．2929时，一级网格索引机制才有效，并获得了最佳网格划分条件，通过分析二级网格的最优划分，证明了二级网格检索机制比一级网格索引机制有效，可以减少存储桶的个数。     

基于R-tree的高效异常轨迹检测算法

异常检测是一种流行的数据挖掘任务,但是轨迹数据的异常检测的研究比较少,而且存在的算法也较有局限性,因此J.-G Lee等人提出了TRAOD算法。该算法能够有效地检测出异常的轨迹,但是也存在着缺陷。它的复杂度和准确度比较难平衡,在参数的选取上也比较难,算法的运行时间较长。基于TRAOD的问题,提出一种基于R-tree的高效的异常轨迹检测算法R-TRAOD。该算法通过R-tree对轨迹点进行索引搜索其领域内的轨迹点,然后根据TRAOD算法对R-tree索引出来的轨迹点进行异常轨迹的检测,这样可以提高算法的运行速度。真实数据实验测试表明,该算法比最新的TRAOD异常轨迹挖掘算法效率要高。     

基于数据空间网格划分的PK 树索引结构*

在大规模高维数据挖掘研究中,数据存储与索引方法的有效性是决定算法时空效率的重要因素。将数据空间网格划分策略与高效率的树型索引结构结合起来,可以充分发挥两者在数据组织上的综合优势,将复杂问题转换为结构化的简单重复问题。在统一的框架下给出了各种数据空间网格划分的定义,讨论了两种适用于实现网格化数据索引的R树和PK树索引结构。试验结果表明,PK树在数据存储和索引上具有更高的效率,与网格化数据组织方法结合起来,对于降低大规模高维数据分析问题的时空复杂度具有重要意义。     

基于二叉空间划分的异常数据检测算法

无线传感网络(Wireless Sensor Networks,WSNs)的性能依赖于所收集的数据质量。而最初,节点所感测的数据是粗糙的,需通过有效的数据检测算法将异常数据与正常数据进行区分。为此,提出基于二叉空间划分的异常数据检测(Binary Space Partition-based Anomaly Detection,BSP-AD)算法。BSP-AD算法通过二叉空间划分(Binary Space Partition, BSP)训练、测试数据。先通过训练数据,得到正常数据的区间范围,再通过此区间范围检测测试数据中异常部分。仿真结果表明,提出的BSP-AD算法能够准确地检测异常数据,并且计算成本和存储成本低于IDLO算法。     

采用轨迹压缩和路网划分的车辆异常轨迹检测

随着各种网约车平台的蓬勃兴起,网约车犯罪率显著增加,而其行车轨迹往往表现出异常现象.为有效检测存在异常行为的轨迹,提出一种面向道路消耗的车辆异常轨迹检测算法.首先,将建模重点由轨迹数据转移到道路本身,对道路消耗进行建模,同时兼顾时间和距离的影响,有效提高了检测结果的准确性;其次,通过地图匹配概率将轨迹映射到路网空间,有效提高了参与检测的数据质量;然后,依据道路节点和车辆行驶方向是否改变对轨迹进行压缩,减少了内存消耗并提高了算法的效率;第四,提出并定义了消耗阈值矩阵的概念,扩大了算法检测的数据范围;最后,采用真实数据集验证了算法的有效性,并与iBOAT、TRAOD、TADSS和TPRO算法进行对比,验证了本算法具有更高的效率和准确性.     

基于轨迹信息熵分布的异常轨迹检测方法

针对异常轨迹检测多特征检测和检测单元造成的检测效率低等问题。提出一种基于轨迹信息熵分布的异常轨迹检测方法。该算法根据轨迹偏转角与速度将轨迹分割成若干轨迹段,计算轨迹段间加权多特征距离判断轨迹间相似度,进而完成轨迹聚类并计算出每类代表性轨迹,然后对待检测轨迹进行分割,利用代表性轨迹计算每个轨迹段的信息熵,通过比较轨迹信息熵大小及其分布特点实现异常轨迹检测。大西洋飓风数据仿真实验结果表明该方法提高了聚类效果,克服以整条轨迹检测效率低的缺点,提升了异常轨迹检测算法的有效性。     

基于演化计算的异常轨迹并行检测算法

异常轨迹检测是轨迹数据挖掘研究领域的一个重要研究内容,基于演化计算的异常轨迹检测算法(Top-k evolving trajectory outlier detection, TOP-EYE)是一种有效的异常轨迹检测算法。不同于其他算法采用的轨迹距离计算方法,TOP-EYE算法 从轨迹的方向和密度角度出发,采用演化计算的方式检测异常。为了提高TOP-EYE算法对海量轨迹数据集异常检测的效率,本文在其基础上提出了基于MapReduce的异常轨迹检测并行算法(Parallel detecting abnormal trajectory based on TOP-EYE, PDAT-TOP ),利用MapReduce并行计算的优势提高了异常轨迹检测的效率。将算法PDA T-TOP在Hadoop平台上加以实现,实验结果表明,算法PDAT-TOP能够有效地检测异常轨迹,并且具有较高的可扩展性和加速比。     

基于划分和孤立点检测的审计证据获取研究*

为了改进传统的仅仅是把手工审计流程计算机化的计算机辅助审计方法和发现被审计数据中的隐藏信息和更多的审计证据,提出了一种先对海量数据进行数据划分,然后采用改进的孤立点检测技术的审计证据获取方法。该方法首先利用改进粒子群算法对被审计数据进行划分优化,找到高内聚、低耦合的数据划分;然后使用基于距离的改进孤立点检测技术,查找出孤立点数据;最后通过分析发现审计线索。通过相关对比实验表明,该方法易发现海量被审计数据中的隐藏信息,孤立点检测效率也有很大提高,从而提高了审计效率。     

时间序列异常检测

在k-近邻局部异常检测算法的基础上,结合时间序列的分割方法,提出了一种高效的时间序列异常检测算法。该算法首先把序列重要点作为数据的分割点,对时间序列数据进行高比例压缩;其次利用局部异常检测方法检测出时间序列中的异常模式。通过心电图（ECG）数据实验验证了算法的有效性和合理性。     

一种基于层次聚类的全局孤立点识别方法*

现有的孤立点检测算法在通用性、有效性、用户友好性及处理高维大数据集的性能还不完善,为此提出一种快速有效的基于层次聚类的全局孤立点检测方法。该方法基于层次聚类的结果,根据聚类树和距离矩阵可视化判断数据孤立程度,并确定孤立点数目。从聚类树自顶向下,无监督地去除孤立点。仿真实验验证了方法能快速有效识别全局孤立点,具有用户友好性,适用于不同形状的数据集,可用于大型高维数据集的孤立点检测。     

基于粒子群优化算法的属性异常检测

提出一种新的基于粒子群优化算法的属性异常检测算法。该算法利用粒子群优化算法简单、寻优速度快的优点检测属性异常,在粒子群寻找最优值的过程中发现可能是属性异常的数据,并采用Omeasure适应度评估属性异常,算法的时间复杂度是多项式级的。与全搜索检测算法相比,大幅减少了搜索范围;同时,与完全随机算法相比,采用启发式搜索规则,提高了查全率及查准率。实验结果表明,粒子群检测算法不仅执行效率高,而且保持了较高的查全率与查准率。     

基于角度方差的多层次高维数据异常检测算法

异常检测一直是数据挖掘领域的重要工作之一。基于欧式距离的异常检测算法在应用于高维数据时存在检测精度无法保证和运行时间过长的问题。在基于角度方差的异常检测算法基础上提出了一种多层次的高维数据异常检测算法（Hybrid outlier detection algorithm based on angle variance for High-dimensional data, HODA）。算法结合了粗糙集理论,分析属性之间的相互作用以排除影响较小的属性;通过分析各维度上的数据分布,对数据进行网格划分,寻找可能存在异常点的网格;最后对可能存在异常点的网格计算角度方差异常因子,筛选异常数据。实验结果表明,与ABOD, FastVOA和经典LOF算法相比,HODA算法在保证精测精度的前提下,运行时间显著缩短且可扩展性强。     

基于高斯混合一时间序列模型的轨迹预测

针对不同时间道路车流量变化下轨迹预测误差变化大的问题,提出基于概率分布模型的高斯混合-时间序列模型（GMTSM）,对海量车辆历史轨迹进行模型回归和路段车流量的分析以实现车辆轨迹预测。首先,针对均匀网格划分方法容易造成相关轨迹点分裂的问题,提出迭代式网格划分来实现轨迹点的数量均衡;其次,训练并结合高斯混合模型（GMM）和时间序列分析中的差分自回归滑动平均模型（ARIMA）;然后,为了避免GMTSM中子模型自身的不稳定性对预测结果产生干扰,对子模型的预测进行误差分析,动态计算子模型的权重;最后,依据动态权重组合子模型实现轨迹预测。实验结果表明,GMTSM在路段车流量突变情况下,平均预测准确率为90.3%;与相同参数设置下的高斯混合模型和马尔可夫模型相比,GMTSM预测准确性提高了55%左右。GMTSM不仅能在正常情况下准确预测车辆轨迹,而且能有效提高道路车流量变化情况下的轨迹预测准确率,适用于现实路况环境。     

基于全息熵的空间离群点挖掘算法研究

基于距离和基于密度的离群点检测算法受到维度和数据量伸缩性的挑战, 而空间数据的自相关性和异质性决定了以属性相互独立和分类属性的基于信息理论的离群点检测算法也难以适应空间离群点检测, 因此提出了基于全息熵的混合属性空间离群点检测算法。算法利用区域标志属性进行区域划分, 在区域内利用空间关系确定空间邻域, 并用R*-树进行检索。在此基础上提出了基于全息熵的空间离群度的度量方法和空间离群点挖掘算法, 有效解决了混合属性的离群度的度量和离群点的挖掘问题。由于实现区域划分有利于并行计算, 从而可适应大数据量的计算。理论和实验证明, 所提算法在计算效率和实验结果的可解释性方面均具有优势。     

基于自适应的高对比性子空间的高维离群点检测

基于子空间解决高维离群点挖掘的问题已经引起人们的广泛关注,现有方法存在的主要问题是难以选取合适的子空间且选取计算量大、阈值等参数设置困难等。这些影响了检测精度和检测效率。利用高对比度子空间选取方法解决子空间选取问题,利用自适应方法解决阈值参数的确定问题,据此提出自适应的高对比性子空间离群点检测方法(AHiCS)。该方法利用统计检验算法选取高对比性子空间,在高对比性的子空间里自适应计算离群点得分,提高了离群点检测的精度与效率。理论和实验表明,该方法可以有效地挖掘高维离群点。     

基于聚类的两段式孤立点检测算法

现有的大多数孤立点检测算法都需要预先设定孤立点个数,并且还缺乏对不均匀数据集的检测能力。针对以上问题,提出了基于聚类的两段式孤立点检测算法,该算法首先用DBSCAN聚类算法产生可疑孤立点集合,然后利用剪枝策略对数据集进行剪枝,并用基于改进距离的孤立点检测算法产生最可能孤立点排序集合,最终由两个集合的交集确定孤立点集合。该算法不必预先设定孤立点个数,具有较高的准确率与检测效率,并且对数据集的分布状况不敏感。数据集上的实验结果表明,该算法能够高效、准确地识别孤立点。