轨迹大数据:数据处理关键技术研究综述

大数据时代下移动互联网发展与移动终端的普及形成了海量移动对象轨迹数据.轨迹数据含有丰富的时空特征信息,通过轨迹数据处理技术可以挖掘人类活动规律与行为特征、城市车辆移动特征、大气环境变化规律等信息.海量的轨迹数据也潜在性地暴露移动对象行为特征、兴趣爱好和社会习惯等隐私信息,攻击者可以根据轨迹数据挖掘出移动对象的活动场景、位置等属性信息.另外,量子计算因其强大的存储和计算能力成为大数据挖掘重要的理论研究方向,用量子计算技术处理轨迹大数据可以使一些复杂的问题得到解决并实现更高的效率.本文对轨迹大数据中数据处理关键技术进行综述.首先,介绍轨迹数据概念和特征,并且总结了轨迹数据预处理方法包括噪声滤波、轨迹压缩等.其次,归纳轨迹索引与查询技术,以及轨迹数据挖掘已有的研究成果包括模式挖掘、轨迹分类等.总结了轨迹数据隐私保护技术基本原理和特点,介绍了轨迹大数据支撑技术如处理框架、数据可视化.本文也讨论了轨迹数据处理中应用量子计算的可能方式,并且介绍了目前轨迹数据处理中所使用的核心算法所对应的量子算法实现.最后,对轨迹数据处理面临的挑战与未来研究方向进行了总结与展望.     

MANET中基于缓存的移动数据查询处理算法的研究

针对MANET环境中带宽有限、能量有限、存储有限和链路频繁的断接性等特点,提出了基于缓存的移动数据查询问题,证明该问题是NP完全问题,并给出一个多项式时间的近似算法,即最大节点新覆盖数据算法MD.该算法采用贪心策略,查询新覆盖数据量最大的节点,减少了查询次数,并最大限度地减少了网络中的传输时延.然后在MD算法的基础上,同时考虑了节点新覆盖数据量和链路服务质量问题,提出了一种改进的高效的启发式算法,即基于最大节点DD值的算法MDD,有效地减少了能量消耗,最小化数据传输时延,提高了网络的吞吐量.理论分析及实验结果表明提出的数据查询算法能够充分利用缓存节点的数据信息,较好地完成数据查询工作,有效地减少数据收集时延,提高查询效率.     

一种高效的移动对象伴随模式挖掘算法

从时空维度中寻找轨迹相似、时间相近的对象集合,即挖掘移动对象的伴随模式,在基于地理位置的用户行为分析中被广泛使用.然而现有移动对象相似性挖掘算法难以处理时间连续、空间离散、时空相关并且数据量大的时空数据.针对此类数据,设计基于滑动窗口、Apriori性质和贪心选择策略的宽度优先搜索算法,对移动对象伴随模式挖掘问题进行求解.同时结合基于哈希的迭代剪枝算法和基于摘要信息的剪枝算法,设计两层剪枝算法以去除冗余的中间结果.在真实数据上的实验结果表明,与仅使用哈希迭代或摘要信息的剪枝算法相比,该算法的剪枝效率较高,并且能够稳定去除99%以上的冗余数据.     

车辆监控系统中时空数据模型设计与实现

针对车辆监控GIS系统中车辆对象轨迹数据变化频率较高、数据量大的特点，首先分析了当前常用的几种数据存储方法，然后在时空立方体模型基础上，提出通过切分时空立方体，形成单元时空立方体，并建立轨迹版本的建模思想。对模型的实现和基于此模型的时空查询算法进行了详细阐述。验证表明该模型能满足实际应用的需要，在减少存储和时空查询性能上有较大提高。     

一种基于概率模型的预测性时空区域查询处理

提出了一种基于概率模型的预测性时空区域查询处理方法.该方法采用Filter-Refinement方式来处理查询.首先,从数据库中选择所有可能满足查询的候选移动对象;然后,根据概率模型中定义的方法来计算候选移动对象满足查询的概率;最后,根据查询中指定的最小概率阈值过滤候选移动对象并返回查询结果.该概率模型将移动对象未来可能出现的位置定义为一个随机变量,并给出了计算移动对象在两种不同的运动模式下满足查询的概率值的方法.还提出了一种通过对大量历史轨迹抽样来获得概率密度函数(probability density function,简称PDF)的轨迹分析算法,并设计了概率密度函数索引STP-Index(spatio-temporal PDF-index).该索引能够有效地提高轨迹分析算法和概率计算的效率.实验结果表明,该查询处理方法能够有效地支持预测性时空区域查询的处理,提高查询结果的正确性,特别适合于具有较小的空间区域和长时间范围的预测性时空区域查询.     

基于MongoDB的轨迹大数据时空索引构建方法

近年来,随着计算机技术与无线传感器网络的发展,轨迹大数据越来越得到人们的关注.针对海量轨迹数据在存储与查询中出现的效率问题,文章基于文档型非关系型数据库MongoDB提出了一套基于四叉树的道路网时空索引,实现海量轨迹数据的高效查询.通过对太原市1915辆出租车的50万条轨迹数据进行时空查询,在不同数据量与不同并发数下测试道路网时空索引与MongoDB复合时空索引的效率表现.实验结果显示道路网时空索引在数据量大于10万时有较好表现,并能够适应不同并发数下的时空查询,验证了道路网时空索引构建方法的可行性和高效性.     

HMM-Cluster：面向交通量过载发现的轨迹聚类方法

随着经济的发展,城市交通拥堵问题亟待解决,交通量过载发现是解决交通拥堵问题的有效方法之一。提出一种基于HMM模型的轨迹聚类算法HMM-Cluster,可有效地发现交通量过载情况。该算法首先提取时空轨迹特征点,并采用维数约简技术减少轨迹数据量,根据参照轨迹拟合HMM模型,基于密度函数得到轨迹相似度矩阵,最后给出聚合的相似性轨迹。真实轨迹数据集上的对比实验结果表明,提出的HMM-Cluster可有效地挖掘移动对象运动模式,准确发现交通量过载情况,具有一定实用价值。     

一种基于真实车辆轨迹的车辆关系挖掘方法

目前关于车载网络路由协议的研究中,结合社会属性的路由协议分析成为热点.分析了当前对车辆轨迹数据处理的方法和技术,提出了一种对原始轨迹数据进行预处理的算法,使得数据在相遇分析计算节点间的距离时,有更好的可用性.在此基础上,利用移动时间窗技术对车辆轨迹数据进行处理,得到了车辆的关联关系图谱.提出了一种构建、维护车辆关联关系列表的算法,算法能够在每台车辆的存储空间中构建、更新车辆关联关系.     

E3D R-Tree：一种处理移动对象数据库历史查询的索引结构

历史查询是移动对象数据库管理的一个重要方面.为提高历史查询效率,在3D R-Tree基础上实现了优化的索引结构E3D R-Tree.在E3D R-Tree中,结合移动对象数据特征引入空白区域作为新的插入代价参数,同时,在插入算法中利用最小代价优先搜索算法确定全局最优插入路径,并给出算法正确性证明.实验结果表明,E3D R-Tree查询效率高于3D R-Tree.     

一种移动对象数据库全时态区域查询处理方法

全时态区域查询方法是可以同时支持对于移动对象过去、现在以及预测性未来信息区域查询处理的方法,是移动对象数据管理的一个重要方面.在移动对象数据库领域,大量技术被提出以支持历史信息查询或未来信息预测,但是缺乏对于全时态区域查询方法的研究.提出一个可以支持精确区域查询的移动对象全时态查询方法,并支持对于历史信息的轨迹查询.为提高查询效率,提出索引结构PPF-index.在PPF-index中,首先在移动对象信息到达时,利用提出的TB_TPR-tree结构来索引移动对象现在以及预测性未来信息;其次,历史轨迹信息经过轨迹切分后利用3D R-tree进行索引;最后,提出基于PPF-index索引结构的全时态区域查询算法.全时态区域查询算法中的时间范围不同,需要访问的索引结构也不同.实验结果表明,PPF-index可以高效支持全时态查询,并具有很高的更新效率.     

基于对象关系数据库的移动对象数据库管理系统的研究

基于对象关系数据库设计了一个移动对象的数据模型,查询语言和相应的数据库管理系统。此系统结合GIS数据库系统能够表述移动物体和支持对运动物体的查询,从而实现基于位置的服务。本系统支持不确定性和复杂可扩展的空间结构,最后描述了这个系统的执行与实现。     

面向路网连通关系的车辆轨迹数据查询技术研究

定位及通信技术的发展使获取和传输移动车辆的轨迹信息成为可能。从车辆轨迹数据中可以提取出大量的交通信息,这些信息是对交通状况的一个直接和全面的反映。但由于轨迹数据固有的网络特性及时空特性,使针对此类数据的查询成为一个难点,其中关键技术包括建立用于车辆轨迹数据的索引结构及其对应的轨迹数据查询语言。在比较现有轨迹数据索引结构的基础上,对轨迹数据查询语言的分类及其与索引结构之间的调用关系进行了初步的探讨,提出了面向连通关系的查询语言（connectivity-oriented query language, CQL）的定义、分类及实现方法,并简要讨论了车辆轨迹数据查询原型系统的结构和实现方法。     

基于HBase的路网移动对象时空索引方法

在处理路网移动对象时,由于HBase只能采用key查询,不适用于移动对象的多维查询,导致HBase存在存储索引与查询效率不高的问题。针对此问题,在HBase存储结构的基础上设计并实现了一种高效的路网移动对象HBase索引框架（RM-HBase）。首先,对原生HBase索引框架的上层HMaster和下层HRegionServer进行改进,解决分布式集群数据的热点分布问题,提高空间数据的查询效率;其次,提出路网移动索引——RN-tree,解决空间划分中的"死空间"问题,同时提高空间中路段的查询效率;然后,基于上述对HBase的索引改进,分别设计了时空范围查询、时空K最近邻（KNN）查询和移动对象轨迹查询的查询算法;最后,实验选用了同样是基于HBase分布式数据库而提出的时空HBase索引（STEHIX）框架作为对比对象,分别从索引框架的性能和算法的查询效率两个方面对RM-HBase的性能进行分析。实验结果表明,所提的RM-HBase在数据的均衡分布性能和时空查询算法的查询性能方面都优于STEHIX框架,有助于提升海量路网移动对象数据的时空索引效率。     

基于稀疏帧检测的交通目标跟踪

为了获取高速公路交通视频中目标车辆的行驶轨迹,提出一种基于视频的多目标车辆跟踪及实时轨迹分布算法,为交通管理系统和交通决策提供目标车辆交通信息.首先,使用YOLOv4算法检测目标车辆位置及置信度.其次,在不同场景条件下,使用提出的基于稀疏帧检测的跟踪方法,结合KCF跟踪算法,将车辆数据进行关联获取完整轨迹.最后,用车辆分布图和交通场景俯视图显示轨迹,便于交通管理与分析.实验结果表明,提出的跟踪方法在车辆跟踪中有较高的跟踪正确率,同时基于稀疏帧检测的跟踪方法处理速度也较快,实时轨迹分布正确反映了真实场景的车道信息以及目标车辆运动信息.     

面向路网的移动对象全时态高效索引模型

针对现有索引模型的冗余搜索问题,考虑路网拓扑结构及交叉口转向约束条件,提出一种面向路网的移动对象全时态高效索引模型。采用添加临近路段信息的方法索引历史轨迹和实时位置信息,设计新型窗口查询算法,实现移动对象查找,并运用指数平滑法进行轨迹的预测。实验结果表明,该模型具有较好的更新及查询性能。     

不确定性车辆路口的轨迹预测

在城市道路中,实时、准确、可靠地对移动车辆进行轨迹预测具有极高的应用价值,不仅可以提供准确的基于位置的服务,而且可以帮助过往车辆预知前方的交通状况。目前,移动车辆的轨迹预测方法主要基于历史轨迹的欧氏空间进行,并未考虑在受限路网中采用不确定性历史数据的车辆轨迹预测。针对这一问题,提出一种补全路径的基于马尔科夫链的轨迹预测方法,其优势在于:重新定义了补全路径算法,弥补了不确定性历史数据的不完整性,利用马尔科夫链低时间复杂度、高预测准确度的优势实现预测,避免了因频繁模式挖掘带来的查询时间过长而影响预测效率以及存在多余噪声影响轨迹预测准确率的问题。通过真实数据和实验分析表明:在参数设置相同的情况下,该方法比挖掘频繁轨迹模式算法的预测准确率平均提高了18.8%,预测时间平均缩减了80.4%。因此,该方法对于车辆路口的轨迹预测具有较高的预测准确率,并且能预测一系列的车辆未来轨迹。     

Spatio-temporal querying in video databases

A video data model that supports spatio-temporal querying in videos is presented. The data model is focused on the semantic content of video streams. Objects, events, activities, and spatial properties of objects are main interests of the model. The data model enables the user to query fuzzy spatio-temporal relationships between video objects and also trajectories of moving objects. A prototype of the proposed model has been implemented.     

基于时空连续性的运动对象最近邻居查询

时空数据库中的运动对象最近邻居查询是NN Queries中的新问题,基于TPR-TREE索引结构的TP NN Queries算法能较好地处理对象的时态特性,但会多次查询同一对象。本文利用运动对象的时空连续性对TP NN Queries算法进行改进,通过一次查询TPR-TREE索引获取所有候选NN对象与查询对象的距离变化曲线,进而得到NN对象集,减少了查询及时空运算的次数。本文最后给出了实验分析。     

基于关联规则挖掘的伴随车辆发现算法

伴随车辆是公安刑侦部门对海量车辆通行信息检索的一类实战需求,目的是通过模糊条件查询得到潜在的结伴作案车辆,究其本质,可将此类查询转化为数据挖掘中关联规则挖掘问题。通过对公路车辆智能监测记录系统采集的过车数据进行分析,将伴随车辆查询转化为关联规则挖掘,利用数据挖掘技术对过车数据查询问题进行综合分析,实现高效率的伴随车辆查询算法AVD(Accompany Vehicles D iscovery)。算法分析表明,AVD不但能提供准确的伴随车辆查询结果,而且效率高、扩展性强,具有较高的可行性。