HBase中基于时空特征的监测视频大数据关联查询研究

针对传统的时空索引构建、维护困难且实时查询效率低等问题,首先提出基于HBase的时空索引构造方法。该方法采用HBase作为监测视频大数据时空特征索引结构,通过Z填充曲线对空间特征进行降维存储,并利用时间、空间和属性特征之间的关联及依赖规则来安排rowkey索引键,可有效解决传统的时空索引构建、维护困难的缺陷。此外,针对传统的时空索引实时查询效率低的问题,进一步提出了基于Z曲线的时空关联查询算法,该算法对查询空间计算Z值范围和建立空间划分子集,利用划分后的时空特征进行列索引查询得到候选数据集并反查HBase索引表完成关联查询。实验结果表明,与传统的R树索引算法相比,提出的基于HBase的时空索引构造方法索引插入效率更高,提出的基于Z曲线的时空关联查询算法能够快速高效地处理时空关联查询。     

面向轨迹流数据的索引构建与存储方法研究

移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长,要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询,而现有HBase等数据存储方案因索引更新开销过高无法满足该需求。针对时空数据流的应用特性,提出一种数据流内存索引及存储方法。根据键值和时间范围对历史与增量数据元组进行物理分区,将其以模板B+树的形式写入内存并构建索引以增强快速写入和查询能力,同时对数据进行压缩存储提升索引效率。在此基础上,采用多级索引根据数据分区将复杂查询分解为可独立处理的子查询。实验结果表明,与传统HBase、WaterWheel等方法相比,该方法在不同数据插入和查询条件下的数据存储性能与查询效率更优。     

移动对象XML数据库的存储与索引

如何对移动对象的XML数据记录进行快速的查找,关键在于合理地存储模型与索引结构。为了减少时空条件索引时的文件I/O操作,提出一个移动对象XML数据存储模型（时空XML存储模型）,基于这个模型给出了通过一定时空条件对XML数据记录进行聚集的ATS（Append Track node to Spatial node）算法。针对3DR树的缺点与时态条件在移动对象索引中的重要性,提出了HSTR（Hashing-Spatio-Temporal-Rtree）与HC3DR（Hashing-Changing-3DRtree）两种复合索引结构,能够有效地支持涉及时空条件的查询。实验结果表明,时空XML存储模型与两种索引提高了查询效率。     

路网中高吞吐量移动对象实时查询算法

随着无线通信技术、空间定位技术和移动计算技术的快速发展,基于位置的查询成为数据库领域的一个重要研究问题。研究了路网中移动对象的KNN查询,一系列的算法被提出用于解决移动对象的KNN查询问题。然而,这些算法关注于查询的快速响应问题或者专注于解决移动对象的快速更新问题。随着移动对象数量的不断增加,当查询和更新大量涌入时,吞吐量成为一个更重要的问题。针对移动对象的更新数据流和查询数据流,提出了一种基于内存的高吞吐量移动对象KNN查询算法——DSRNKNN算法,用于处理路网中移动对象的KNN查询。DSRNKNN算法采用了基于快照的模式。在每个快照中,DSRNKNN算法通过重新构建索引的方式避免了复杂的索引维护操作,充分发挥了硬件的性能;通过每次执行一组查询的方式,充分利用查询内和查询间的并行,增加了数据的局部性,提高了算法的效率。在基于实际路网生成的数据集上对算法进行了测试,实验验证了DSRNKNN算法具有很好的性能表现。     

面向海量交通数据的HBase时空索引

针对HBase无法直接建立时空索引所带来的交通数据查询性能问题,基于HBase行键设计了面向海量交通数据的HBase时空索引。首先利用Geohash降维方法将二维空间位置数据转化为一维编码,再与时间维度进行组合;然后根据组合顺序的不同,提出了四种结构模型,分别讨论了模型的具体构成以及交通数据查询中的适应面;最后提出了相应的时空索引管理算法及基于Hbase时空索引的交通数据查询方法。通过实验验证了提出的HBase时空索引结构能有效提升海量交通数据的区域查询性能,并比较了四种时空索引结构在不同数据规模、不同查询半径以及不同时间范围的查询性能,量化验证了不同索引结构在交通数据查询中的适应场景。     

MOQ-QR:基于QR-树的连续K近邻查询算法研究*

综合分析了R-树和四叉树在处理移动对象的连续K近邻（简称CKNN）查询算法中的不足,提出了一种基于R树和四叉树索引结构,去解决移动对象连续K近邻查询算法。该算法通过对移动对象分配静态空间,并在研究区域内利用QR-树和hash表作为索引去存储移动对象以此计算查询点与移动对象之间的空间距离。实验证明,该算法与现有算法相比,不仅提高了数据的查询效率,而且降低了系统资源的消耗。     

基于HBase的多维索引查询机制的优化

键值存储旨在从非常大的数据量中提取值,同时具有高可用性、容错性和可伸缩性,因此提供了非常需要的基础设施来支持基于位置的服务（LBS）。然而,多维数据上的复杂查询不能有效地处理,因为键值存储不提供访问多个属性的方法。针对键值存储HBase不能有效处理多维数据的问题,提出了一个统一的索引框架——New-grid,使键值存储HBase支持多维查询。在改进的P-grid覆盖网络中,组织了一组节点,提供了高效的数据分布、容错和多维数据的查询处理。为了进行索引,使用基于Hilbert空间填充曲线来保存数据的局部性,从而有效地管理键值存储中的多维数据。同时使用HBase底层存储管理数据,并提出了一种范围查询和K最近邻查询的算法,以消除维护单独索引表的开销。在Amazon EC2上使用4、8和16个普通节点的集群进行了广泛的实验。实验结果表明,New-grid的性能相比MD-Hbase以及MapReduce更优。     

基于内存的HBase二级索引设计

在大数据时代,具有海量数据存储能力的HBase已被广泛应用。HBase只对行键进行了索引优化,对非行键的列未建立索引,这严重影响了复杂条件查询的效率。针对此问题,提出了基于内存的HBase二级索引方案。该方案对需要查询的列建立了映射到行键的索引,并将索引存储在Spark搭建的内存环境中,在查询时先通过索引获取行键,然后利用行键在HBase中快速查找对应的记录。由于列的基数大小和是否涉及范围查询决定了建立索引的类型,故针对三种不同情况构建了不同类型的索引,并利用Spark内存计算、并行化的特点来提高索引的查询效率。实验结果表明,该二级索引具有较好的查询性能,查询时间小于基于Solr的二级索引,可以解决HBase中因非行键的列缺乏索引导致查询效率较低的问题,提高基于HBase存储的大数据分析的查询效率。     

一种基于二层网格的移动对象B+树索引

在已有的基于空间分割的移动对象B+树索引基础上,提出一种分割空间的新方法,对空间进行二层网格分割,使空间分割很好地解决由移动对象在空间中分布不均造成的索引效率下降的问题。给出基于这种索引结构的Range查询和kNN查询算法。实验结果表明, 该索引结构的性能基本不受移动对象分布的影响。     

分布式环境下大规模移动对象范围查询算法

移动对象的连续范围查询是许多基于位置的服务的核心问题。针对该问题,提出一种面向大规模移动对象并发范围查询的分布式搜索方法。首先,设计了一种由全局网格索引（GGI）和局部弹性四叉树构成的移动对象分布式动态索引（DDI）结构。其次,提出了一种基于DDI结构的分布式查询算法（DSA）,该算法首先引入了一种在移动对象和查询点的位置连续变化的情况下的查询结果增量更新策略;然后,在增量更新过程中引入一种面向多并发查询的共享计算优化策略,该策略能够根据已有计算结果对移动对象范围查询结果进行增量搜索。最后,基于德国路网模拟了3个具有不同空间分布的移动对象数据集,将DSA与NS(Naive Search)、GI(Grid Index)和分布式混合索引（DHI）进行对比。实验结果表明,与性能最好的对比算法DHI相比,DSA的初始查询时间减少了22.7%,增量查询时间减少了15.2%,性能优于对比算法。     

时空相点移动对象数据索引PM-Tree

随着移动定位技术和无线通讯技术发展,移动对象的应用领域越来越广阔.位置随时间而变化的移动对象产生的时空数据具有规模大、多维性、结构复杂和关系复杂等特点.由于移动对象的运动轨迹大多被限定在特定的交通网络中,因此基于路网的移动对象索引成为时空数据索引研究的一个重要应用分支.目前,针对移动对象历史数据的区域查询优化的研究重点...     

基于LRS与GDF的移动对象轨迹建模及索引*

针对当前基于受限网络的移动对象管理研究中道路网模型简单,以及以空间平面坐标表达移动对象位置的方法不适合于道路网应用的问题,采用交通应用中流行的GDF路网模型并结合线性参考系统设计了一种针对道路网络的移动对象索引模型。与FNRtree及相关改进的索引方法相比,该方法在移动对象位置更新及添加上有更高的效率,在相关查询上结果更加合理。     

一种车辆移动对象相似轨迹查询算法

车辆移动对象的相似轨迹查询问题是当前移动对象数据管理研究中的一个热点,可以应用在车辆缉查防控、出行规律分析及城市道路规划等诸多领域.当前,随着车辆移动对象监测手段的不断丰富,车辆移动对象数据逐渐表现出流式不间断产生、数据量急剧增大的特征.现有的移动对象相似轨迹查询方法在面对具有上述特征的车辆移动对象数据时在查询正确性和查询效率方面暴露出诸多问题.论文针对这种大规模车辆移动对象数据流下的相似轨迹查询问题,提出一种基于双阈值支持度的车辆移动对象相似轨迹查询算法,该算法通过对车辆移动对象数据的预处理来减少查询中涉及的移动对象数据量,以提高移动对象相似轨迹查询的效率,同时保证查询正确性.实验表明,该文提出的算法,在保障正确查询相似轨迹的前提下,效率比传统相似轨迹查询算法提高很多.     

A Comparison Study of Moving Object Index Structures

The task of selecting the most appropriate method for indexing the data according to application requires a careful comparison study of indices of interests. In particular, we consider object movements by tracing their trajectories within a predefined road network. MV3DR-tree and 3DR-tree constitute our first group indexing the objects moving in free movement scenarios. Besides, Mapping and MON-tree are the second group indexing the locations of objects moving over a network of road. Those access methods mainly organize a group of R-tree in order to index the underlying road network and the object movements. Our goal in this study is to evaluate existing proposals under fair circumstances with respect to storage consumption and spatio-temporal query execution performance. In our comparisons, we discuss the structure’s sensibility to query’s spatial and/or temporal extent as well as the tradeoff arising between two groups in terms of reliability and disk access performance. We believe that revealing the vulnerabilities of the selected structures, especially Mapping and MON-tree motivates us to design more robust organizations.     

复杂障碍空间中基于移动对象运动规律的不确定轨迹预测

现有移动对象的轨迹预测大部分是针对路网空间,然而在实际地理环境中往往存在障碍物,移动对象的运动基本在障碍空间中进行。近年来,已有较多关于路网空间中移动对象轨迹预测的研究以及障碍空间中障碍范围查询、最近邻查询等的研究,但是目前尚没有障碍空间中移动对象不确定轨迹预测的相关研究。为此,提出障碍空间中基于移动对象运动规律的不确定轨迹预测方法。首先,利用障碍物之间的区域关系对障碍空间进行剪枝;其次,提出障碍空间期望距离概念,对障碍空间的轨迹数据进行轨迹聚类,从而挖掘移动对象的热点区域;然后,根据各热点区域间的障碍距离和历史访问习惯得到转移的综合概率,提出基于移动对象运动规律的轨迹预测算法;最后,通过实验验证了算法的准确性和高效性。     

面向路网的移动对象全时态高效索引模型

针对现有索引模型的冗余搜索问题,考虑路网拓扑结构及交叉口转向约束条件,提出一种面向路网的移动对象全时态高效索引模型。采用添加临近路段信息的方法索引历史轨迹和实时位置信息,设计新型窗口查询算法,实现移动对象查找,并运用指数平滑法进行轨迹的预测。实验结果表明,该模型具有较好的更新及查询性能。     

一种适合于频繁位置更新的网络受限移动对象轨迹索引

移动对象索引是支持海量移动对象管理的一项关键技术.目前的移动对象时空轨迹索引方法如STR-Tree、TB-Tree、FNR-Tree、MON-Tree等均直接以轨迹单元作为基本的索引记录单位,在位置更新时需要频繁地在索引中插入新的记录,从而严重地影响了数据库的总体性能.为了解决上述问题,文中提出一种网络受限移动对象的动态概略化轨迹R树索引(DSTR-Tree).DSTR-Tree将索引空间划分成等距格栅,并通过格栅单元对每一条移动对象轨迹进行概略化,然后以概略化轨迹单元为基本索引记录单位建立R树索引.由于概略化轨迹的粒度大大粗于原始轨迹,因此移动对象不需要在每次位置更新的同时触发索引更新,而仅需要在轨迹跨越当前格栅单元时才进行索引更新,从而显著地降低了索引更新的代价.实验结果表明,DSTR-Tree在移动对象数据库频繁位置更新的实际运行条件下,提供了良好的索引维护及总体查询处理性能.     

时间依赖路网上的移动对象K近邻查询算法

随着基于位置服务的广泛应用,时间依赖路网上的对象查询逐渐成为研究热点。以往研究大多只针对时间依赖路网上的静态对象(如加油站、餐厅等),未考虑到移动对象(如出租车)的情况,而移动对象的查询在日常生活中有着非常广泛的应用场景。因此,文中提出了一种针对时间依赖路网上的移动对象K近邻查询算法TD-MOKNN,该算法分为预处理阶段和查询阶段。在预处理阶段,通过建立路网和网格索引,提出了一种新的移动对象到路网的映射方法,解除了以往研究假设移动对象恰好在路网顶点上的限制;在查询阶段,采用启发式搜索,借助倒排网格索引计算了一种新的高效启发值,通过预处理信息和启发值设计了高效K近邻查询算法,并给出了算法的正确性证明和时间复杂度分析。实验验证了所提算法的有效性,相比现有算法,TD-MOKNN算法在遍历顶点数和响应时间上分别减少了55.91%和54.57%,查询效率平均提升了55.2%。