基于出租车轨迹数据的城市热点出行区域挖掘

出租车轨迹是蕴含着居民出行行为的地理时空大数据,从出租车轨迹数据中挖掘居民出行的热点区域和移动模式对于城市规划、交通管理等具有重要意义。针对现有热点区域挖掘方法在面对大规模轨迹数据时存在的伸缩性差、计算效率低等问题,提出一种基于网格密度的GScan聚类算法。该算法首先将轨迹空间划分成网格单元,并设定网格单元的密度阈值;然后将轨迹点映射到网格单元,基于密度阈值提取热点网格单元;通过合并可达热点网格单元发现城市的热点区域。以重庆市出租车轨迹载客/卸客点进行实例分析,给出网格单元大小和密度阈值2个参数的设定方法,得到重庆市主城区居民出租车出行热点区域的时空分布,进而分析重庆市居民出行行为。     

基于二级时空分桶的伴随轨迹查询

随着移动传感器设备的普及,人们能够采集到的位置数据越来越多,轨迹数据的规模也越来越庞大.从大规模时空数据中查找与指定轨迹最相似的前k条轨迹一直是时空大数据挖掘的重要挑战之一.现有的相似轨迹查询方法大都包括三个阶段:(1)对海量的离线轨迹数据建立索引;(2)基于索引结构从已知轨迹集中查询与指定轨迹相似的候选轨迹;(3)计算指定轨迹与候选轨迹之间的精确相似度并返回相似度最大的前k条轨迹.但大多数现有方法对轨迹进行聚类索引时不能有效利用时间和空间信息,导致时间相似度不高的轨迹也会被划分到相同的索引项上,最终影响查询的准确性和效率.此外,现有的时空轨迹相似度计算方法存在大量的无效运算,使得相似轨迹的查询效率整体较低.针对当前伴随轨迹查询方法对时间与空间信息利用不充分的问题,本文提出一种新的二级时空分桶索引结构,首先将每条轨迹数据按照时间滑动窗口划分为若干带有时间槽信息的子轨迹,在时间上对轨迹进行一级索引聚类;在此基础上对在相同时间槽内的子轨迹进行二级空间索引聚类,利用哈希算法将具有连续相同位置点的子轨迹映射到同一时空分桶中.与已有索引方法相比,该方法对不同轨迹在索引时具有更好的区分度,查询时的...     

一种面向相似查询的轨迹索引方法

轨迹数据具有重要的应用价值,轨迹索引技术得到广泛的研究与关注。传统索引方法存在节点重叠、缺乏动态划分空间能力和丢失大量原始信息等问题,为此提出一种面向相似查询的轨迹索引方法GeoSAX。该方法将原始轨迹分成若干等长子段并采用基于Geohash的空间编码;对编码后的整条轨迹设计了基于HBase存储的索引架构;实现相似轨迹查询。GeoSAX不仅节点间没有重叠,还能依据数据量的大小对空间动态划分,同时保留指定精度的轨迹信息。在真实的航运和出租车数据集上进行的对比实验表明,与传统方法相比GeoSAX具有更好的轨迹查询性能。     

基于位置变化的轨迹单元划分及索引机制

提出了一种处理对象运动轨迹的时空数据索引机制，根据轨迹中的位置变化的范围提出了轨迹单元的概念，并给出了基于3DR树结构的轨迹单元的划分和索引方法，在尽量保持索引的空间分辨能力的前提下实现对轨迹的合理划分．这种针对轨迹单元的索引机制在有效的支持针对运动对象轨迹的时间片和时间区间查询的同时能够减少索引的节点数，降低频繁的轨迹更新带来的索引维护开销．     

基于MongoDB的轨迹大数据时空索引构建方法

近年来,随着计算机技术与无线传感器网络的发展,轨迹大数据越来越得到人们的关注.针对海量轨迹数据在存储与查询中出现的效率问题,文章基于文档型非关系型数据库MongoDB提出了一套基于四叉树的道路网时空索引,实现海量轨迹数据的高效查询.通过对太原市1915辆出租车的50万条轨迹数据进行时空查询,在不同数据量与不同并发数下测试道路网时空索引与MongoDB复合时空索引的效率表现.实验结果显示道路网时空索引在数据量大于10万时有较好表现,并能够适应不同并发数下的时空查询,验证了道路网时空索引构建方法的可行性和高效性.     

基于时间线段树的城市可达区域搜索

针对城市计算中的可达区域搜索问题，提出一种基于时间线段树的搜索方法。该方法中，设计了存储局部可达区域的时间线段树结构，并提出动态自适应的可达区域搜索算法，从而提高了城市可达区域搜索的效率与准确率。该方法主要包括4个步骤：根据道路速度分布模型和轨迹数据生成道路段的概率时间权重；利用层级跳跃表算法进行短时间可达区域的查询与存储；利用时间线段树对层级可达区域建立高效的索引结构；使用时间线段树索引在道路网络中进行迭代搜索，最终输出可达区域集合。在北京市道路网络和出租车轨迹数据集上进行了大量实验，结果表明，与最新的单点上下界限区域可达查询（SQMB）方法比较，该方法在时间效率和准确率上分别提高了18.6%和25%。     

基于E2LSH的轨迹KNN查询算法

目前海量时空轨迹数据近邻查询算法中存在计算时间复杂度较高的问题,因此提出了一种结合领域POI数据和E2LSH算法的轨迹KNN查询算法。首先利用GeoHash技术对地理空间进行编码,然后结合POI数据实现向量空间的初步降维,进而根据停留时间构建每条轨迹的向量,采用局部敏感哈希函数运算结果建立轨迹索引,最后对查询返回的相似轨迹集合分别进行距离计算,经过排序得到距离最近的K个查询结果。对于增量的轨迹数据,利用E2LSH算法计算哈希值,直接添加轨迹索引,从而避免了复杂的计算过程以及对现有轨迹索引的影响。基于合成数据及真实数据集的实验结果表明,该方法在海量时空轨迹数据的近邻查询中,虽然牺牲了一定的准确率,但有效提升了算法效率,并能够高效简便地处理增量的时空轨迹数据。     

一种基于概率模型的预测性时空区域查询处理

提出了一种基于概率模型的预测性时空区域查询处理方法.该方法采用Filter-Refinement方式来处理查询.首先,从数据库中选择所有可能满足查询的候选移动对象;然后,根据概率模型中定义的方法来计算候选移动对象满足查询的概率;最后,根据查询中指定的最小概率阈值过滤候选移动对象并返回查询结果.该概率模型将移动对象未来可能出现的位置定义为一个随机变量,并给出了计算移动对象在两种不同的运动模式下满足查询的概率值的方法.还提出了一种通过对大量历史轨迹抽样来获得概率密度函数(probability density function,简称PDF)的轨迹分析算法,并设计了概率密度函数索引STP-Index(spatio-temporal PDF-index).该索引能够有效地提高轨迹分析算法和概率计算的效率.实验结果表明,该查询处理方法能够有效地支持预测性时空区域查询的处理,提高查询结果的正确性,特别适合于具有较小的空间区域和长时间范围的预测性时空区域查询.     

基于密度分区的出租车载客热点区域聚类分析

基于城市居民出行的随机性和出租车行驶的机动性，对出租车轨迹数据进行载客热点区域的挖掘，得到城市居民出行规律。由于出租车轨迹数据密度分布不均匀，应用一般的聚类方法效果不佳，因此提出一种基于密度分区的聚类算法。该算法通过求取每个出租车上车点位置数据的局部密度，得到密度峰值点作为簇中心，实现对轨迹数据集基于密度的快速划分，得到不同密度的轨迹数据集，在此基础上进行二次聚类。实验结果表明，该算法可以有效识别不同密度的出租车载客热点区域，提高聚类结果的精确度。     

基于时间线段树的城市可达区域搜索

针对城市计算中的可达区域搜索问题,提出一种基于时间线段树的搜索方法。该方法中,设计了存储局部可达区域的时间线段树结构,并提出动态自适应的可达区域搜索算法,从而提高了城市可达区域搜索的效率与准确率。该方法主要包括4个步骤：根据道路速度分布模型和轨迹数据生成道路段的概率时间权重;利用层级跳跃表算法进行短时间可达区域的查询与存储;利用时间线段树对层级可达区域建立高效的索引结构;使用时间线段树索引在道路网络中进行迭代搜索,最终输出可达区域集合。在北京市道路网络和出租车轨迹数据集上进行了大量实验,结果表明,与最新的单点上下界限区域可达查询（SQMB）方法比较,该方法在时间效率和准确率上分别提高了18.6%和25%。     

时空轨迹序列模式挖掘方法综述

在全球定位、移动通信技术迅速发展的背景下涌现出了海量的时空轨迹数据,这些数据是对移动对象在时空环境下的移动模式和行为特征的真实写照,蕴含了丰富的信息,这些信息对于城市规划、交通管理、服务推荐、位置预测等领域具有重要的应用价值,而时空轨迹数据在这些领域的应用通常需要通过对时空轨迹数据进行序列模式挖掘才能得以实现。时空轨迹序列模式挖掘旨在从时空轨迹数据集中找出频繁出现的序列模式,例如： 位置模式（频繁轨迹、热点区域）、活动周期模式、语义行为模式,从而挖掘时空数据中隐藏的信息。总结近年来时空轨迹序列模式挖掘的研究进展,先介绍时空轨迹序列的数据特点及应用,再描述时空轨迹模式的挖掘过程：从基于时空轨迹序列来挖掘位置模式、周期模式、语义模式这三个方面来介绍该领域的研究情况,最后阐述现有时空轨迹序列模式挖掘方法存在的问题,并展望时空轨迹序列模式挖掘方法未来的发展趋势。     

基于空间近邻查询的移动医疗呼叫算法

随着大数据时代的到来，传统的计算机因为单机资源有限、运行速度慢、分布式处理支持差，已满足不了现行的医疗体系中的大数据处理需求，基于时空数据的移动医疗呼叫系统方法可以很好地解决这些问题。在移动云计算环境下研究[k]最近邻查询算法是当前一个热点问题，支持可扩展和分布式的空间数据索引对于kNN查询的效率影响很大，目前已有的查询算法不适合并行化或者会导致内容冗余。将MapReduce分布式处理技术与空间kNN查询方法相结合，设计可以快速检索到满足用户查询需求的医生位置信息的移动医疗呼叫算法。提出并构建了一个新的分布式空间数据索引方法：倒排Voronoi图索引，它将倒排索引和Voronoi图索引进行结合；提出了一种基于MapReduce的利用Voronoi图来处理kNN查询的高效算法，其在分布式环境下可以有效提高查询效率；用真实的和仿真的数据集来进行大量实验评估，实验结果表明所提出的方法具有良好的高效性和可扩展性。     

基于HBase的路网移动对象时空索引方法

在处理路网移动对象时,由于HBase只能采用key查询,不适用于移动对象的多维查询,导致HBase存在存储索引与查询效率不高的问题。针对此问题,在HBase存储结构的基础上设计并实现了一种高效的路网移动对象HBase索引框架（RM-HBase）。首先,对原生HBase索引框架的上层HMaster和下层HRegionServer进行改进,解决分布式集群数据的热点分布问题,提高空间数据的查询效率;其次,提出路网移动索引——RN-tree,解决空间划分中的"死空间"问题,同时提高空间中路段的查询效率;然后,基于上述对HBase的索引改进,分别设计了时空范围查询、时空K最近邻（KNN）查询和移动对象轨迹查询的查询算法;最后,实验选用了同样是基于HBase分布式数据库而提出的时空HBase索引（STEHIX）框架作为对比对象,分别从索引框架的性能和算法的查询效率两个方面对RM-HBase的性能进行分析。实验结果表明,所提的RM-HBase在数据的均衡分布性能和时空查询算法的查询性能方面都优于STEHIX框架,有助于提升海量路网移动对象数据的时空索引效率。     

面向轨迹流数据的索引构建与存储方法研究

移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长,要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询,而现有HBase等数据存储方案因索引更新开销过高无法满足该需求。针对时空数据流的应用特性,提出一种数据流内存索引及存储方法。根据键值和时间范围对历史与增量数据元组进行物理分区,将其以模板B+树的形式写入内存并构建索引以增强快速写入和查询能力,同时对数据进行压缩存储提升索引效率。在此基础上,采用多级索引根据数据分区将复杂查询分解为可独立处理的子查询。实验结果表明,与传统HBase、WaterWheel等方法相比,该方法在不同数据插入和查询条件下的数据存储性能与查询效率更优。     

基于K-means算法的轨迹数据热点挖掘算法

针对渔船轨迹数据具有时间序列性、数量大的特点,提出一种轨迹热点挖掘算法。该算法克服了K-means算法在渔船轨迹数据上无法捕捉热点分布的缺点。其主要的思想是：首先使用时间维度来处理数据,以置信度和KL散度作为衡量所选取数据的可靠性、正确性依据,从大量的轨迹数据中选取信息含量较高的数据,然后使用K-means聚类算法进行数据的聚类。本文所提出的算法只需要设定显著水平参数a和时间间隔T,算法本身就可通过时间维度处理数据的方法自主完成数据的选择以及置信度、KL散度的计算,并引入聚类有效性度量的方法,使K-means通过自我寻找K值来实现热点挖掘的整个过程。在渔船轨迹数据上进行本文算法与K-means算法的对比实验和数据热力图的参照实验,结果显示本文所提的算法在寻找轨迹数据热点上有优越性和正确性。     

车辆监控系统中时空数据模型设计与实现

针对车辆监控GIS系统中车辆对象轨迹数据变化频率较高、数据量大的特点，首先分析了当前常用的几种数据存储方法，然后在时空立方体模型基础上，提出通过切分时空立方体，形成单元时空立方体，并建立轨迹版本的建模思想。对模型的实现和基于此模型的时空查询算法进行了详细阐述。验证表明该模型能满足实际应用的需要，在减少存储和时空查询性能上有较大提高。     

数据流环境下基于距离的离群点检测算法

面向滑动窗口的连续离群点检测问题是数据流管理领域中的重要问题.该问题在信用卡欺诈检测、网络入侵防御,地质灾害预警等诸多领域发挥着重要作用.现有算法大多需要利用范围查询判断对象之间的位置关系,而范围查询的查询代价大,无法满足实时性要求.本文提出基于滑动窗口模型下的查询处理框架GBEH(grid-based excepted heap).首先,它以网格为基础构建索引GQBI(grid queue based index)管理数据流.该索引一方面维护数据流之间的位置关系,另一方面利用队列维护数据流的时序关系.其次, GBEH提出离群点检测算法PBH(priority based heap).该算法利用查询范围与网格单元格的相交面积计算该单元格中包含于查询范围对象数目的数学期望,并以此为基础构建基于小顶堆执行范围查询,从而有效降低范围查询代价,实现高效检测.理论分析和实验验证GBEH的高效性和稳定性.     

轨迹数据库中热门区域的发现

发现被移动对象频繁造访的热门区域是从轨迹数据库中挖掘运动模式的重要前提,而合理约束热门区域的大小是提高轨迹模式的精确表达能力的关键。研究如何从轨迹数据库找出热门区域及如何限制其大小。定义了带有覆盖范围约束的热门区域,并采用过滤-精炼策略发现热门区域。在过滤阶段,设计了一种基于网格的密集区域发现近似算法以提高发现效率;在精炼阶段,提出了基于趋势和差异性的度量指标,实现了对应区域重构算法及重构参数启发性选择算法,保证了从密集区域中有效提取出符合覆盖范围约束的热门区域。在真实数据集上验证了该工作的有效性。     

基于HBase和Hive的航班延误平台的存储方法

针对我国目前航班延误平台的移植难、可扩展性差,无法适应民航高速发展所带来的大数据量存储的现状,设计了面向大数据的跨平台、高适用性与高扩展性的航班延误平台。该平台以大数据工具LeafLet为可视化载体,在地图界面实时显示航班轨迹并将轨迹数据加载至HBase数据库中,并且利用信息摘要算法（MD5）重新设计与优化航班数据表的行键,以解决其递增的飞行时间特性产生的"热点"问题;针对HBase过滤器多级查询的缺陷,提出了基于SolrCloud的关联查询算法,利用SolrCloud实现对行键与索引字段的分层存储,从而实现HBase二级快速索引;最后在HBase的历史航班数据与飞行计划数据基础上,构建基于Hive的海量航班信息数据仓库。实验结果显示,航班延误大数据平台的可扩展性与搭建的航班信息数据仓库可以满足民航对数据集中统一存储的需求,而多条件查询的响应速度与无二级索引的集群相比提高了上百倍,并且这种优势随着航班数据量的增长愈发明显。     

基于iMeMex数据模型的数据空间索引方法研究

目前,个人和组织的信息呈现急剧增长趋势,且非结构化数据所占比重在不断增加,这些属于某个主体的海量、分布、异构和共存的数据构成了一个异构数据空间,如何为用户提供高效、便捷和多样化的搜索查询服务是数据空间面临的巨大挑战,为数据空间中异构数据构建高效的索引方法是解决这一问题的基础。对iMeMex数据模型的特点和数据空间中查询方法进行了分析,在此基础上通过扩展倒排列表方法,提出了一种基于iMeMex数据模型的索引方法,来提高对数据空间中异构数据的搜索查询效率。新的索引方法通过扩展倒排列表的关键字列和链表节点信息索引资源视图,来支持和提高关键字查询、谓词查询和路径查询的处理效率。实验结果表明,该索引方法能够有效、可行地解决数据空间中异构数据索引和查询效率问题。