无线传感网最大剩余能量索引数据分发算法

提出一种基于索引和局部存储的(Index and Local Storage-based,ILS)数据分发算法MREIB-DD.对于ILS类型的数据分发算法,一个事件的监测数据被存储在该数据的监测节点或监测节点的邻居节点.一个存储节点仅当接收到一个来自Sink的查询,才把监测数据发送至Sink.MREIB-DD算法选择网络中有最大剩余能量的节点存储索引信息,传感器节点监测到数据时向索引节点发送该数据的有关索引信息.用户的查询信息先到达索引节点,索引节点把查询转发到数据存储点,存储点对查询进行响应.此算法避免了感知数据的网内传输和查询泛洪带来的开销,分析表明该算法性能优于GHT-DCS算法而复杂度增加较少,是能量高效的数据分发算法.     

无线传感网最大剩余能量索引数据分发算法

提出一种基于索引和局部存储的（Index and Local Storage—based,ILS）数据分发算法MREIB—DD。对于ILS类型的数据分发算法,一个事件的监测数据被存储在该数据的监测节点或监测节点的邻居节点。一个存储节点仅当接收到一个来自Sink的查询,才把监测数据发送至Sink。MREIB-DD算法选择网络中有最大剩余能量的节点存储索引信息,传感器节点监测到数据时向索引节点发送该数据的有关索引信息。用户的查询信息先到达索引节点,索引节点把查询转发到数据存储点,存储点对查询进行响应。此算法避免了感知数据的网内传输和查询泛洪带来的开销,分析表明该算法性能优于GHT—DCS算法而复杂度增加较少,是能量高效的数据分发算法。     

HBase中基于时空特征的监测视频大数据关联查询研究

针对传统的时空索引构建、维护困难且实时查询效率低等问题,首先提出基于HBase的时空索引构造方法。该方法采用HBase作为监测视频大数据时空特征索引结构,通过Z填充曲线对空间特征进行降维存储,并利用时间、空间和属性特征之间的关联及依赖规则来安排rowkey索引键,可有效解决传统的时空索引构建、维护困难的缺陷。此外,针对传统的时空索引实时查询效率低的问题,进一步提出了基于Z曲线的时空关联查询算法,该算法对查询空间计算Z值范围和建立空间划分子集,利用划分后的时空特征进行列索引查询得到候选数据集并反查HBase索引表完成关联查询。实验结果表明,与传统的R树索引算法相比,提出的基于HBase的时空索引构造方法索引插入效率更高,提出的基于Z曲线的时空关联查询算法能够快速高效地处理时空关联查询。     

面向大数据流的分布式索引构建

大数据流的高效存储与索引是当今数据领域的一大难点.面向带有时间属性的数据流,根据其时间属性,将数据流划分为连续的时间窗口,提出了基于双层B+树的分布式索引结构WB-Index.下层B+树索引基于窗口内流数据构建,索引构建过程结合基于排序的批量构建技术,进一步对时间窗口分片,将数据流接收、分片数据排序以及B+树构建并行化,提高了构建性能.上层B+树索引基于各时间窗口构建,结合时间窗口时间戳的递增性和无限性,提出了避免节点分裂的构建方法,减少了B+树分裂移动开销,提高了空间利用率和更新效率.WB-Index架构中,将流数据和索引分离,同时利用内存缓存尽可能多的双层B+索引和热点数据来提高查询性能.理论和实验结果表明,该分布式索引架构能够支持高效的实时数据流写入以及流数据查询,能够很好地应用于具有时间属性的数据流场景.     

MIS:无线传感器网络中一种基于多级映射索引的存储方法

合理的数据存储策略是节约无线传感器网络能量的重要手段之一,但是目前提出的存储方法往往没有考虑周期查询和ad hoc查询并存的情况,以及网络拓扑和查询响应时间约束等因素,因而会对系统带来额外的开销.提出了一种基于多级映射索引的数据存储方法,综合周期查询的响应时间约束和网络拓扑结构对网络分层,并在每层建立相应的数据索引,使处于不同层次的节点采用不同的数据存储方式,同时支持大量的ad hoc查询.实验证明,这种基于多级映射索引的数据存储方法能够大量地节约能量,并保证在有限的响应时间内处理更多的节点数据并返回结果.     

基于简单再生码的带宽感知的分布式存储节点修复优化

分布式存储系统为保证可靠性会采用一定存储冗余策略如多副本策略、纠删码策略.纠删码相对于副本具有存储开销小的优点,但节点修复网络开销大.针对修复网络开销优化,业界提出再生码与以简单再生码为代表的局部可修复码,显著降低了修复网络开销.然而,现有基于编码的分布式容错存储方案大都假设节点处于星型逻辑网络结构中,忽略了实际的物理网络拓扑结构和带宽信息.为实现拓扑感知的容错存储优化,相关研究在纠删码和再生码修复过程结合网络链路带宽能力,建立树型修复路径,进一步提高了修复效率.但由于编码和修复过程的差异性,上述工作并不适合于简单再生码修复.针对该问题,本文结合实际物理网络拓扑结构,将链路带宽能力引入到简单再生码的修复过程中,对带宽感知的简单再生码修复优化技术开展研究.论文建立了带宽感知节点修复时延模型,提出了基于最优瓶颈路径和最优修复树的并行修复树构建算法.并通过实验对所提算法性能进行了评估.实验结果表明,与星型修复方式相比,论文所提算法有效地降低了节点修复时延,提高了修复效率.     

面向轨迹流数据的索引构建与存储方法研究

移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长,要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询,而现有HBase等数据存储方案因索引更新开销过高无法满足该需求。针对时空数据流的应用特性,提出一种数据流内存索引及存储方法。根据键值和时间范围对历史与增量数据元组进行物理分区,将其以模板B+树的形式写入内存并构建索引以增强快速写入和查询能力,同时对数据进行压缩存储提升索引效率。在此基础上,采用多级索引根据数据分区将复杂查询分解为可独立处理的子查询。实验结果表明,与传统HBase、WaterWheel等方法相比,该方法在不同数据插入和查询条件下的数据存储性能与查询效率更优。     

基于刻面描述的数据空间原型系统

提出一种基于刻面描述的数据空间存储模型(FADSM).以FADSM模型为基础构建一个数据空间原型系统,实现对数据空间中异构异质数据源内部及外部属性的提取,以Pay as you go的管理模式实现统一管理,并提供对数据源添加、删除和浏览、索引等数据源管理功能以及数据源索引、查询和数据空间演化功能.     

分布式网络下改进的Top-k查询算法

现有Top-k查询算法主要运用在集中式关系型数据库中,当应用于分布式网络时会产生巨大的通信开销,导致算法效率低下。为此,提出一种改进的Top-k查询算法,利用预处理索引表对分布式网络中无关数据进行裁剪,在此基础上建立包含正确Top-k结果的候选子集并实现Top-k查询。实验结果表明,与Fagin和Naive Top-k查询算法相比,改进算法获得的查询结果更准确,运行时间更短,网络开销更小。     

基于HBase的多维索引查询机制的优化

键值存储旨在从非常大的数据量中提取值,同时具有高可用性、容错性和可伸缩性,因此提供了非常需要的基础设施来支持基于位置的服务（LBS）。然而,多维数据上的复杂查询不能有效地处理,因为键值存储不提供访问多个属性的方法。针对键值存储HBase不能有效处理多维数据的问题,提出了一个统一的索引框架——New-grid,使键值存储HBase支持多维查询。在改进的P-grid覆盖网络中,组织了一组节点,提供了高效的数据分布、容错和多维数据的查询处理。为了进行索引,使用基于Hilbert空间填充曲线来保存数据的局部性,从而有效地管理键值存储中的多维数据。同时使用HBase底层存储管理数据,并提出了一种范围查询和K最近邻查询的算法,以消除维护单独索引表的开销。在Amazon EC2上使用4、8和16个普通节点的集群进行了广泛的实验。实验结果表明,New-grid的性能相比MD-Hbase以及MapReduce更优。