传感器网络中一种支持多分辨率区域查询的数据存储方法

在传感器网络中,考虑到节点的通信开销在节点总能量开销中的比重大,以及用户由粗到细分辨率的不同查询需求,有必要在传感器网络中建立支持多分辨率的数据存储机制.首先提出了一种支持多分辨率的数据压缩存储策略 MDCS,节点基于 MDCS在网内产生多分辨率的近似结果;其次,给出了一种基于 MDCS的区域查询处理方法,根据用户给定的分辨率阈值去网内作区域查询处理,并将结果返回给用户.模拟实验表明,基于 MDCS的区域查询处理方法能够高效、低能耗地支持多分辨率的区域查询操作.     

基于虚拟环的无线传感网节能数据存储与查询机制

为了提高无线传感器网络的数据存储以及查询效率,同时尽可能地减少网络的能量消耗,延长网络正常工作的生命周期,提出一种基于虚拟环的节能数据存储与查询机制。该机制将传感器网络域划分成许多虚拟的环形网络,再通过基于最小网络能量消耗量的价值成本函数来定义集合环,通过集合环来执行事件数据的存储及查询任务。仿真结果表明,相比SDS方案以及其他节能的数据存储方案,该方案在延长网络的生命周期、提高能量利用效率上均获得了更好的效果。     

传感器网络中基于环的负载平衡数据存储方法

传统的以数据为中心的存储方法有一个非常严重的缺点:网络中存在着明显的热点区域,主要出现在sink和home节点周围.位于热点区域附近的节点所消耗的能量远大于网络内的其他节点,从而严重缩短了传感器网络的寿命.对于出现在sink周围的热点问题,采用在网络中分布多个sink节点的方式消除热点.对于出现在home节点周围的热点问题,提出基于环的负载平衡数据存储协议,并以此数据存储为基础,给出相应的查询处理算法消除热点.首先,负载平衡数据存储协议将传感器网络划分为多个环,在网络工作的某个时间段内,数据被分散存储在某个环内的多个节点上;其次,该存储结构的最大特点是,在不同时间段内,各环轮换工作进一步消除热点.最后,基于环的查询处理算法也是由环内的多个节点协作完成.基于环的负载平衡数据存储协议以及基于此存储协议的查询处理算法虽然在查询处理中所消耗的能量高于传统方法,但可以保证从数据存储到查询处理的整个过程中,网络的所有节点均匀地消耗能量,从而避免了传统方法中的热点问题,达到延长网络寿命的目的.实验表明,基于环的数据存储及查询处理算法可以解决传统上基于事件存储协议中出现的热点问题,并延长传感器网络的寿命.     

传感器网络中基于蚁群算法的实时查询处理

无线传感器网络因不同应用而被广泛部署于各种场合,通常被视为分布式数据库.可以通过向该类数据库发布查询请求来获取事件相关的响应信息.一些具有实时需求的应用对查询时延要求较高,而目前存在的查询算法通常不能很好地满足实时查询应用的需求.针对此类特定应用,提出了基于蚁群优化的实时查询处理算法,该算法采用基于事件重要性的分环存储策略和基于蚁群算法的分布式搜索机制,充分利用蚁群优化算法的自组织和正反馈等特征,综合提高查询处理算法的节能性、实时性及查询请求接受率,为分布式动态并行实时查询应用提供新的思路.执行过程仅需局     

MIS:无线传感器网络中一种基于多级映射索引的存储方法

合理的数据存储策略是节约无线传感器网络能量的重要手段之一,但是目前提出的存储方法往往没有考虑周期查询和ad hoc查询并存的情况,以及网络拓扑和查询响应时间约束等因素,因而会对系统带来额外的开销.提出了一种基于多级映射索引的数据存储方法,综合周期查询的响应时间约束和网络拓扑结构对网络分层,并在每层建立相应的数据索引,使处于不同层次的节点采用不同的数据存储方式,同时支持大量的ad hoc查询.实验证明,这种基于多级映射索引的数据存储方法能够大量地节约能量,并保证在有限的响应时间内处理更多的节点数据并返回结果.     

两种新的push-pull平衡的大数据量无线传感器网络数据分发算法

无线传感器网络中如何获得较低的通信代价同时在事件数据的push和pull之间实现更好的平衡是各种数据分发算法共同追求的目标,分析了目前已公认较好的两种典型的有结构和无结构的数据分发算法,指出了它们的优缺点,在此基础上,结合这两种算法使用的push-pull策略,针对不同应用环境下的无线传感器网络的ALL型查询的特定需求,提出了两种基于有结构和无结构存储模式相结合的混合型数据分发算法,分别是Hybrid-Dcs-Cnl(HDC1)算法和Hybrid-Dcs-Cn2(HDC2)算法,分析表明这两种算法在保证push-pull之间平衡的前提下解决了已有算法存在的热点问题:存储拷贝数多和查询性能低,能更好地适应传感器网络的特点,是两种能量高效的数据分发算法.     

大规模无线传感器网络中基于振荡轨迹的数据存储与发现机制

在大规模无线传感器网络中,在不存在基站节点的情况下,节点组成对等网络,任何一个节点都有可能成为数据消费者节点或者数据生产者节点.传感器网络是一种资源受限的自组织网络,节点的能量和计算能力不足以支持复杂协议的设计.如何让随机产生的消费者节点和生产者节点能够有效迅速地发现对方并进行数据查询工作是传感器网络研究中的一个难点.利用数据为中心的存储策略,提出了一种振荡轨迹的数据存储发现机制.该方案要求消费者节点和生产者节点将查询或者数据存储到相应的振荡路径上.该方案不需要节点存储全局的网络信息,每个节点根据局部信息和预设的反射角度进行路由选择和数据转发.理论上,所有的振荡轨迹满足两两相交的特性,保证了数据查询成功率,而且消费者节点在查询数据时所需要的跳步距离是有界的,同时该方案能够保证数据负载的平衡.     

基于RCFile的无线传感器网络数据存储策略研究

随着无线传感器网络技术的发展,其应用价值遍布环境监测、工农业、抢险救灾、军事国防、生物医疗等许多领域.由于无线传感器网络特征与节点特点,其数据存储与查询策略研究成为热点.对已有的数据存储策略进行了详细介绍与研究,并分析它们的优缺点;其次结合大数据中一种高效的数据存储结构——RCFile,并将其应用到传感器网络的数据存储中,结合行列存储的优势,改变数据存储结构,提出了一种基于RCFile的无线传感器数据存储算法(Wireless sensor network Data Storage based on RCFile,WDSR),并给出了仿真结果分析.仿真结果表明,提出的算法在低能耗、高效率方面存在一定优势.最后指出了无线传感器网络数据存储算法的发展方向.     

SQLite在无线传感器网络中的应用研究

无线传感器网络是以数据为中心的,如何高效地管理好数据,从而加快无线传感器网络的应用部署,已成为数据库技术研究的热点领域.本文提出将嵌入式数据库SQLite应用于无线传感器网络中的数据管理,并且给出了具体的应用架构,本架构在无线传感器网络中通过提供元数据管理、支持SQL语言查询、网络拓扑管理等功能,来确保网络的数据管理的高效、准确、节能.     

一种基于语义的无线传感器网络路由算法

在无线传感器网络中,为了监测多个事件,监测区域可能需要布置多种不同类别的传感器节点以监测不同的事件属性,通过对每个传感器节点感知属性信息的融合处理,来判别事件是否发生。如何快速地将生成的事件路由到sink节点是个重要的研究课题。文中将传统的路由算法与分布式事件存储和语义思想相结合,提出了一种基于语义的无线传感器网络路由算法。在该算法中,一个传感器节点只需要关心自己通信范围内的邻居节点,不需要知道整个网络的状况,算法具有冗余数据少,节能性好,网络生存周期比较理想,实现简单等特点。该算法也可以为无线传感器网络的时空查询算法的研究提供一定基础。     

无线传感器网络中基于小波的分布式存储

无线传感器网络主要用于从目标对象收集信息,由于其能源极其有限,分布式数据存储和查询得到越来越多人的注意.本文提出了一种基于小波构架的新型分布式存储方式,它使所有信息经小波压缩后平均分布于各个节点之中,构成小波系数空间存储结构树.通过仿真实验,表明这种算法在无线传感器网络的数据管理中获得了良好的效果:(1)通过简化小波变换消除了额外的计算和通信量,大大节省了数据管理所需的能耗;(2)利用传感器节点内和节点间的信息关联,有效提高了存储效率;(3)利用小波多分辨率的编码技术和小波系数空间结构树的自相似性,支持时空两个方向的快速查询.     

基于数据生命周期管理的ARP系统优化设计

随着管理信息化系统中业务数据量的日益增加,使得系统性能下降和物理磁盘空间的增长。本文介绍了一种数据生命周期管理解决方案ADLM(Academia Resource Planning System Data Lifecycle Manage,简称ADLM),在不增加硬件成本情况下,使用程序控制方法,达到系统性能优化和实现历史数据归档保存的目的。主要解决了具有时间周期特性的业务数据的分类管理、在线归档、离线存储等问题,对业务数据归档策略、分级存储实现和归档数据查询等关键问题进行了分析,最后通过实际应用,证明本技术方案可以方便快捷地实现业务处理性能的提升和对磁盘空间使用需求无限增长的有效控制。     

Online querying of d-dimensional hierarchies

In this paper we describe a distributed system designed to efficiently store, query and update multidimensional data organized into concept hierarchies and dispersed over a network. Our system employs an adaptive scheme that automatically adjusts the level of indexing according to the granularity of the incoming queries, without assuming any prior knowledge of the workload. Efficient roll-up and drill-down operations take place in order to maximize the performance by minimizing query flooding. Updates are performed on-line, with minimal communication overhead, depending on the level of consistency needed. Extensive experimental evaluation shows that, on top of the advantages that a distributed storage offers, our method answers the vast majority of incoming queries, both point and aggregate ones, without flooding the network and without causing significant storage or load imbalance. Our scheme proves to be especially efficient in cases of skewed workloads, even when these change dynamically with time. At the same time, it manages to preserve the hierarchical nature of data. To the best of our knowledge, this is the first attempt towards the support of concept hierarchies in DHTs.     

一种有效的空间数据仓库区域聚集查询索引结构

空间数据仓库有效地支持对空间数据的管理和分析，提供更加全面的决策支持．讨论了一种有效的空间决策支持手段——空间区域聚集查询的实现．基于aggregate cubetree和aR—tree提出了一个可以有效地在空间维和非空间维上进行区域聚集查询的索引结构aCR-tree及其相关算法，并计算分析了查询算法的时间复杂度．与现有技术相比aCR-tree降低了存储代价和每次查询访问的节点数，通过实验证明，该索引结构可以提供较好的存储性能和查询性能．     

基于云计算和物联网的网络大数据技术研究

为了使网络大数据应用的范围更广,更大程度地提高网络数据存储与管理精度,减少网络数据处理与控制的时间,需要对网络大数据进行研究。当前的网络大数据研究方法多是采用Hadoop基础架构对网络大数据进行研究,在数据存储中没有设定具体的安全存储指标,无法得到数据安全存储指标权重,存在数据存储安全性能低,网络大数据研究精度偏差大等问题。为此,提出一种基于云计算和物联网的网络大数据研究方法。该方法首先利用分级网络编码对网络数据进行传输,以传输的数据为基础,采用CRC算法实现网络数据的计算,然后依据分组存储的方式将数据进行存储,最后利用分层逆序叠加定位法对网络数据进行高精度查询,由此完成对网络大数据的研究。实验结果表明,所提方法可以全面具体地对网络大数据进行研究,提高了数据处理精度和网络数据计算速度,增加了网络数据存储空间容量和查询效率,减少了网络数据运行时的丢失率,扩展了网络数据的运作范围,为后续网络大数据的研究提供了强有力的依据。     

基于分簇的传感器网络数据聚集估算机制

提出一种基于簇结构的传感器网络数据聚集估算机制CASA(clustering-based approximate scheme for data aggregation).在保证用户对数据精确度需求的前提下,CASA 通过最小化网络通信开销以及协调节点间的负载均衡,有效地提高了估算机制的节能性能.CASA 采用最优的分簇规模参数,在基于分簇的网内聚集估算架构中能够最小化网络节点的总体通信开销.此外,CASA 考虑到部署区域感知数据变化率的差异性,采用自适应的误差分配方案来进一步降低网络节点的通信开销,维护节点间的负载均衡.模拟实验结果表明,CASA 估算机制能够显著地提升传感器网络网内数据聚集机制的节能性能,同时保证聚集数据的精确程度.     

一种监控系统的链路跟踪型日志数据的存储设计

随着软件系统越来越复杂化和分布化,为系统提供具有完善功能的监控服务显得越来越重要.APM （Application Performance Management）系统通过采集软件系统运行时的各项指标数据来分析软件的运行状态,例如CPU、内存使用率、垃圾回收的耗时、QPS等指标,此外APM系统也会在软件运行中生成各种日志数据.通常来说,它能提供的监控数据分为三种：指标统计数据、链路跟踪（tracing）数据以及离散事件记录,这些数据有助于系统或者服务的维护人员理解运行状态,从而确保系统或者服务的稳定运行.本文基于开源的APM监控系统——CAT系统,提出了一种针对tracing类型数据的存储设计方案,通过内存块批量写入的方式提升存储效率,并设计了两级索引以提高查询效率.从线上的真实运行数据来看,本文提出的方案在写入性能和查询性能方面均有着较好的表现.     

A link-based storage scheme for efficient aggregate query processing on clustered road networks

The need to have efficient storage schemes for spatial networks is apparent when the volume of query processing in some road networks (e.g., the navigation systems) is considered. Specifically, under the assumption that the road network is stored in a central server, the adjacent data elements in the network must be clustered on the disk in such a way that the number of disk page accesses is kept minimal during the processing of network queries. In this work, we introduce the link-based storage scheme for clustered road networks and compare it with the previously proposed junction-based storage scheme. In order to investigate the performance of aggregate network queries in clustered road networks, we extend our recently proposed clustering hypergraph model from junction-based storage to link-based storage. We propose techniques for additional storage savings in bidirectional networks that make the link-based storage scheme even more preferable in terms of the storage efficiency. We evaluate the performance of our link-based storage scheme against the junction-based storage scheme both theoretically and empirically. The results of the experiments conducted on a wide range of road network datasets show that the link-based storage scheme is preferable in terms of both storage and query processing efficiency.     

分层网格划分实现海量地图标记物聚散可视化

在传统的地图可视化中,面对海量地图标记物展示会采用点聚合的方式,但是各类点聚合算法都是运行时计算,没有分层机制,在海量点的散开展示时,对于地图标记物堆叠没有过滤机制。针对这一问题,提出了分层的网格划分实现海量地图标记物聚散一体化解决方案。该方法对分层网格中心点构建K-D树索引,对海量点构建四叉树索引,通过索引和存储技术,实现了聚合的高效查询。对海量点散开时增加网格过滤,消除堆叠问题。在实验案例数据集上进行对比,结果表明,与传统的点聚合方案相比,在数据量大的情况下,计算性能显著提高,对海量标记物散开展示增加过滤算法,有效提升了用户体验。