基于RCFile的无线传感器网络数据存储策略研究

随着无线传感器网络技术的发展,其应用价值遍布环境监测、工农业、抢险救灾、军事国防、生物医疗等许多领域.由于无线传感器网络特征与节点特点,其数据存储与查询策略研究成为热点.对已有的数据存储策略进行了详细介绍与研究,并分析它们的优缺点;其次结合大数据中一种高效的数据存储结构——RCFile,并将其应用到传感器网络的数据存储中,结合行列存储的优势,改变数据存储结构,提出了一种基于RCFile的无线传感器数据存储算法(Wireless sensor network Data Storage based on RCFile,WDSR),并给出了仿真结果分析.仿真结果表明,提出的算法在低能耗、高效率方面存在一定优势.最后指出了无线传感器网络数据存储算法的发展方向.     

无线传感器网络中对等数据存储策略研究

在无线传感器网络中,除了基于基站的数据传输和管理模式以外,对等数据传输以及网内数据管理同样具有非常重要的现实意义。本文论述了传感器网络中对等数据传输的应用特点和研究挑战,以及数据存储策略与对等数据传输的关系。如何设计有效的数据存储策略是对等数据传输和网内数据管理、查询的关键技术和重要研究课题。本文分析了无线传感器网络中对等数据存储策略的分类、负载平衡和查询成功率等相关问题。本文采取基于位置的分类方法,根据策略是否依赖节点的位置信息,将节点间的对等数据存储分为基于位置的策略和无位置策略。本文综述了目前的相关研究,比较了各种策略适用的网络环境和数据查询成功率、网络负载平衡等性能指标。     

基于网络安全的网络存储研究与设计

随着云计算、大数据的兴起,网络存储由原来的Email服务向着更加多元化的方向发展,Web服务、网络游戏、在线视频、数字图书馆等多方面、多领域都与网络存储密不可分。网络存储应用中,网络安全对于网络存储非常关键,对基于网络安全的网络存储进行研究,分析了目前网络存储过程中遇到的安全问题和影响因素,提出了网络存储安全性设计目标,并做出安全存储设计。     

一种基于预测的目标跟踪传感器网络数据近似存储查询策略

节能问题是传感器网络设计的一个关键问题,在对目标跟踪传感器网络中的目标位置信息进行存储和查询处理时,也必须通过较低的通信代价来降低消息复杂度,从而达到节能的目的.分析了现存的一些数据存储和数据分发的方法,针对EASE方法查询误差较大的问题,提出了基于预测的近似查询的存储策略(Prediction-based Energy-conserving Approximate StoragE,P-EASE),并就EASE方法查询未考虑选择恰当的存储节点的问题,提出了一种基于地理位置的择优查询(Optimal Query)策略.使用半随机步行移动模型和随机路点移动模型进行了仿真实验,比较了P-EASE与EASE算法的消息量、消息复杂度、平均消息复杂度和查询误差.仿真实验证明,P-EASE比EASE查询更精确、能量更高效.     

结合区块链的非结构化大数据云存储优化研究

针对非结构化数据云存储效率低下的问题,提出了结合区块链技术的非结构化大数据云存储方法.云存储网络利用F2域获得存储信息,根据域首判断出数据状况,实时更新存储策略;同时存储调度利用存储窗与采集窗估算出数据均值与动态振荡,确定存储更新的频次.另外,在云存储网络中引入存储审计策略,根据数据热度与损坏性确定存储审计需求,对存储数据进行存储时间、数据包量的审计,从而优化存储效率.最后考虑到传统非结构化数据云存储过程中的数据验证效率不佳问题,设计了区块链网络结构,并在其中实现了基于Merkle树与Hash的数据完整性高效验证.仿真结果表明,结合区块链技术的非结构化大数据云存储方法显著降低了数据的审计与存储时间,有效提高了非结构化数据的云存储效率,具有良好的大数据处理性能.     

基于存储网的海量存储共享方案

随着网络的发展,数据海量增长,如何有效的进行数据存储共享越显重要.文章分析了SCSI数据存储与NAS进行数据存储的不足,分析了存储网架构的优良特性,并基于存储网架构设计了一种海量网络存储共享方案.它克服了SCSI存储方案中的管理困难、不利于共享、存储容量有限的缺点,也克服了NAS存储受网络带宽对性能的影响,具有很好的应用前景.     

MR-DC:基于MapReduce的轻量级数据压缩策略

大数据平台Hadoop为追求通用性,牺牲了对结构化大数据的处理性能.为此,提出了一种Hadoop平台上的针对结构化数据的压缩存储策略.首先,针对多种不同的数据类型,结合轻量级压缩算法的特点,设计了多种数据类型的压缩数据页;然后,设计了基于HDFS的页式行列混合存储结构;最后,设计并实现了基于MapReduce的MR-DC数据压缩策略,将数据压缩存储到设计的存储结构中.在大规模数据仓库基准数据集上的实验结果验证了提出的策略能够显著减少结构化数据的存储量,从而为提高后续的数据分析处理性能打下基础.     

浅析通信网络中用户数据融合

用户数据存储是通信网络中非常重要的组成部分。结合中国移动网络后续演进发展需要,用户数据融合十分必要。通过分析UDC架构,从数据存储和数据结构出发考虑,并基于中国移动网络现状提出不同阶段用户数据的融合策略。     

P2P存储环境下的稳固冗余存储方案设计

大规模P2P稳固冗余存储方案是当前存储研究领域的研究热点。从存储组织结构和数据维护机制两个方面出发,重点比较了完整模式、编码模式和混合模式的数据存储特点;并在分析不同数据维护机制的基础上,提出一种具有失效置信度的数据延时维护策略。通过仿真实验验证了不同存储模式下的维护机制有效性和相关指标。     

大规模网络存储系统的数据布局策略研究

如何有效地对数据进行布局是大规模网络存储系统面临的重大挑战,需要公平、冗余、自适应、高可靠以及高可用的数据布局策略.根据大规模网络存储系统体系结构的发展,详细介绍了P2P系统、SAN存储系统以及对象存储系统的数据布局策略,最后总结和比较了各种布局策略的优缺点,并指出基于数据重要性以及访问热度的数据布局策略等是未来可能的研究方向.     

Distributed query processing in flash-based sensor networks

Wireless sensor networks are used in a large array of applications to capture, collect, and analyze physical environmental data. Many existing sensor systems instruct sensor nodes to report their measurements to central repositories outside the network, which is expensive in energy cost. Recent technological advances in flash memory have given rise to the development of storagecentric sensor networks, where sensor nodes are equipped with high-capacity flash memory storage such that sensor data can be stored and managed inside the network to reduce expensive communication. This novel architecture calls for new data management techniques to fully exploit distributed in-network data storage. This paper describes some of our research on distributed query processing in such flash-based sensor networks. Of particular interests are the issues that arise in the design of storage management and indexing structures combining sensor system workload and read/write/erase characteristics of flash memory.     

无线传感器网络的数据存储和索引技术

研究影响无线传感器网络数据存储和查询效率的应用指标,如查询比率和采样频率。对无线传感器网络数据存储方法与各种应用指标的关系进行定量分析和比较,给出各种方法的典型应用场景,为无线传感器网络的数据存储和索引技术设计提供了参考。     

无线传感器网络中一种能量有效的数据存储方法

如何有效地对传感器在过去历史时间段内采集的大量感知数据进行存储,以备将来的信息查询和数据分析已经成为无线传感器网络应用面临的一个难题.介绍了一种基于树型路由的分布式数据存储方法,通过采用动态规划方法选择存储节点,使存储节点能量均衡和所有节点能耗之和最小,从而达到整个无线传感器网络能量有效.仿真实验结果表明,这种数据存储方法能够获得较好的能量均衡和总能耗较小,从而有效地延长整个无线传感器网络的生命周期.     

基于VB的传感器信号数据处理方案设计

基于VB,设计了棉麻纤维纱线晶变改性成套装备传感器信号数据处理方案.方案主要由数据标定、数据滤波、数据补偿、数据应用及储存四部分组成.介绍了传感器相关参数,给出了传感器物理值计算公式.通过数据滤波,降低了数据采集过程中随机干扰对数据造成的随机误差.通过数据补偿,采集值更加接近传感器液晶屏数显值.对处理后数据应用的同时将数据导入到SQL数据库保存.经现场运行,该方案稳定可靠,满足了设计要求.     

传感器网络中一种支持多分辨率区域查询的数据存储方法

在传感器网络中,考虑到节点的通信开销在节点总能量开销中的比重大,以及用户由粗到细分辨率的不同查询需求,有必要在传感器网络中建立支持多分辨率的数据存储机制.首先提出了一种支持多分辨率的数据压缩存储策略 MDCS,节点基于 MDCS在网内产生多分辨率的近似结果;其次,给出了一种基于 MDCS的区域查询处理方法,根据用户给定的分辨率阈值去网内作区域查询处理,并将结果返回给用户.模拟实验表明,基于 MDCS的区域查询处理方法能够高效、低能耗地支持多分辨率的区域查询操作.     

无线传感器网络数据管理技术研究进展

无线传感器网络本质上是一个以数据为中心的网络,它处理的数据为传感器采集的连续不断的数据流.因此,现有的数据管理技术把无线传感器网络看作为来自物理世界的连续数据流组成的分布式数据库.由于传感器节点的计算能力、存储容量、通信能力以及电池能量有限,再加上flash存储器以及数据流本身的特性,给数据管理带来了传统分布式数据库系统没有的一些新挑战.从数据库系统的体系结构、数据存储与索引技术、数据模式、查询处理及优化技术等方面介绍了无线传感器网络的数据管理技术的研究现状.     

无线传感器网络中一种分布式安全存储方案

对无线传感器网络的数据存储进行分析和研究,提出了一种以数据为中心的无线传感器网络中的分布式数据存储方案.该方案可有效解决集中式数据存储方案造成的中心节点的高负荷瓶颈问题,同时也避免了由于中心节点失效导致的数据丢失或泄漏问题.相对于现有的分布式数据存储方案,该方案运用Reed Solomon Code对数据进行加密,并且...     

无线传感器中数据管理技术的探讨

无线传感器网络是一门获取和处理信息的新兴技术,它以数据为中心,提供数据采集、处理和查询功能,其根本任务是准确获取物理世界的有价值信息。数据存储和数据查询是无线传感器网络研究中的重点和热点问题。本文探讨了无线传感器网络的数据存储与查询技术。     

Location-centric storage for safety warning based on roadway sensor networks

We propose a novel vision for roadway safety warning based on sensor networks, aiming at providing user-friendly zero-delay safety warnings to motorists. Our idea leverages the advanced sensing, networking and storage technologies. Roadway sensors detect events and store event records at multiple designated locations along the against traffic direction, such that the passing-by drivers can be alerted to potential dangers or traffic delays through the wireless communication between roadway sensors and the vehicle. We design a location-centric storage (LCS) protocol, which manages the propagation and storage of event records based on the time needed to clear the road. In LCS, the density of the sensors storing an event record decreases logarithmically with respect to the distance to the event location. Thus, the closer to the event position, the more number of warnings a driver may obtain. LCS is further tailored for the case of “highway” sensor networks when all sensors are deployed along a straight line mimicking a highway, and the more complex case when two roads intersect at some place. We conduct both theoretic analysis and simulation study to verify the performance of LCS when applied to roadway sensor networks for safety warning. The results indicate that LCS is fair to all sensors. We conclude that roadway safety warning based on sensor networks is a promising idea for realizing ITS's “Zero Fatality, Zero Delay” roadway safety philosophy.