首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 125 毫秒
1.
针对当前无线传感器网络中数据查询通信开销大而带宽资源有限的问题,提出了一种基于局部聚类的数据存储模型.该模型通过将整个网络按地理位置划分区域,采用局部数据聚集存储,避免了将同种数据发送至一个存储点存储所造成的巨大通信开销,从而均衡通信带宽.在数据存储模型之上,提出了一种基于空间索引的数据查询方法(SIQ).在SIQ中只利用存储节点构建成索引的叶子节点,与利用所有节点建成的索引相比,其维护的节点数量少,索引的构建成本降低.同时SIQ采用数据属性为空间索引内容,有效地对监测数据进行多维属性的范围查询.仿真结果表明,与较成熟的DD算法和GHT算法相比,SIQ方法能克服泛洪查询所引起的高通信复杂度.  相似文献   

2.
云计算环境下支持复杂查询的多维数据索引机制   总被引:1,自引:0,他引:1  
针对云计算环境下分布式存储系统的数据索引不支持复杂查询的问题,提出了一种多维数据索引机制M-Index,采用金字塔技术(pyramid-technique)将数据的多维元数据描述成一维索引,在此基础上首次提出前缀二叉树(prefix binary tree,PBT)的概念,通过提取一维索引和PBT有效节点的前缀作为数据在存储系统中的主键.数据根据主键和一致性Hash机制发布到存储节点组成的覆盖网络.设计了基于M-Index的数据查询算法,将复杂查询请求转换成一维查询键值,有效支持多维查询和区间查询等复杂查询模式.理论分析和实验表明,M-Index在复杂查询模式下具有良好的查询效率和负载均衡.  相似文献   

3.
键值存储旨在从非常大的数据量中提取值,同时具有高可用性、容错性和可伸缩性,因此提供了非常需要的基础设施来支持基于位置的服务(LBS)。然而,多维数据上的复杂查询不能有效地处理,因为键值存储不提供访问多个属性的方法。针对键值存储HBase不能有效处理多维数据的问题,提出了一个统一的索引框架——New-grid,使键值存储HBase支持多维查询。在改进的P-grid覆盖网络中,组织了一组节点,提供了高效的数据分布、容错和多维数据的查询处理。为了进行索引,使用基于Hilbert空间填充曲线来保存数据的局部性,从而有效地管理键值存储中的多维数据。同时使用HBase底层存储管理数据,并提出了一种范围查询和K最近邻查询的算法,以消除维护单独索引表的开销。在Amazon EC2上使用4、8和16个普通节点的集群进行了广泛的实验。实验结果表明,New-grid的性能相比MD-Hbase以及MapReduce更优。  相似文献   

4.
基于分布式哈希表(DHT)的结构化P2P网络具有扩展性好、健壮和自组织等优点,但只支持精确匹配的查询.本文提出一种基于分布式范围树的结构化P2P范围查询方法(DRT-RQ),该方法将多维索引的分布式范围树分发到已有的结构化DHT覆盖网络中,利用DHT系统提供的数据查找接口,有效实现数据对象的范围查询.实验结果表明,基于分布式范围树的范围查询(DRT-RQ)比基于前缀哈希树的范围查询(PHT-RQ)需要更短的查询延时.  相似文献   

5.
现有的基于DHT的P2P系统只能通过精确匹配整个数据识别器来查询数据。但用户一般只有部分信息可以确认这些信息,为了在用户需求和基于DHT的P2P系统能力间架起一座桥梁,本文提出了一种新的索引和查询数据的方法。这种方法在数据的XML描述上建立了DHT索引,并方便了Xpath表达式的复杂查询。  相似文献   

6.
合理的数据存储策略是节约无线传感器网络能量的重要手段之一,但是目前提出的存储方法往往没有考虑周期查询和ad hoc查询并存的情况,以及网络拓扑和查询响应时间约束等因素,因而会对系统带来额外的开销.提出了一种基于多级映射索引的数据存储方法,综合周期查询的响应时间约束和网络拓扑结构对网络分层,并在每层建立相应的数据索引,使处于不同层次的节点采用不同的数据存储方式,同时支持大量的ad hoc查询.实验证明,这种基于多级映射索引的数据存储方法能够大量地节约能量,并保证在有限的响应时间内处理更多的节点数据并返回结果.  相似文献   

7.
基于数据仓库的OLAP系统是当前海量多维数据分析的主要工具。随着信息技术的发展,海量多维数据的规模急剧增长,结构日益复杂,OLAP系统的性能严重下降,已经无法满足人们的数据分析需求。基于分布式计算系统Hadoop给出了新的海量多维数据的存储方法和查询方法。设计了HDFS上的列存储文件格式HCFile,基于HCFile给出了海量多维数据存储方案,该方案能够提高聚集计算效率,并有很好的可扩展性。同时,利用多维数据的层次性语义特征,设计了维层次索引,并给出了利用维层次索引和Map Reduce进行聚集计算的方法。通过和Hive的对比实验,表明了数据存储方案和查询方法能够有效提高海量多维数据分析的性能。  相似文献   

8.
首先从混合式P2P网络拓扑结构出发,结合DHT思想,提出了基于DHT的层次化P2P网络模型.其次根据在文档集巨大的情况下,用户提交的查询不可能"面面俱到",实际用来回答查询的文档仅仅是文档集中很小的一部分这一思想,在层次化P2P模型的超级节点中建立了分布式缓存,运用分布式索引与缓存技术,提出一种新的方法来解决多项查询问题.即由多项查询中的某个关键字key,根据hash函数定位到负责该key的超级节点,查询该节点上的分布式索引得到缓存具体存储位置,最终将结果返回给用户,如若缓存中没有所要查询的内容,则广播该查询,同时根据系统中的历史广播查询信息来计算某个待选缓存项的利益值,利益最大的待选项加入缓存.一般针对多项查询的泛洪算法往往会造成巨大的网络信息量,提出的方法牺牲了超级节点上一小部分的存储力,缓解了多项查询造成的网络拥挤现象.同时,基于DHT的层次化P2P模型也具有很好的稳定性,不会因为大量节点的动态加入或者退出而无法进行多项查询.  相似文献   

9.
分布式NoSQL系统旨在提供大规模数据的高可用性,但缺乏内在的支持复杂查询的应用程序。传统的基于单一词汇倒排表的解决方案未达到良好的效果。因此,文中就文档型数据库在处理动态文档集时不支持多键作为主索引的缺点展开研究,提出了一种改进的组合索引方法。通过存储组合条件的倒列表,查询驱动机制可以从最近的查询记录中自适应地存储比较受欢迎的条件组合。该方法可以降低整体的带宽消耗,只需占用较少的存储资源等额外开销,明显改善了NoSQL系统的容量和响应时间。  相似文献   

10.
移动社交网络等基于定位服务应用的快速发展导致时空数据流规模呈爆炸式增长,要求底层数据存储系统支持高吞吐量轨迹数据的插入以及空间和时间约束下的低延迟查询,而现有HBase等数据存储方案因索引更新开销过高无法满足该需求。针对时空数据流的应用特性,提出一种数据流内存索引及存储方法。根据键值和时间范围对历史与增量数据元组进行物理分区,将其以模板B+树的形式写入内存并构建索引以增强快速写入和查询能力,同时对数据进行压缩存储提升索引效率。在此基础上,采用多级索引根据数据分区将复杂查询分解为可独立处理的子查询。实验结果表明,与传统HBase、WaterWheel等方法相比,该方法在不同数据插入和查询条件下的数据存储性能与查询效率更优。  相似文献   

11.
Wireless sensor networks are powerful, distributed, self-organizing systems used for event and environmental monitoring. In-network query processors like TinyDB offer a user friendly SQL-like application development. Due to the sensor nodes?? resource limitations, monolithic approaches often support only a restricted number of operators. For this reason, complex processing is typically outsourced to the base station. Nevertheless, previous work has shown that complete or partial in-network processing can be more efficient than the base station approach. In this paper, we introduce AnduIN, a system for developing, deploying, and running complex in-network processing tasks. In particular, we present the query planning and execution strategies used in AnduIN, a system combining sensor-local in-network processing and a data stream engine. Query planning employs a multi-dimensional cost model taking energy consumption into account and decides autonomously which query parts will be processed within the sensor network and which parts will be processed at the central instance.  相似文献   

12.
The general purpose computing on graphics processing unit (GP-GPU) has emerged as a new cost effective parallel computing paradigm in high performance computing research that enables large amount of data to be processed in parallel. Large scale scientific data intensive applications have been playing an important role in modern high performance computing research. A common access pattern into such scientific data analysis applications is multi-dimensional range query, but not much research has been conducted on multi-dimensional range query on the GPU. Inherently multi-dimensional indexing trees such as R-Trees are not well suited for GPU environment because of its irregular tree traversal. Traversing irregular tree search path makes it hard to maximize the utilization of massively parallel architectures. In this paper, we propose a novel MPTS (Massively Parallel Three-phase Scanning) R-tree traversal algorithm for multi-dimensional range query, that converts recursive access to tree nodes into sequential access. Our extensive experimental study shows that MPTS R-tree traversal algorithm on NVIDIA Tesla M2090 GPU consistently outperforms traditional recursive R-trees search algorithm on Intel Xeon E5506 processors.  相似文献   

13.
由于数据仓库中存储着不同粒度、容量巨大的数据记录,所以如何有效地执行联机分析处理(OLAP)查询操作,特别是连接和聚集操作,便成为数据仓库领域的核心问题之一.为此,提出了一种降低连接和聚集操作的新算法(join and aggregation based on the complex multi-dimensional hierarchies,JACMDH).算法充分考虑了复杂多维层次的特点,在原有的位图连接索引(bitmap join index)的基础上,采用层次联合代理(hierarchy combined surrogate)和预先分组排序的方法,使得复杂的多维层次上的连接和聚集操作转化成事实表上的区域查询,从而在处理多维层次聚集的同时,提高了连接和聚集的效率.算法性能分析和实验数据表明,JACMDH算法和目前流行的算法相比,其性能有显著的提高.  相似文献   

14.
With the advent of the era of cloud computing and big data, in order to cope with vast amounts of data, a number of key-value databases have emerged. These systems provide the ability of large scale data storage and effective data operations based on primary keys, but they do not efficiently support the range and k-Nearest Neighbor (kNN) queries on multi-dimensional datasets. In this paper, we introduce, SPIKE, a sliced Pyramid-based index system for key-value data stores. SPIKE bridges the gap between the data scale and querying functionality for highly available, scalable distributed key-value data stores. We first present SP-Index, the kernel indexing scheme. The SP-Index is designed as a two-level index mechanism consisting of a sliced pyramid space partition index and a distributed B-Tree index. On the basis of SP-Index, we have designed and implemented SPIKE on Cassandra, which provides efficient multi-dimensional complex query processing. We have conducted a set of comprehensive experiments with three types of datasets including synthetic datasets, TPC-H benchmark datasets and a real-world dataset. The experiment results show that SPIKE can efficiently handle multi-dimensional complex queries on large-scale key-value datasets. Evaluation results in comparison with existing systems demonstrates that SPIKE outperforms the comparing work including the original Pyramid, MySQL Cluster and CCIndex by dozens of times in complex query processing.  相似文献   

15.
用于数据仓储的一种改进的多维存储结构   总被引:7,自引:2,他引:7  
冯建华  蒋旭东  周立柱 《软件学报》2002,13(8):1423-1429
对于数据仓库中数据的物理存储组织,目前主要有关系和多维数组两种方式.这两种方式各有自己的优缺点,从提高联机分析处理(online analytical processing,简称OLAP)查询处理性能的角度出发,多维数组方式相对较优,目的主要是解决数据仓库的多维存储结构问题.针对当前多维数组存储组织方式存在的一些问题,提出了Cube(立方体)逻辑存储和物理存储的概念,首先将原多维数据空间划分为逻辑子空间,逻辑块再划分为多个物理块.在物理存储时充分考虑了多维数组的大容量和高稀疏度的问题,并采用新的多维数组的分布和压缩方法.这些概念和方法有效地解决了维内部层次结构的聚集操作和Cube操作的效率问题,显著提高了涉及维内部层次的聚集查询的响应速度,同时还解决了增量维护的效率问题.  相似文献   

16.
This paper looks at the processing of skyline queries on peer-to-peer (P2P) networks. We propose Skyframe, a framework for efficient skyline query processing in P2P systems, which addresses the challenges of quick response time, low network communication cost and query load balancing among peers. Skyframe consists of two querying methods: one is optimized for network communication while the other focuses on query response time. These methods are different in the way in which the query search space is defined. In particular, the first method uses a high dominating point that has a large dominating region to prune the search space to achieve a low cost in network communication. On the other hand, the second method relaxes the search space in order to allow parallel query processing to speed up query response. Skyframe achieves query load balancing by both query load conscious data space splitting/merging during the join/departure of nodes and dynamic load migration. We further show how to apply Skyframe to both the P2P systems supporting multi-dimensional indexing and the P2P systems supporting single-dimensional indexing. Finally, we have conducted extensive experiments on both real and synthetic data sets over two existing P2P systems: CAN (Ratnasamy in A scalable content-addressable network. In: Proceedings of SIGCOMM Conference, pp. 161–172, 2001) and BATON (Jagadish et al. in A balanced tree structure for peer-to-peer networks. In: Proceedings of VLDB Conference, pp. 661–672, 2005) to evaluate the effectiveness and scalability of Skyframe.  相似文献   

17.
An efficient index structure for complex multi-dimensional objects is one of the most challenging requirements in non-traditional applications such as geographic information systems, computer-aided design, and multimedia databases. In this paper we first propose a main memory data structure for complex multi-dimensional objects. Then, we present an extension of the existing multi-dimensional index structure. Among existing multi-dimensional index structures, the popular R*-tree is selected. The R*-tree is coupled with the main memory data structure to improve the performance of spatial query processing. An analytical model is developed for our index structure. Experimental results show that the analytical model is accurate, the relative error being below 15%. The performance of our index structure is compared with that of a state-of-the-art index structure by experimental measurements. Our index structure outperforms the state-of-the-art index structure due to its ability to reduce a large amount of storage.  相似文献   

18.
基于Kademlia的P2P多维范围查询系统   总被引:1,自引:1,他引:0       下载免费PDF全文
结构化P2P网络具有良好的可扩展性,但难以支持多关键词查询、范围查询等复杂查询。该文分析已有复杂查询方法,提出一种基于Kademlia的P2P多维范围查询系统K-net。K-net在进行多维范围查询时,完成高维范围数据降维和范围划分,减少查询所需带宽。模拟结果显示,该系统具有良好的查询准确度和可扩展性。  相似文献   

19.
试飞数据是飞行试验的核心产品,具有参数量多,数据体量大,信息复杂程度高,查询响应快等特征,支撑飞机设计、制造、试飞、运营等阶段任务;试飞数据查询引擎旨在提供PB级多维度试飞数据快速查询服务,对试飞数据特征深度分析,采用大数据交互式查询关键技术,基于试飞数据处理与分析平台,研究了存算分离技术和异构计算技术,设计试飞数据查询引擎,具备多源数据汇聚,多维信息精细查询,多层数据灵活钻取,多功能自定义函数集成,多类指标数据自适应输出等功能,创新试飞数据查询与可视化方式,并成功应用在某型国产民机的飞行试验数据管理与分析中,服务于试飞工程师、飞机设计人员、课题工程师,提高了试飞数据管理效率与试飞数据应用价值。  相似文献   

20.
蔡伟珊  陈启买  刘海 《计算机科学》2012,39(8):178-181,190
针对目前多数联机分析处理(OLAP)推理控制方法计算复杂性高、实用性不强的问题,在前人研究基础上,提出一种改进的基于查询单元集QCS(Query Cells Set)的OLAP预防多维推理方法.该方法把OLAP查询的多维推理威胁预防检测放在查询涉及到的底层不相交的单元集(即QCS),而不是单个单元上,从而降低了推理威胁检测算法的计算复杂性,这更符合OLAP的查询处理要求.同时给出QCS方法的有效性证明和算法的实现,并用实例进行说明.与以往的推理控制方法相比,QCS方法不仅可有效保护OLAP系统的隐私信息,而且具有较高的计算效率,能满足OLAP系统的实用性要求.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号