分布式聚集函数支持的内存OLAP并行查询处理技术

根据OLAP查询的特点和内存数据库的性能特征提出了由多个内存数据库组成的并行OLAP查询处理系统,将OLAP应用中的多维聚集查询分布到各个计算节点并行进行聚集计算,并将聚集计算的结果进行合并输出.与其他并行处理方法相比,该算法充分利用OLAP DB结构中维表远小于事实表的特性,根据数据库中事实表的数据量和节点的数据处理能力进行水平数据库分片,并根据聚集函数的可分布计算特性提高查询处理的并行度,延迟并行查询处理中的合并过程,充分利用节点的并行处理能力,减少并行查询处理过程中的数据通信量,提高系统并行查询处理性能.该算法易于实现,具有较好的可扩展性和性能,适用于企业级海量数据处理领域的需求.     

战场环境中面向范围查询的分布式时空索引

对战场中时空信息进行合理组织可以高效完成时空查询,从而快速支持军事决策和行动的顺利完成。针对战场环境中时空数据的分布独立性,各节点的自治性、动态性及协作性,提出了时空索引结构P2PSTI,该索引基于DHT技术组织节点的拓扑结构,采用Hilbert曲线将时空对象映射到1维空间,并利用该曲线的局部保持特性设计了高效的查询算法,大大降低了路由消息数量,提高了时空查询性能。实验结果表明,P2PSTI查询性能好,索引维护代价低。     

无线传感器网络中基于模型拟合的可信近似查询处理算法

无线传感器网络的一个重要应用是可信地查询网络中所有节点的监测数据.目前,多数研究主要集中在如何利用节点之间的时空相关性,节省能量地查询感知数据.但是这些方法的查询结果不能满足某些应用对数据的高可信要求,也不能适用于节点之间不存在空间相关性或空间相关性不稳定的情况.针对这一问题,提出了基于模型拟合的可信近似查询处理方法.该方法在感知数据集合上寻找具有最小数据传输比的拟合模型,通过传输模型及其参数来代替传输实际的监测数据.理论分析和实验结果证明,基于模型拟合的可信近似查询处理方法不仅能够节省大量能源而且能够返回满足用户精度要求的可信查询结果.     

可扩展并行内存数据库系统:ScaMMDBⅡ

面对OLAP海量数据查询处理的请求与单机内存容量有限的矛盾,设计了ScaMMDBⅡ系统.ScaMMDBⅡ系统将在单一节点上进行的包含可分布式聚集函数的海量数据OLAP查询操作转换为在多个节点子CUBE上并行执行的OLAP查询以及查询结果的合并运算,以此达到简化系统复杂度和提高查询的并行执行能力的目的;除此之外, ScaMMDBⅡ通过迭代的中值计算方法还能够处理不可分布式计算的聚集函数Median.通过分而治之的思想, ScaMMDBⅡ有效地解决了容量与性能之间的矛盾,并且具有高可扩展性.     

非结构化对等计算系统中多维范围搜索

对等计算数据管理中的一个重要问题是如何有效地支持多维数据空间上的相似性搜索.现有的非结构化对等计算数据共享系统仅支持简单的查询处理方法,即匹配查询处理.将近似技术和路由索引结合在一起,设计了一种简单、有效的索引结构EVARI(扩展近似向量路由索引).利用EVARI,每个节点不仅可以在本地共享的数据集上处理范围查询,而且还可以将查询转发给最有希望获得查询结果的邻居节点.为了建立EVARI,每个节点使用空间划分技术概括本地的共享内容,并与邻居节点交换概要信息.而且,每个节点都可以重新配置自己的邻居节点,使得相关节点位置相互邻近,优化了系统资源配置,提升了系统性能.仿真实验证明了该方法的良好性能.     

REPS:一种高效的容错并行概率流Skyline查询方法

概率数据流的并行Skyline查询作为当前大数据分析的一个重要方面,在诸多实际应用中发挥着重要作用。针对并行概率流Skyline查询过程中因发生故障而导致查询结果不准确和查询中断等问题,提出了一种基于复制的容错并行Skyline查询方法REPS。该方法选择参与并行处理的计算节点作为副本节点,并采用层次-循环式数据副本放置策略,选择优先级高的副本恢复数据来保证数据恢复的高效性;同时将故障检测、丢失数据恢复和查询过程恢复贯穿于整个查询更新过程中,以减少容错处理的额外通信和计算开销,并实现快速的容错并行查询。实验结果表明,REPS方法不仅在无故障发生和单个节点失效时具有较高的查询处理效率,而且对于多节点失效情形,仍然能够保持较高的查询处理速率且满足查询需求。     

基于Spark的时态查询扩展与时态索引优化研究

时空数据库和基于集群计算的时间分析工具大多基于外存,将其应用在大数据处理场景下系统性能将迅速降低。为此,基于Spark构建一个易用且高可扩展的时态大数据查询分析系统。通过扩展Spark SQL解析器,使其能够支持类SQL形式的时态操作,运用SIMBA开源项目的方法,引入全局过滤和局部时态索引2种优化策略,使得系统能以高吞吐量及低延迟执行时态查询操作。基于时态查询效率的评估实验结果表明,在不同影响参数下,该系统的时态查询性能优于原生的Spark SQL查询处理方案。     

异构GPU集群的任务调度方法研究及实现

GPU集群已经成为高性能计算的重要方式,特别对于计算密集型应用,具有成本低、性能高、功耗小的优势.为了解决GPU集群系统运行中的任务负载均衡问题,文中提出了一种面向计算密集型应用的异构GPU集群调度方法,该方法可以自动发现计算节点,并动态估计计算节点的计算能力,并根据计算能力、任务的计算强度和优先级在异构GPU集群上合理分配计算资源.同时,该系统还具有容错能力,能够处理计算节点的意外退出,可恢复意外退出计算节点的计算任务,并动态适应系统的计算规模.通过实验表明,文中采用的策略达到了预期目的     

无线传感器网络能量有效的实时查询处理方法

实时性和能量有效性是战争、抢险救灾等无线传感器网络系统应用的重要指标,因而提出了在查询截止期内,访问节点数目最大化,同时尽可能减少能量消耗的方法.此方法提出了松弛时间和数据传递模式的概念,并利用松弛时间计算跳步数的门限值,对比节点的不同路由方式的跳步数和门限值的关系,从而确定节点的数据传递模式,制定有效的实时查询计划的查询处理方法.仿真实验证明,利用这种查询处理方法能够有效的提高在截止期内查询的准确度和减少查询所需能量.     

一种基于概率模型的预测性时空区域查询处理

提出了一种基于概率模型的预测性时空区域查询处理方法.该方法采用Filter-Refinement方式来处理查询.首先,从数据库中选择所有可能满足查询的候选移动对象;然后,根据概率模型中定义的方法来计算候选移动对象满足查询的概率;最后,根据查询中指定的最小概率阈值过滤候选移动对象并返回查询结果.该概率模型将移动对象未来可能出现的位置定义为一个随机变量,并给出了计算移动对象在两种不同的运动模式下满足查询的概率值的方法.还提出了一种通过对大量历史轨迹抽样来获得概率密度函数(probability density function,简称PDF)的轨迹分析算法,并设计了概率密度函数索引STP-Index(spatio-temporal PDF-index).该索引能够有效地提高轨迹分析算法和概率计算的效率.实验结果表明,该查询处理方法能够有效地支持预测性时空区域查询的处理,提高查询结果的正确性,特别适合于具有较小的空间区域和长时间范围的预测性时空区域查询.     

纯Peer to Peer环境下有效的Top-k查询

目前大多数的Peer-to-Peer(P2P)系统只支持基于文件标识的搜索,用户不能根据文件的内容进行搜索.Top-k查询被广泛地应用于搜索引擎中,获得了巨大的成功.可是,由于P2P系统是一个动态的、分散的系统,在纯的P2P环境下进行top-k查询是具有挑战性的.提出了一种基于直方图的分层top-k查询算法.首先,采用层次化的方法实现分布式的top-k查询,将结果的合并和排序分散到P2P网络中的各个节点上,充分利用了网络中的资源.其次,根据节点返回的结果为节点构建直方图,利用直方图估计节点可能的分数上限,对节点进行选择,提高了查询效率.实验证明,top-k查询提高了查询效果,而直方图则提高了查询效率.     

Parallel and scalable processing of spatio-temporal RDF queries using Spark

The ever-increasing size of data emanating from mobile devices and sensors, dictates the use of distributed systems for storing and querying these data. Typically, such data sources provide some spatio-temporal information, alongside other useful data. The RDF data model can be used to interlink and exchange data originating from heterogeneous sources in a uniform manner. For example, consider the case where vessels report their spatio-temporal position, on a regular basis, by using various surveillance systems. In this scenario, a user might be interested to know which vessels were moving in a specific area for a given temporal range. In this paper, we address the problem of efficiently storing and querying spatio-temporal RDF data in parallel. We specifically study the case of SPARQL queries with spatio-temporal constraints, by proposing the DiStRDF system, which is comprised of a Storage and a Processing Layer. The DiStRDF Storage Layer is responsible for efficiently storing large amount of historical spatio-temporal RDF data of moving objects. On top of it, we devise our DiStRDF Processing Layer, which parses a SPARQL query and produces corresponding logical and physical execution plans. We use Spark, a well-known distributed in-memory processing framework, as the underlying processing engine. Our experimental evaluation, on real data from both aviation and maritime domains, demonstrates the efficiency of our DiStRDF system, when using various spatio-temporal range constraints.

     

OHQFS:一种非结构化P2P网络中数据查询搜索新策略

为了提高非结构化P2P网络中数据查询搜索的效率,提出一种新型的一跳查询与转发数据搜索新策略（OHQFS）,它是以非结构化P2P网络中的数据查询请求转发策略和非转发策略为基础,将它们整合、集成后得到的一种新策略.OHQFS策略中的查询源结点直接搜索其自身的所有邻居节点,并将查询请求转发给这些邻居节点,使得这些邻居节点再去搜索它们的相邻节点.该策略在数据查询搜索过程中无须维持一个很大的邻居节点信息集合,系统维护开销较小,通过本策略中固有的一步查询转发,使其邻居节点和邻居的邻居节点处于查询搜索范围内.网络仿真的实验结果表明,OHQFS策略相对于转发搜索策略而言,它提高了查询效率;而相对于非转发策略,它获得了较高的成功率.     

Multiple query scheduling for distributed semantic caches

In distributed query processing systems, load balancing plays an important role in maximizing system throughput. When queries can leverage cached intermediate results, improving the cache hit ratio becomes as important as load balancing in query scheduling, especially when dealing with computationally expensive queries. The scheduling policies must be designed to take into consideration the dynamic contents of the distributed caching infrastructure. In this paper, we propose and discuss several distributed query scheduling policies that directly consider the available cache contents by employing distributed multidimensional indexing structures and an exponential moving average approach to predicting cache contents. These approaches are shown to produce better query plans and faster query response times than traditional scheduling policies that do not predict dynamic contents in distributed caches. We experimentally demonstrate the utility of the scheduling policies using MQO, which is a distributed, Grid-enabled, multiple query processing middleware system we developed to optimize query processing for data analysis and visualization applications.     

一种高效的P2P环境中的窗口查询算法

随着多媒体以及P2P网络的发展,针对高维数据基于属性的窗口查询已经成为一个重要研究课题.提出了一种在超级节点P2P网络中有效解决高维数据的窗口查询算法,在每个单独的网络节点上,数据通过一种降维算法映射到一维空间,在超级节点上,构造数据的统计信息表以及构造网络查询树,算法在每次查询时,按照查询树的规则来访问整个网络,并利用统计信息剪枝网络中的节点查询,避免网络的泛洪.实验中使用了不同的数据集来评测算法的查询效率,结果表明该算法具有很高的查询效率.     

Query Processing in Distributed Database System

Query processing in a distributed system requires the transmission f data between computers in a network. The arrangement of data transmissions and local data processing is known as a distribution strategy for a query. Two cost measures, response time and total time are used to judge the quality of a distribution strategy. Simple algorithms are presented that derive distribution strategies which have minimal response time and minimal total time, for a special class of queries. These optimal algorithms are used as a basis to develop a general query processing algorithm. Distributed query examples are presented and the complexity of the general algorithm is analyzed. The integration of a query processing subsystem into a distributed database management system is discussed.     

路网环境下的移动对象查询技术研究综述

随着基于定位服务（Loaction-Based Service,简称LBS）在移动设备上的广泛应用,移动对象在路网中的查询成为时空数据检索领域的一个研究热点.本文从索引结构、查询方法和隐私保护三层面对基于路网的移动对象查询技术进行了分类讨论.索引结构分为分层索引、分布式索引和广播索引并对三种索引进行对比和分析;查询方法分为单对象连续查询、多对象并行查询、最短路径查询和路网关键字查询并归纳了每种查询的解决策略;此外,阐述了路网移动对象查询中采用的隐私安全保护措施.最后,分析了未来路网移动对象查询研究所面临的挑战.     

Efficient Distributed Skyline Queries for Mobile Applications

In this paper, we consider skyline queries in a mobile and distributed environment, where data objects are distributed in some sites (database servers) which are interconnected through a high-speed wired network, and queries are issued by mobile units (laptop, cell phone, etc.) which access the data objects of database servers by wireless channels. The inherent properties of mobile computing environment such as mobility, limited wireless bandwidth, frequent disconnection, make skyline queries more complicated. We show how to efficiently perform distributed skyline queries in a mobile environment and propose a skyline query processing approach, called efficient distributed skyline based on mobile computing (EDS-MC). In EDS-MC, a distributed skyline query is decomposed into five processing phases and each phase is elaborately designed in order to reduce the network communication, network delay and query response time. We conduct extensive experiments in a simulated mobile database system, and the experimental results demonstrate the superiority of EDS-MC over other skyline query processing techniques on mobile computing.     

L-overlay: A layered data management scheme for peer-to-peer computing

Efficient storage and handling of data stored in a peer-to-peer (P2P) network, proves vital for various applications such as query processing and data mining. This paper presents a distributed, scalable and robust layered overlay (L-overlay) to index and manage multidimensional data in a dynamic P2P network. The proposed method distinguishes between the data and peer layers, with efficient mapping between the two. The data is organized such that semantically similar data objects are accessed hastily. Grid and tree structures are proposed for the peer layer. As application examples of L-overlay in query processing and data mining, k-nearest neighbors query processing and distributed Naïve Bayes classification algorithms, are proposed. We show the effectiveness of our scheme in static and dynamic environments using simulation. L-overlay is shown to be more efficient than SSW, an available semantic overly, in terms of maintenance and query processing costs.     

AnyQuery:网格环境下基于服务的分布式查询处理系统

AnyQuery是一种适用于网格环境、基于服务的分布式查询处理系统，使用统一的数据格式（可扩展标记语言）来表示和传输数据，所有组成模块以网格服务的形式实现，网格服务之间通过标准的接口进行通信．这种接口和实现分离技术屏蔽了不同数据库及其运行节点的差异，为用户提供一致的虚拟关系数据视图和分布式数据查询支持．在分析和研究已有的并行数据库和分布式数据库查询技术的基础上，AnyQuery提出和实现了一种适用于动态网格环境的分布式查询计划生成和执行算法，该算法能够根据网格环境中各节点及其连接网络的实际情况确定查询计划，支持跨数据库的连接查询．基于Globus 3．0开发了AnyQuery的原型系统，性能测试表明该系统具有较好的可扩展性，尤其适合计算密集型的复杂查询．