不确定数据流上的并行反Skyline查询

作为Skyline查询的一种重要变体,不确定数据流上的反Skyline查询已经成为研究的热点。已有的单机算法无法应对诸如高速数据流、高数据维度、大滑动窗口等情况,相应提出并行查询处理算法PRSUDS。算法采用基于角度划分的分发策略将处理任务分发至各并行节点,给出该分发策略的正确性证明,进而设计、实现算法的并行处理框架。实验结果表明PRSUDS算法较单机算法具有更好的综合性能,更能满足数据流查询的实时性要求。     

分布式数据流查询处理的P2P中间件研究

随着Web的大规模应用,分布式数据流的数量迅速增长,其查询处理面临极大的挑战。该文开发了分布式数据流响应查询的P2P中间件原型,利用基于内容路由所提供的可扩展性、通信负载平衡及动态适应性等特性,能有效地处理相似查询,支持内积查询。模拟实验表明该索引机制能减少网络连接的计算资源,提高数据流查询处理效率。     

REPS:一种高效的容错并行概率流Skyline查询方法

概率数据流的并行Skyline查询作为当前大数据分析的一个重要方面,在诸多实际应用中发挥着重要作用。针对并行概率流Skyline查询过程中因发生故障而导致查询结果不准确和查询中断等问题,提出了一种基于复制的容错并行Skyline查询方法REPS。该方法选择参与并行处理的计算节点作为副本节点,并采用层次-循环式数据副本放置策略,选择优先级高的副本恢复数据来保证数据恢复的高效性;同时将故障检测、丢失数据恢复和查询过程恢复贯穿于整个查询更新过程中,以减少容错处理的额外通信和计算开销,并实现快速的容错并行查询。实验结果表明,REPS方法不仅在无故障发生和单个节点失效时具有较高的查询处理效率,而且对于多节点失效情形,仍然能够保持较高的查询处理速率且满足查询需求。     

面向网络数据管理的并行查询处理

随着互联网的迅猛发展,监控网络的所产生的海量数据对查询处理提出挑战。根据数据明显分为大量的事件数据和少量、稳定的配置数据的特点,提出了一种基于单机DBMS的并行查询处理方法。从关系代数的角度,将任意查询分解成对水平数据分区的子查询和汇总中间结果的后处理查询。借助DBMS提供的数据库链路,在不改动DBMS的情况下,方便地构造查询处理器。用真实负载的测试表明：在中间结果集不很大的情况下,能获得接近线性的扩展比。     

大规模数据密集型系统中的去重查询优化

针对shared-nothing结构下大规模数据密集型系统去重查询的挑战,提出了一种有效的数据分布策略和并行处理方法分别对相关属性和无关属性去重进行优化:即自适应的散列和直方图相结合的数据分布策略,以及异步式并行查询中间件.前者在数据写入时保证数据均衡,并在数据量发生倾斜时自动调整数据的分布;后者充分发掘了去重查询处理中的粗粒度流水级并行,并消除了多节点同步等待的开销,尽早地返回结果.在生产系统DBroker上的测试表明,数据分布策略极大地改善相关属性的去重查询性能,而异步式并行查询引擎能够充分发掘并行性,对不相关属性的去重查询具有显著的性能提升.     

基于CORBA的并行数据库中间件

集群技术在大型数据库应用系统中得到了越来越多的应用。无共享结构的集群易于实现，具有良好的可扩展性。但是目前的数据库集群工具非常少，往往与数据库相关。针对这一问题，该文提出了一种灵活有效的构建数据库集群的方法，研究并实现了并行数据库中间件StarTP。StarTP的基本思想是：屏蔽后端数据库的细节，为应用提供单一的虚拟数据库；通过流水并行加速数据加载；利用数据划分和复制将查询本地化从而实现并行查询。StarTP支持大型数据库集群，具有容错和负载均衡功能。试验结果证明了StarTP的有效性和可扩展性。     

优化处理并行数据库查询的并行数据流方法

本文使用并行数据流技术优化和处理并行数据库查询的方法,提出了一整套相关算法,并给出了一个基于并行数据流方法的并行数据库查询优化处理器的完整设计.这些算法和相应的查询优化处理器已经用于作者自行设计的并行数据库管理系统原型.实践证明,并行数据流方法不仅能够快速有效地实现并行数据库管理系统,也能够有效地进行并行数据库查询的优化处理.     

分布式聚集函数支持的内存OLAP并行查询处理技术

根据OLAP查询的特点和内存数据库的性能特征提出了由多个内存数据库组成的并行OLAP查询处理系统,将OLAP应用中的多维聚集查询分布到各个计算节点并行进行聚集计算,并将聚集计算的结果进行合并输出.与其他并行处理方法相比,该算法充分利用OLAP DB结构中维表远小于事实表的特性,根据数据库中事实表的数据量和节点的数据处理能力进行水平数据库分片,并根据聚集函数的可分布计算特性提高查询处理的并行度,延迟并行查询处理中的合并过程,充分利用节点的并行处理能力,减少并行查询处理过程中的数据通信量,提高系统并行查询处理性能.该算法易于实现,具有较好的可扩展性和性能,适用于企业级海量数据处理领域的需求.     

基于水车模型的时序大数据快速存储

近年来，随着物联网的高速发展，传感器部署的规模日益壮大。大规模的传感器每秒都会产生大量数据流，并且数据的价值会随着时间的流逝逐渐降低。因此，存储系统不仅需要能承受高速到达的数据流带来的写入压力，还需要以最快的速度将数据持久化，以供后续的查询和分析。这对存储系统的写入性能提出了更高的要求。基于水车模型的快速存储系统可以满足大数据应用场景下的高速时序数据流快速存储需求。该系统部署在高速时序数据流和底层存储节点之间，利用多个数据桶构建一个逻辑上轮转的存储模型(类似于中国古代的水车),并且通过控制每个数据桶的状态来协调数据的写入和落盘。水车模型将数据桶分配给不同的底层存储节点，从而将瞬时写入压力均摊到多个底层存储节点上，并借助多节点的并行写入提高写吞吐。水车模型被部署在单机版MongoDB上，并和分布式MongoDB进行了实验对比。实验结果表明，水车模型可以有效提升系统的写吞吐，降低写入延迟，并且具有良好的横向可扩展性。     

网内查询处理中的一种基于数据流共享的过滤查询算法

网内查询处理需要让网络中各个节点共同承担查询任务,其基本问题是如何采取合适的策略将各个查询映射到网络节点上,以使得网络传输数据量和网络延迟达到最小.基于在查询间共享数据流的思想,提出了基于查询包含和查询合并的数据流共享策略,并建立了相应的收益模型,最后通过实验分析对比了两种策略的运行效果.     

Method of adaptive controllable parallel execution of operations in object database management systems

The design of parallel database management systems (DBMSs) normally implies using special-purpose multiprocessor computing systems. Most often, a DBMS is supposed to work in an exclusive mode of operation. However, in the class of x86-based multiprocessor computing systems designed for mass usage, the exclusive mode of DBMS operation with respect to other software is often not secured. In addition, the legacy software for this class of computing systems is often not designed for mass parallel usage. When the exclusive mode requirement is ignored and the resources of the computing system are not used in low-load DBMS regimes, the efficiency of using resources of the computing system as a whole reduces. This paper considers a method of program organization of controlled parallelism at the level of internal DBMS operations, allowing for their controlled execution based on the state of the entire computing system. This method made it possible to significantly reduce the time of response for low densities of query arrival in the ODB-Jupiter commercial object DBMS developed in the Inteltec Plus scientific manufacturing center. The method of controlled parallel execution can be used in a wide class of program systems.     

并行数据仓库Para Ware系统的查询优化

1.引言数据仓库作为支持OLAP应用的系统,它所面对的数据往往都具有很大的规模。如何快速地得到查询结果,一直是人们研究的一个重要方向。在已有的研究中,已经相继提出了使用实体化视图和各种有效的索引技术来提高查询响应性能。使用实体化视图是通过数据的冗余存储,对于常用的聚集数据进行预计算,使用预计算结果响应用户查询。而索引技术也主要是应用在存储层上的,如在文[4]中提到在存储层中使用bitmap索引提取相关数据的方法。而在查询处理逻辑层次上的优化技术目前研究得还比较少。在文[3]中提到了使用缓存技术,减少磁盘I/O及通信代价,提高查询效率的方法,这个     

一种保证传感器网络实时服务的中间件机制

传感器网络技术的发展导致了在应用与网络之间建立中间件,根据系统资源及网络能源保证在网络上并发运行的应用的QoS。首先,本文结合传感器网络的特性及实时应用的特点,定义了一个事件驱动的保证实时QoS的传感器网络中间件框架。然后,定义了传感器网络中实时应用的执行模型,提出了一种基于时间戳相关的实现技术,在应用调度中结合应用语义保证实时QoS、数据流的时间一致性及并发应用执行的逻辑一致性。最后,给出了基于时间戳模型的调度算法。通过性能测试结果分析表明,它能够显著提高系统的运行效率及对高速外部采集数据处理的实时性,特别适应于处理间歇、高速的传感器网络外部采集数据。     

基于KDB树的RFID事件聚合过滤算法

分析RFID中间件查询数据的特点,提出一种对查询数据聚合转换的方法,减少查询索引的存储空间和数据插入时间。分析和比较已有多维查询索引的各方面性能,将多维索引KDB-tree应用到RFID中间件中。实验结果表明,KDB树索引在存储空间成本、数据插入成本和查询时间成本3个方面的综合性能最佳,在点查询上,KDB-tree只须单路径遍历索引树,数据查询时间少于其他方法。     

基于数据流的滑动窗口机制的研究

传统的关系数据库是在持久稳定的数据集合上进行数据查询,而数据流的长度是无界的,不可能将所有的数据存储下来,因此对数据流的查询处理大多采用了持续查询。对数据流进行持续查询时,往往感兴趣的不是所有的数据而是最近到达的部分数据,这样就引入滑动窗口模型。定义滑动窗口语义是数据流管理系统中一个非常基础性的工作,直接关系到数据流的存储和查询的执行效率。针对滑动窗口的模型和语义进行了研究。     

面向城轨线网的海量数据查询优化方法

城轨线网数据中心汇集多条线路数据,单表记录量达数十亿条,当前系统数据查询响应时间过长、效率低下.提出利用数据库集群及中间件优化系统架构突破单库存储与处理瓶颈,多节点并行处理提升查询速度.按线路水平切分数据等方法,保证JOIN操作的局部性,满足新线路扩展需求;利用表分区、索引、物化视图、SQL语句优化等技术优化单机查询.其中,针对集群数据透明访问系统架构,设计专用数据库访问中间件,解决查询解析、路由及结果合成等关键问题.以广州城轨线路数据为例进行实验,结果表明通过本文方法各类查询响应时间至少降低90%.     

异构计算平台上列存储系统的并行连接优化策略

GPU以及集成式的CPU-GPU架构凭借其强大的并行处理能力和可编程流水线方式,已经成为数据库领域的研究热点。为充分利用异构平台的并行计算能力,提升列存储系统的查询性能,在研究异构平台结构特性的基础上,首先提出了GPU多线程平台上进行连接的数据划分策略--ICMD（Improved CMD）,利用GPU流处理器并行处理各个子空间上的连接,然后利用任务评估分配模型实现查询负载的动态分配,使得查询操作能在多核CPU、GPU上高效并行执行。同时利用片上全局同步机制、局部内存重用技术优化ICMD连接算法。最后采用SSB基准测试集测试,结果表明：Intel? HD Graphics 4600平台上并行连接查询相比于CPU版本获得了35%的性能提升,较GPU查询引擎的Ocelot性能上提升了18%。     

PARADISE: Big data analytics using the DBMS tightly integrated with the distributed file system

There has been a lot of research on MapReduce for big data analytics. This new class of systems sacrifices DBMS functionality such as query languages, schemas, or indexes in order to maximize scalability and parallelism. However, as high functionality of the DBMS is considered important for big data analytics as well, there have been a lot of efforts to support DBMS functionality in MapReduce. HadoopDB is the only work that directly utilizes the DBMS for big data analytics in the MapReduce framework, taking advantage of both the DBMS and MapReduce. However, HadoopDB does not support sharability for the entire data since it stores the data into multiple nodes in a shared-nothing manner—i.e., it partitions a job into multiple tasks where each task is assigned to a fragment of data. Due to this limitation, HadoopDB cannot effectively process queries that require internode communication. That is, HadoopDB needs to re-load the entire data to process some queries (e.g., 2-way joins) or cannot support some complex queries (e.g., 3-way joins). In this paper, we propose a new notion of the DFS-integrated DBMS where a DBMS is tightly integrated with the distributed file system (DFS). By using the DFS-integrated DBMS, we can obtain sharability of the entire data. That is, a DBMS process in the system can access any data since multiple DBMSs are run on an integrated storage system in the DFS. To process big data analytics in parallel, our approach use the MapReduce framework on top of a DFS-integrated DBMS. We call this framework PARADISE. In PARADISE, we employ a job splitting method that logically splits a job based on the predicate in the integrated storage system. This contrasts with physical splitting in HadoopDB. We also propose the notion of locality mapping for further optimization of logical splitting. We show that PARADISE effectively overcomes the drawbacks of HadoopDB by identifying the following strengths. (1) It has a significantly faster (by up to 6.41 times) amortized query processing performance since it obviates the need to re-load data required in HadoopDB. (2) It supports query types more complex than the ones supported by HadoopDB.     

ARAXA: Storing and managing Active XML documents

Active XML (AXML) documents combine extensional XML data with intentional data defined through Web service calls. The dynamic properties of these documents pose challenges to both storage and data materialization techniques. In this paper, we present ARAXA, a non-intrusive approach to store and manage AXML documents. We also define a methodology to materialize AXML documents at query time. The storage approach of ARAXA is based on plain relational tables and user-defined functions of Object-Relational DBMS to trigger the service calls. By using a DBMS we benefit from efficient storage tools and query optimization. Approaches without DBMS support have to process XML in main memory or provide for virtual memory solutions. One of the main advantages of ARAXA is that AXML documents do not need to be loaded into main memory at query processing time. This is crucial when dealing with large documents. The experimental results with ARAXA prototype show that our approach is scalable and capable of dealing with large AXML documents.