PVM上的并行调试器

现代科学对计算机计算能力的需求,极大地推动了并行计算机的研究与发展,推出了许多高性能的并行计算机,如传统的向量巨型机CRAYC一90,大规模并行处理系统和可扩展的并行处理系统IN-TEL PARAGON,可扩展工作站机群IBM SPI等。与并行计算机硬件的发展相比,并行软件的研究尤显滞后     

SN和SM体系结构下的各种并行连接算法和并行聚合算法的比较与分析

引言随着数据库应用技术的发展,出现了许多先进的数据库应用系统,如计算机集成制造系统、全球观测信息系统、电子商务信息系统等。它们要求数据库系统既能够处理大量的数据又具有快速的响应能力,因此人们对并行数据库系统进行了许多深入的研究工作。研究工作涉及到许多方面,如物理数据组织     

优化处理并行数据库查询的并行数据流方法

本文使用并行数据流技术优化和处理并行数据库查询的方法,提出了一整套相关算法,并给出了一个基于并行数据流方法的并行数据库查询优化处理器的完整设计.这些算法和相应的查询优化处理器已经用于作者自行设计的并行数据库管理系统原型.实践证明,并行数据流方法不仅能够快速有效地实现并行数据库管理系统,也能够有效地进行并行数据库查询的优化处理.     

基于MPI的并行数据库的研究与实现

随着硬件发展趋于极限,建立并行数据库管理系统已成为提高数据库性能的必然选择.本文在介绍了并行数据库系统相关的概念之后,讨论了并行教据库的物理组织结构,并介绍了一个并行数据库系统原型的实现.     

高性能集群文件系统的研究

集群系统提供了强大的批处理和并行计算的能力，具有高性能、高可扩展性、高吞吐量和易用性等特点，但是I／O性能和处理器性能的不匹配使得I／O成为许多应用的瓶颈，特别是处理大量数据的应用就更是如此。针对集群系统当前的现状，克服该瓶颈的常用方法就是采用一种并行虚拟文件系统（PVFS）技术。随着Linux群集系统性能的持续提高，高速并行文件已成为并行计算的一个必备部分。并行虚拟文件系统（PVFS）为高性能计算（HPC）群集和大型I／O密集并行应用提供了这样一个文件系统。首先介绍了PVFS的结构；然后研究了PVFS的存取和管理机制；最后分析，PVFS的工作原理。     

基于linux集群的并行计算

集群计算机技术是高性能并行计算机系统中的一个研究热点。对于有密集运算需求的企业和研究机构来说,集群系统是他们的最佳选择。本文简要介绍了linux集群技术和并行程序设计的概念,并给出了一个并行程序实例,对linux集群系统进行了性能评测。     

一种面向大规模数据处理的数据库引擎

当数据量从GB级上升至TB级甚至PB级时,具有高性能的并行数据库在保证扩展性和容错性的同时计算代价会很高。针对该问题,设计一种面向大规模数据处理的并行数据库引擎FlexDB。利用Map Reduce的并行计算框架作为通信层,调度和协调集群中各节点的计算和通信。实验结果表明,FlexDB的系统性能接近于并行数据库,并且具有较好的扩展性和容错性。     

MPI通信代码自动生成算法

对于高性能并行计算机而言，如何由给出的计算、数据划分信息及精确数组数据流分析信息自动生成并行化代码是实现串行程序并行化的一个重要问题。根据Saman P.Amarasinghe和Lam的定理，实现了一种并行化识别工具中MPI（Message Passing Interface）并行化代码自动生成技术的算法，并对该算法的性能进行分析。     

并行编译器：90年代软件性能的关键

当软件开发者把他们的软件应用到更高性能的系统上时,正在出现的各种计算机体系结构对他们提出了无数的挑战。例如,并行处理结构正在用来提高系统性能,而RISC处理器在芯片级上加快了指令的执行速度。因而,并行编译器受到了来自系统级和芯片级两个方面的不断增加的复杂性的挑战。     

一种并行XML数据分片算法的设计与实现

随着XML在各个领域的广泛应用，XML数据规模急剧增加，查询处理也日趋复杂。集中式环境由于单机存在的I／O瓶颈问题，在处理日益复杂的查询操作时已渐渐不能满足应用需求。因此，高性能的并行数据库在XML处理方面的研究，必将为XML数据库的。存储和查询处理带来新的曙光。本文讨论了一种对XML文档的基于节点轮循法进行分片的设计原理及实现算法。实验结果证明该方法具有很好的加速比和缩放比性能。     

多元连接查询的并行执行

文中首先分析了传统的并行查询处理算法,然后针对面向对象数据库及其查询的特点,结合查询处理的分阶段执行策略,基于对象类的混合式数据放置策略和基于合格标记的数据操作并行执行算法,提出了基于ｓｅｍｉｊｏｉｎ的并行查询处理算法,对算法的正确性进行了证明,并给出了性能评价的结果。     

基于MapReduce的Skyline查询处理算法

Skyline查询是一个典型的多目标优化查询,在多目标优化、数据挖掘等领域有着广泛的应用。现有的Skyline查询处理算法大都假定数据集存放在单一数据库服务器中,查询处理算法通常也被设计成针对单一服务器的串行算法。随着数据量的急剧增长,特别是在大数据背景下,传统的基于单机的串行Skyline算法已经远远不能满足用户的需求。基于流行的分布式并行编程框架MapReduce,研究了适用于大数据集的并行Skyline查询算法。针对影响MapReduce计算的因素,对现有基于角度的划分策略进行了改进,提出了Balanced Angular划分策略;同时,为了减少Reduce过程的计算量,提出了在Map端预先进行数据过滤的策略。实验结果显示所提出的Skyline查询算法能显著提升系统性能。     

基于蚁群遗传混合算法改进的连接查询研究

连接查询优化技术对提升数据库性能至关重要,提出一种改进的连接查询算法,结合Wander Join连接查询算法,使用蚁群遗传混合算法对连接顺序进行优化。执行新的连接计划后,用剪枝策略降低样本的连接复杂度,达到了减少存储代价的目的。 理论分析和基于TPC-H数据集、TPC-DS数据集的算法对比实验表明,在多表连接的样本置信区间大于或等于95%的条件下,根据选择率的不同,加入蚁群遗传混合算法和剪枝策略的连接查询算法的相对错误率与Wander Join连接查询算法相比下降了20%～70%。     

Evolutionary Algorithms for Allocating Data in Distributed Database Systems

A major cost in executing queries in a distributed database system is the data transfer cost incurred in transferring relations (fragments) accessed by a query from different sites to the site where the query is initiated. The objective of a data allocation algorithm is to determine an assignment of fragments at different sites so as to minimize the total data transfer cost incurred in executing a set of queries. This is equivalent to minimizing the average query execution time, which is of primary importance in a wide class of distributed conventional as well as multimedia database systems. The data allocation problem, however, is NP-complete, and thus requires fast heuristics to generate efficient solutions. Furthermore, the optimal allocation of database objects highly depends on the query execution strategy employed by a distributed database system, and the given query execution strategy usually assumes an allocation of the fragments. We develop a site-independent fragment dependency graph representation to model the dependencies among the fragments accessed by a query, and use it to formulate and tackle data allocation problems for distributed database systems based on query-site and move-small query execution strategies. We have designed and evaluated evolutionary algorithms for data allocation for distributed database systems.     

REPS:一种高效的容错并行概率流Skyline查询方法

概率数据流的并行Skyline查询作为当前大数据分析的一个重要方面,在诸多实际应用中发挥着重要作用。针对并行概率流Skyline查询过程中因发生故障而导致查询结果不准确和查询中断等问题,提出了一种基于复制的容错并行Skyline查询方法REPS。该方法选择参与并行处理的计算节点作为副本节点,并采用层次-循环式数据副本放置策略,选择优先级高的副本恢复数据来保证数据恢复的高效性;同时将故障检测、丢失数据恢复和查询过程恢复贯穿于整个查询更新过程中,以减少容错处理的额外通信和计算开销,并实现快速的容错并行查询。实验结果表明,REPS方法不仅在无故障发生和单个节点失效时具有较高的查询处理效率,而且对于多节点失效情形,仍然能够保持较高的查询处理速率且满足查询需求。     

不确定数据流上的并行反Skyline查询

作为Skyline查询的一种重要变体,不确定数据流上的反Skyline查询已经成为研究的热点。已有的单机算法无法应对诸如高速数据流、高数据维度、大滑动窗口等情况,相应提出并行查询处理算法PRSUDS。算法采用基于角度划分的分发策略将处理任务分发至各并行节点,给出该分发策略的正确性证明,进而设计、实现算法的并行处理框架。实验结果表明PRSUDS算法较单机算法具有更好的综合性能,更能满足数据流查询的实时性要求。     

基于多态蚁群系统的无线传感器网络数据聚集算法

针对无线传感器网络能量受限的特点，将多态蚁群系统原理用于无线传感器网络的数据查询和聚集中，提出并仿真实现了一种能够均衡无线传感器网络能耗的算法。仿真结果表明，基于多态蚁群系统的无线传感器网络数据聚集算法能够有效延长无线传感器网络在执行数据查询和聚集任务时的生存时间。     

Oracle查询效率主要影响因素分析

讨论影响Oracle查询效率的几种主要因素,包括索引的使用、SQL写法、统计信息,并以大数据量测试数据对各种影响因素做出定量分析,使得Oracle数据库相关技术人员在执行查询操作时,有较好的参考依据。     

云环境下的突发关键字查询算法

基于Spark Streaming计算框架下的分布式突发关键字查询是监测流数据中关键字突发时间的热点研究问题。多数研究方法存储统计所有的关键字,并未考虑热点关键字。在数据呈爆炸式增长的背景下,获取热点关键字的突发时间更具有价值。针对这个问题,提出一种分布式突发关键字查询算法,该算法采用动态的更新策略,通过设置检查点的方法提取热点关键字,并在线性的时间内查询突发的时间范围。实验结果表明,该算法的性能比现有算法更优。     

列存储数据查询中的连接策略选择方法

列的连接策略优化是列存储数据查询中的重要问题。现有的列存储系统中,列的连接存在策略单一,缺少优化处理,无法满足复杂查询等缺陷。针对这些问题,提出一种连接策略选择方法。该方法首先定义简单规则过滤代价过大的查询计划,生成候选查询计划树。进而根据动态Huffman树原理提出动态优化树算法,对候选查询计划树中的查询执行顺序进行改进。根据列存储数据的特点,候选计划中每个连接节点的执行策略被归纳为两种:串行连接和并行连接。在此基础上构建代价估计模型,集中针对这两种连接策略进行代价估计和策略选择,从而以较小的时间复杂度获得优化的查询执行策略。