Five Steps to Construct a Model of Data Allocation for Distributed Database Systems

The allocation of data to nodes in a computer communications network is a critical issue in distributed database design, specially in wide area network where optimizing the distributed queries is the main objective. Numerous models of data allocation have been presented so far (Ceri and Pelagatti, 1986; Lee et al., 1994; Apers, 1988; Mahmood et al., 1994; Theel, 1994; Saha and Mukherjee, 1994; Walfson and Jajodia, 1995), but no optimal or universally accepted algorithm exists yet, and very few algorithms have been implemented to date (Rob and Cornonel, 1993). In this paper a method to construct a model of data allocation for distributed database system has been proposed. The adopted method for the construction of the data allocation model leads to an efficient model of its kind. The proposed model not only solves distributed database design problem, but also solves distributed database maintenance problem by covering initial allocation and post allocation of the data. The efficiency of proposed model has been proved by comparing proposed model with other relevant models.     

Distributed real time database systems: background and literature review

Today’s real-time systems (RTS) are characterized by managing large volumes of dispersed data making real-time distributed data processing a reality. Large business houses need to do distributed processing for many reasons, and they often must do it in order to stay competitive. So, efficient database management algorithms and protocols for accessing and manipulating data are required to satisfy timing constraints of supported applications. Therefore, new research in distributed real-time database systems (DRTDBS) is needed to investigate possible ways of applying database systems technology to real-time systems. This paper first discusses the performance issues that are important to DRTDBS, and then surveys the research that has been done so far on the issues like priority assignment policy, commit protocols and optimizing the use of memory in non-replicated/replicated environment pertaining to distributed real time transaction processing. In fact, this study provides a foundation for addressing performance issues important for the management of very large real time data and pointer to other publications in journals and conference proceedings for further investigation of unanswered research questions.     

面向大数据分布式存储的动态负载均衡算法

随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Fe-deration)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。     

分布式数据库中多元连接查询优化的研究

论文对分布式数据库中多元连接查询操作次序的确定问题提出了优化，通过引入收益代价比的概念，提出了一基于贪心算法的选择模型。通过该模型，可以得到理想的连接次序的选取方案。     

分布式数据库设计中数据和操作的分配

提出了将全局关系分段,将查询和更新操作分解成这些分段上的关系操作步,然后用系统费用摸型将分段和操作分配到各站点以使系统费用最小,从而建立分布式数据库设计模型。     

基于并发策略的分布式文件系统性能优化方案

分布式文件系统是构建分布式存储系统的核心底层子系统,它的性能影响着整个分布式存储系统的性能。针对Hadoop分布式文件系统性能的不足,提出基于并发策略的性能优化方案,改进其写操作性能。实验表明该方案能有效的提高写的性能,提高系统的执行效率。     

分布式数据库系统的查询优化策略

简要的介绍了分布式数据库系统的概念和特点,并在分析比较分布式数据库系统和集中式数据库系统查询优化目标不同特点的基础上,归纳出分布式数据库系统的查询优化目标和代价分析,进而提出查询优化的策略,并在举例中重点讨论了操作执行顺序的不同对查询性能的影响。     

A Graphical Approach to Allocating Class Fragments in Distributed Objectbase Systems

This paper contributes by providing an allocation taxonomy to analyze DOBS models and identify the primary characteristics of a DOBS allocation. A graphical optimization technique, based on the work by Kernighan and Lin (The Bell System, Technical Journal, pp. 291–307, 1970), is basis of our approach. The algorithm attempts to arrive at a near optimal distribution of fragments by exchanging and/or moving fragments between every pair of sites. The algorithms are implemented and are tested with carefully generated test data to obtain an analysis of the performance. The design, implementation and analysis of the allocation algorithms form the most significant contribution of this paper. Several significant insights are derived from the analysis of the results obtained that can be usefully applied to any real life DOBS allocation design. The applicability of the allocation algorithms for the DOBS model of interest may be verified by a cost benefit analysis based on their efficiency. The optimization of the initial allocation is meaningful only if the improvement obtained by optimization justifies the additional overhead. If significant improvement is not obtainable by optimization then our efficient initial allocation scheme alone may serve the purpose.     

分布式数据库系统的查询优化技术研究

数据库数据量日益增多,造成了用户在使用数据库系统查询时费时费力,传统的查询优化方式已无法满足如今的数据查询要求,提高数据库系统优化的效率也成为计算机研究工作的热点。提出基于半连接算法的分布式查询处理技术对数据库系统进行查询优化,提出半连接操作的查询优化算法(SDD-1),并采用实验分析的方法进行验证,计算查询算法的代价。结果表明,基于半连接的研究策略的分布式数据库查询优化可以显著降低传输代价,使查询总效率得到有效提高。     

浅谈分布式数据库系统查询优化

分布式数据库系统的查询优化,就是要寻找执行代价最小的查询执行策略,使系统执行效率达到最高。我们在应用中需要选择适当优化方法,在执行代价和便捷度之间得到最佳执行方案。     

低约束密度分布式约束优化问题的求解算法

多Agent协作过程中的许多挑战都可以建模为分布式约束优化问题.针对低约束密度的分布式约束优化问题,提出了一种基于贪婪和回跳思想的求解算法.在该算法中,各Agent基于贪婪原则进行决策,能够利用低约束密度问题中大量赋值组合代价为0这一特点来加快求解速度.同时,Agent间的回跳机制可以在贪婪原则陷入局部最优时保证算法的完全性.相对于已有主流算法,该算法可以在保持多项式级别的消息长度/空间复杂度的前提下,以较少的消息数目求解低约束密度的分布式约束优化问题.给出了算法关键机制的正确性证明,并通过实验验证了算法的上述性能优势.     

基于本体模式的分布式数据最优分配方法

随着网络技术的发展,分布式数据库应用越来越广泛。将数据存储在合适的位置不但能够提高数据处理的效率,而且能够减少数据处理的成本。近来的大多数研究都侧重于已存在的数据库,通过分析系统操作历史来研究数据分配问题。论文提出一种基于本体模式的分布式数据库系统构造及需求分析方法,用于解决分布式数据库的数据分配问题。     

基于直接连接的分布式数据库查询优化实现方法研究

首先对分布式数据库查询执行代价模型进行分析,然后对直接连接中的连接运算的方法、连接关系的传输方法和执行场地等问题进行研究,并计算所有评估方法的执行代价,从中选择出最小执行代价的执行方法,最终确定了执行的场地、连接的方法和传输方法.     

地震资料分布式存取的效率优化设计

目前,存取海量非结构化地震数据的常用方法,存在着在物理层和应用层添加了逻辑层影响访问速度,降低访问效率的弊端.为了在不增加额外成本的基础上,改善数据的存储方法、提高地震数据的访问效率,论文研究一种基于hadoop框架下地震资料分布式存取设计的思想,采用混合索引查询方法进行统一访问.采用对数据请求按操作进行预处理,通过建立基于关键字的索引、数据库索引等技术,优化因为了缩短开发周期,节约软件运行成本而增加逻辑层带来的查询速度慢的问题,提高数据的存取效率.     

基于分布式技术的气象系统数据服务平台构建

现有气象系统建设和设计缺乏统一规划,导致各系统林立,数据管理散、乱、差,整体安全防护能力较弱,集约化差。本文利用分布式技术,构建基于“分布式关系型数据库+事务性数据库+列式数据库+表格系统+分布式文件系统”的混合型模式大数据服务中心,进行数据的存储、管理和服务,并通过MUSIC接口与省级CIMISS系统无缝衔接在一起,有效实现了数据的共享、流程的高度集约,并极大提升了数据的影响能力。相同条件下,10年自动站数据查询的性能提升了22倍多,而随着时间维度的增加,这种提升的优势会更大。     

分布式数据库搜索引擎的索引建立和优化

对于使用数据的用户来说,能找到准确的数据且没有遗漏是一件非常困难的事。为了较好地满足用户需求,该文提出了利用分布式数据库搜索引擎架构来实现智能化的搜索和定位。通过建立和优化索引,并使用适当的排序算法,搜索引擎能将最贴近用户需要的结果排在其他结果之前,从而提高搜索引擎的检索效率、查全率和查精率。实验表明,该引擎的查全率为90.02%,查精率为89.78%。     

分布式文件系统中的负载平衡技术

I／O，特别是存储系统成为了计算机系统结构的核心，因而用于组织存储内容并提供使用接口的文件系统中的负载平衡研究也成为提高整个系统性能和可扩展性的重要组成部分。在分析现有文件系统负载平衡技术的优缺点的基础上，提出了一种动态的负载平衡技术，并给出此技术的实现方案和可行性分析。     

基于半连接的分布式查询优化技术研究

在分析比较分布式数据库系统和集中式数据库系统结构以及查询优化目标不同特点的基础上,归纳出分布式数据库系统的查询处理和优化,介绍分布式查询优化技术中非常有效的半连接操作技术,并在此基础上重点讨论基于半连接的分布式查询优化方法——PERF连接技术。     

基于分布式数据库系统查询优化策略的研究

在分布式数据库系统中,由于数据的物理分布使得分布式查询处理增加了许多新的复杂性,不同的查询处理策略,其查询处理代价和复杂度是大不一样的。分布式数据库系统的查询优化和集中式数据库系统相比,显得更为重要。文章在充分讨论查询优化和策略的基础上,着重论述了一种分布式数据库系统查询优化策略是如何影响查询性能的。