大数据环境下基于Hbase的分布式查询优化研究

大数据环境下数据库所存储的数据量呈爆炸式增长,如何保持高吞吐率并让客户得到满意的数据查询和处理结果,已经成为一个急需解决的问题。金融、电信以及互联网等行业要求企业的统计分析平台能支持分布式、高可用性和可扩展性的分布式查询环境,以便能及时高效的完成查询分析任务,做出更合理的业务决策。目前已经有很多公司在一定范围内将应用从关系数据库向Hbase进行迁移,但是大多数都是和Hadoop MapReduce或Hive结合使用,导致数据量增加后的分布式查询耗时过长,性能也随之下降。此外Hbase也有其自身的局限性,不能兼容传统数据库上的SQL应用。本文在分析了现有分布式数据库系统平台并深入研究Hbase的实现原理及高级特性的基础上,提出了基于Hbase的可扩展性查询优化方案(Hbase DSPE),即把Hbase的优点和SQL的易用性结合。这样做有助于对复杂SQL查询的优化,可以充分利用Hbase的诸多高级特性进行查询性能调优,对企业在大数据环境下从传统关系数据库向大数据平台的迁移具有现实的指导意义。     

分布式流数据加载和查询技术优化

分布式流查询是一种基于数据流的实时查询计算方法,近年来得到了广泛的关注和快速发展。综述了分布式流处理框架在实时关系型查询上取得的研究成果;对涉及分布式数据加载、分布式流计算框架、分布式流查询的产品进行了分析和比较;提出了基于Spark Streaming和Apache Kafka构建的分布式流查询模型,以并发加载多个文件源的形式,设计内存文件系统实现数据的快速加载,相较于基于Apache Flume的加载技术提速1倍以上。在Spark Streaming的基础上,实现了基于Spark SQL的分布式流查询接口,并提出了自行编码解析SQL语句的方法,实现了分布式查询。测试结果表明,在查询语句复杂的情况下,自行编码解析SQL的查询效率具有明显的优势。     

基于语义的分布式查询优化

本文研究了语义查询变换的逻辑基础,讨论了分布式数据库系统中语义变换的可能性和必要性,概括了应用领域中的一些语义信息,提出了一个基于启发式规则的分布式查询变换机制.     

基于数据网格的分布式查询优化模型

智能交通系统（ITS）中多个异构的、地理位置分散的数据源能使用像数据网格这样的分布式计算技术进行集成,这种集成所面临的真正挑战是分布式查询处理引擎的设计和开发。一般而言,分布式查询优化按照以下三个阶段进行：查询所涉及节点的确定,并行执行方案的生成,执行查询的最佳节点选择。由于这三个阶段的相互隔离可能会导致得到的查询方案并不是最佳的,提出了一个新的分布式查询优化模型,该模型集成了查询优化的三个阶段,综合考虑了查询优化各个阶段所涉及的参数,如节点的有效内存、处理速度、数据传输容错能力等。     

基于JMS的分布式数据同步

针对分布式网络应用环境下数据同步问题进行了研究,提出一种基于JMS与XML技术的数据同步模型,对模型采用的主要技术、工作流程、实现方案做出了详细分析.通过实验验证了所提出的同步模型在数据传输过程中的实时性、一致性和完整性,最后对模型进行了总结并对后续工作进行了展望.     

基于Mobile Agent技术的分布式查询系统

Mobile Agent技术是一种新型Agent技术，具有移动性、智能性和异步计算等特点。文中针对Mobile Agent技术进行了系统的概述和探讨，提出了把Mobile Agent技术应用于分布式查询系统中的思想，并给出了基于Mobile Agent技术的分布式查询系统模型和体系结构，最后描述了Agent间的通讯方法。     

基于遗传算法的分布式异构数据库的查询优化

对于分布武异构数据库,查询优化问题是其核心问题。本文用基于位、值结构树型编码的遗传算法对分布武异构数据库进行查询优化,取得了很好的效果。     

分布式网络下改进的Top-k查询算法

现有Top-k查询算法主要运用在集中式关系型数据库中,当应用于分布式网络时会产生巨大的通信开销,导致算法效率低下。为此,提出一种改进的Top-k查询算法,利用预处理索引表对分布式网络中无关数据进行裁剪,在此基础上建立包含正确Top-k结果的候选子集并实现Top-k查询。实验结果表明,与Fagin和Naive Top-k查询算法相比,改进算法获得的查询结果更准确,运行时间更短,网络开销更小。     

分布式异构数据库的遗传查询优化

对于分布式异构数据库系统的集成,查询优化既是非常复杂的问题,又是影响系统性能的关键因素。本文用基于位、值结构树型编码的遗传算法,对分布式异构数据库复杂的查询问题进行优化,取得了很好的效果。     

XML在分布式数据同步中的应用研究

本文针对分布式数据同步时因为有异构的数据源而造成数据格式不统一，应用层进行同步的时候要进行相当复杂的转换并且维护起来也要耗费相当大的成本，提出了利用XML来统一异构数据潭的格式。从而为分布式数据同步提供统一的数据平台，大大降低了数据同步的工作量，提高了整个系统的性能。     

分布式数据库系统的查询优化策略

简要的介绍了分布式数据库系统的概念和特点,并在分析比较分布式数据库系统和集中式数据库系统查询优化目标不同特点的基础上,归纳出分布式数据库系统的查询优化目标和代价分析,进而提出查询优化的策略,并在举例中重点讨论了操作执行顺序的不同对查询性能的影响。     

基于XML的Web客户端数据粒状更新与分布式计算

本文以实例介绍了XML在粒状更新Web客户端数据和实现简单的分布工计算方面的应用，并介绍了DOM对象和XML数据岛技术及其应用。     

数据查询优化算法综述

综合提出了评价查询优化算法的4个标准,并基于这4个标准作了比较分析,便于更容易、更快捷地找到适用特定问题的优化方法。     

基于分布式操作系统的数据灾备与拓扑连接挖掘方法

在传统的分布式操作系统灾备处理过程的基础上,结合已有分布式跨边界片段连接优化方法,提出基于空间片段拓扑连接优化的关系代数转换原则,通过利用等价转换规则,进一步简化经过数据本地化处理后的查询树。然后引入连接归并树和执行计划树等概念,并利用相应归并和优化算法将全局空间查询转化为各个场地局部空间数据库的具体执行计划。     

基于半连接的分布式查询优化技术研究

在分析比较分布式数据库系统和集中式数据库系统结构以及查询优化目标不同特点的基础上,归纳出分布式数据库系统的查询处理和优化,介绍分布式查询优化技术中非常有效的半连接操作技术,并在此基础上重点讨论基于半连接的分布式查询优化方法——PERF连接技术。     

Accomplishing Deterministic XML Query Optimization

As the popularity of XML (extensible Markup Language) keeps growing rapidly, the management of XML compliant structured-document databases has become a very interesting and compelling research area. Query optimization for XML structured-documents stands out as one of the most challenging research issues in this area because of the much enlarged optimization (search) space, which is a consequence of the intrinsic complexity of the underlying data model of XML data. We therefore propose to apply deterministic transformations on query expressions to most aggressively prune the search space and fast achieve a sufficiently improved alternative (if not the optimal) for each incoming query expression. This idea is not just exciting but practically attainable. This paper first provides an overview of our optimization strategy, and then focuses on the key implementation issues of our rule-based transformation system for XML query optimization in a database environment. The performance results we obtained from experimentation show that our approach is a valid and effective one.     

基于分布式数据库系统查询优化策略的研究

在分布式数据库系统中,由于数据的物理分布使得分布式查询处理增加了许多新的复杂性,不同的查询处理策略,其查询处理代价和复杂度是大不一样的。分布式数据库系统的查询优化和集中式数据库系统相比,显得更为重要。文章在充分讨论查询优化和策略的基础上,着重论述了一种分布式数据库系统查询优化策略是如何影响查询性能的。     

异构分布式数据资源中的网格文件访问

为对网格文件进行数据访问,提出一个带有标准服务器和协议的高性能存储系统——联众系统。采用集群环境中的数据管理方法,通过使用多个标准数据服务器访问多个站点,采用的技术包括Grid FTP以及OGSA Byte I/O界面等。实验结果证明,联众系统能够被用作真实网格环境中的并行文件系统,并获得较好的数据访问结果。     

浅谈分布式数据库系统查询优化

分布式数据库系统的查询优化,就是要寻找执行代价最小的查询执行策略,使系统执行效率达到最高。我们在应用中需要选择适当优化方法,在执行代价和便捷度之间得到最佳执行方案。