基于大规模事务处理系统的中间层语义缓存技术的研究

对当前的中间层语义缓存的研究进行了分析,以一个大规模事务处理系统为背景,提出了一个针对海量数据统计分析的中间层语义缓存解决方案,给出了其相关定义、体系结构及管理机制,并在大规模事务处理系统上对语义缓存进行了测试。     

语义缓存的聚集查询匹配研究

为提高海量数据库系统的查询效率，围绕海量数据库系统中的聚集查询技术，把通常应用于小型数据库查询的语义缓存技术拓展到海量数据库的聚集查询中．首先研究了面向聚集查询的语义缓存形式化描述，在此基础上讨论了利用缓存处理查询的条件并对查询匹配进行了分类，提出并实现了包含匹配判定算法和相交匹配判定算法，最后给出了相应的实验结果．在某大型实际工程中的应用表明上述判定算法是有效的．     

海量数据管理平台MDMP中并行加载与查询技术研究

海量数据的产生对传统的数据库技术在数据存储、实时数据加载、实时数据查询等方面都提出了新的挑战.海量数据管理平台MDMP就是针对海量数据的存储及管理需求而研制的. MDMP中基于流水的多路并行加载技术提供了高性能的加载,并实现了在加载的同时进行实时查询;基于语义缓存的并行查询技术对于MDMP中频繁的聚集查询进行了优化,提高了查询速度.主要研究了这两个关键技术.     

面向聚集查询的语义缓存技术

将目前主要用于小规模数据库查询的语义缓存技术拓展到海量数据库的聚集查询中,以面向聚集查询的语义缓存形式模型为基础,构造了语义缓存StarCache.详细讨论了StarCache中的聚集查询处理、语义缓存替换管理和一致性维护等技术.StarCache已经集成在自主研发的并行数据库中间件StarTP中,并在一项大型国家工程中得到实际应用.     

关系数据库语义缓存的研究进展

语义缓存是优化数据库性能的有效方法,在关系数据库领域得到了广泛研究和应用。它是将查询结果和相关语义信息缓存,从而为将来的查询提供解答。本文首先介绍了语义 缓存的基本概念和原理,然后对现有语义缓存技术进行了分类,最后结合语义缓存的发展趋势讨论了语义缓存的关键技术。     

语义缓存技术的研究

语义缓存技术一直以来是数据库研究的热点之一。语义缓存是指将用户向服务器端提交的查询语句和查询实际得到的结果数据同一存储在指定的缓存中,因而其不仅包含有数据,还有对数据的相关描述信息,从而可以提高查询效率。在语义缓存之前,还存在页面缓存,元组缓存,块缓存等缓存技术。本文首先介绍语义缓存的模型,然后阐述和分析语义缓存查询匹配算法和缓存替换策略,最后对语义缓存技术进行总结,从而为语义缓存技术的进一步研究提供一定的理论基础。     

语义缓存技术的研究

语义缓存技术一直以来是数据库研究的热点之一。语义缓存是指将用户向服务器端提交的查询语句和查询实际得到的结果数据同一存储在指定的缓存中,因而其不仅包含有数据,还有对数据的相关描述信息,从而可以提高查询效率。在语义缓存之前,还存在页面缓存、元组缓存、块缓存等缓存技术。文中首先介绍语义缓存的模型,然后阐述和分析语义缓存查询匹配算法和缓存替换策略,最后对语义缓存技术进行总结,从而为语义缓存技术的进一步研究提供一定的理论基础。     

语义缓存查询裁剪优化*

查询处理是语义缓存的一个关键问题,但是现有的查询处理算法在时空效率和裁剪结果的复杂度两个方面存在很大的局限性,这在一定程度上限制了语义缓存的实用性。为了克服这些缺陷,本文对语义缓存的裁剪过程进行优化处理,减少了对服务器的无效访问,并给出了生成探测查询和剩余查询的裁剪算法;算法分析从理论上证明了该优化机制的有效性,同时,仿真实验的性能比较也表明该优化方法在提高查询裁剪时空效率和降低剩余查询复杂度等方面均要明显优于没有优化的方法。     

子句间优化技术在语义缓存查询求值中的应用

缓存技术用来弥补网络通信能力的不足。语义缓存既缓存查询结果,也缓存查询语义,可更好节省网络开销。实用性是语义缓存技术产生和发展的基础,根据实用性要求,语义缓存查询求值所消耗的时空代价要远小于网络通信能力不足带来的时空代价,所以必须对求值算法进行优化。文章从语法一级分析求值算法存在的问题并给出了两级优化方法和实现技术,降低了算法复杂度,减少了对数据库的无效访问,使语义缓存技术向实用化迈进了一大步。     

面向单表查询的具有语义缓存功能的ODBC接口设计*

析了原有PsqlODBC不采用缓存技术带来的缺陷及其对系统性能的影响,提出在PsqlODBC中引入语义缓存技术,有效地利用了客户端的计算和存储资源,降低了服务器端的载荷,缩短了查询响应时间,提高了系统吞吐量。从语义缓存的内容、查询结果集与缓存结果集之间的关系、查询结果集的提取、数据更新和语义缓存的一致性等方面详细阐述了面向单表查询的具有语义缓存功能的ODBC接口设计。     

基于Agent的数据库分布式语义缓存

以大型数据库应用为背景,基于多Agent技术,构建一个分布式数据库访问平台。研究分布式环境下的语义缓存技术,提出一种Agent平台下的智能预取算法,以及一种改进的黑板模型,用于实现多Agent间的通信。在大型数据库系统上的性能测试结果表明,该方案对海量数据的统计查询性能有显著提高。     

语义缓存的最小权值项LWI替换策略

在客户-服务器数据库系统中，语义缓存是基于客户查询语义相关建立的一种客户缓存．语义缓存的内容由以往查询的结果以及相应的描述构成．针对语义缓存的特征，提出语义缓存下最小权值项LWI(1east weight itern)替换策略．该策略由缓存项投影属性的访问频率和缓存项与查询的条件匹配情况，结合数据访问的时间局部性考虑决定缓存项的权值，替换最小权值项．通过性能分析实验，在语义缓存中，基于LWI替换策略的系统性能要优于基于传统LRU和LFU替换策略的系统性能.     

自适应的数据库查询缓存

传统的缓存采取较为机械的管理方法,不能随数据库运行的动态信息调整自身参数以得到更优的性能。数据库语义缓存能够让数据库“理解”查询语义,可以为数据库的动态调节提供信息。而查询缓存是语义缓存的一种,在 SQL解析与查询执行之间,通过研究查询缓存的自主管理来提高数据库的查询性能。首先介绍了数据库常用的语义缓存与自主计算,然后对查询缓存进行了形式化定义,并提出了自适应的查询缓存模型。最后在MySQL的查询缓存上进行了实验,得到了较好的效果。     

移动查询缓存处理的研究

客户缓存为提高客户／服务器数据库系统整体性能以及客户方数据可用性提供了有效途径。移动环境下网络资源的贫乏使客户缓存的作用更为重要，语义缓存是基于客户查询语义相关建立的一类缓存，提出一个基于语义缓存的客户缓存机制，给出缓存的内容组织，提出缓存项合并策略；然后讨论了基于语义缓存的查询处理策略；最后，模拟结果表明该客户缓存机制能够提高分布式、特别是移动环境下客户服务器数据库系统的性能。     

一种基于群集的并行数据处理中间件

HPDPM系统是基于无共享群集结构的支持并行数据处理的中间件.提出了中间件系统的体系结构和主要功能模块,详细论述了利用中间件系统实现并行数据处理的方法.阐述了实现数据放置、缓存管理等关键技术的策略和方法.给出了实验和现场测试结果.利用中间件系统,为用户提供统一的服务接口和管理平台,提高了系统性能,增强了系统的可用性和可维护性,保护了用户已有投资.系统目前在大型应用工程中得到实际应用,应用中涉及的数据规模达到TB级.     

Web应用服务器研究综述

Web应用服务器是Web计算环境下产生的新型中间件,为创建、部署、运行、集成和管理事务性Web应用提供一个跨平台的运行环境,被认为是自关系型数据库以来最令人激动的企业应用技术.诸多IT企业纷纷推出其各自的Web应用服务器产品和系统,学术界也对这种热门领域产生了浓厚的兴趣.在分析Web计算环境下传统中间件发展所遇到的问题的基础上,介绍Web应用服务器的起源和发展、运行模式以及评测基准,然后对Web应用服务器研究现状进行综述,主要包括Web应用服务器的定义、体系结构、组件容器、分布事务处理、负载平衡、高速缓存、Web Service等研究热点和关键技术.根据评测基准,对若干主流Web应用服务器从功能和性能两个方面进行分析和比较.此外,还指出了Web应用服务器目前存在的不足以及未来的发展趋势.