面向海量数据统计分析查询的中间层语义缓存

海量数据库应用系统中对统计分析查询进行优化,缩短查询响应时间是系统性能提高的关键。中间层语义缓存提供了一种优化海量数据统计分析性能的途径。文章通过对中间层语义缓存的研究,提出了一个适合海量数据统计分析的中间层语义缓存解决方案。     

基于Oracle DCN的缓存一致性技术

针对J2EE多层架构应用中的缓存一致性问题,提出一个利用Oracle数据库更改通知(DCN)机制维护缓存一致性的方案,以分销资源计划系统为例,在中间层通过应用Java缓存系统来存储系统中频繁存取的数据库结果集,在数据层利用DCN机制维护缓存一致性,论述了相关实现技术。应用结果表明,该方案是有效和可行的。     

关系数据库语义缓存的研究进展

语义缓存是优化数据库性能的有效方法,在关系数据库领域得到了广泛研究和应用。它是将查询结果和相关语义信息缓存,从而为将来的查询提供解答。本文首先介绍了语义 缓存的基本概念和原理,然后对现有语义缓存技术进行了分类,最后结合语义缓存的发展趋势讨论了语义缓存的关键技术。     

语义缓存技术的研究

语义缓存技术一直以来是数据库研究的热点之一。语义缓存是指将用户向服务器端提交的查询语句和查询实际得到的结果数据同一存储在指定的缓存中,因而其不仅包含有数据,还有对数据的相关描述信息,从而可以提高查询效率。在语义缓存之前,还存在页面缓存、元组缓存、块缓存等缓存技术。文中首先介绍语义缓存的模型,然后阐述和分析语义缓存查询匹配算法和缓存替换策略,最后对语义缓存技术进行总结,从而为语义缓存技术的进一步研究提供一定的理论基础。     

语义缓存技术的研究

语义缓存技术一直以来是数据库研究的热点之一。语义缓存是指将用户向服务器端提交的查询语句和查询实际得到的结果数据同一存储在指定的缓存中,因而其不仅包含有数据,还有对数据的相关描述信息,从而可以提高查询效率。在语义缓存之前,还存在页面缓存,元组缓存,块缓存等缓存技术。本文首先介绍语义缓存的模型,然后阐述和分析语义缓存查询匹配算法和缓存替换策略,最后对语义缓存技术进行总结,从而为语义缓存技术的进一步研究提供一定的理论基础。     

自适应的数据库查询缓存

传统的缓存采取较为机械的管理方法,不能随数据库运行的动态信息调整自身参数以得到更优的性能。数据库语义缓存能够让数据库“理解”查询语义,可以为数据库的动态调节提供信息。而查询缓存是语义缓存的一种,在 SQL解析与查询执行之间,通过研究查询缓存的自主管理来提高数据库的查询性能。首先介绍了数据库常用的语义缓存与自主计算,然后对查询缓存进行了形式化定义,并提出了自适应的查询缓存模型。最后在MySQL的查询缓存上进行了实验,得到了较好的效果。     

纯XML数据库语义缓存综述

介绍了语义缓存、XML查询语言等概念,对现有的多种纯XML数据库语义缓存技术及其实现、技术特点等进行了详细的阐述。在讨论了当前语义缓存的研究中遇到的新问题与挑战之后,介绍了一种语义缓存匹配视图的快速查找算法U ViewMatch,并总结了语义缓存的技术路线。     

关于大规模系统缓存设计的一些考虑

具备良好的缓存设计,是一个大规模系统能够正常运作的必要前提。那么在设计大规模系统缓存时,都有哪些因素需要考虑呢？一、缓存服务器的工作模式从不同的用途和应用场景来考虑,大体上可以将缓存分为三种工作模式,不同的工作模式各有优缺点,我们就来看看具体的不同和对应的场景。对于应用服务器层面自身的缓存,这里暂且不去讨论,我们只是关注于如何构建一个可伸缩的系统架构。     

移动查询缓存处理的研究

客户缓存为提高客户／服务器数据库系统整体性能以及客户方数据可用性提供了有效途径。移动环境下网络资源的贫乏使客户缓存的作用更为重要,语义缓存是基于客户查询语义相关建立的一类缓存,提出一个基于语义缓存的客户缓存机制,给出缓存的内容组织,提出缓存项合并策略;然后讨论了基于语义缓存的查询处理策略;最后,模拟结果表明该客户缓存机制能够提高分布式、特别是移动环境下客户服务器数据库系统的性能。     

面向单表查询的具有语义缓存功能的ODBC接口设计

析了原有PsqlODBC不采用缓存技术带来的缺陷及其对系统性能的影响,提出在PsqlODBC中引入语义缓存技术,有效地利用了客户端的计算和存储资源,降低了服务器端的载荷,缩短了查询响应时间,提高了系统吞吐量。从语义缓存的内容、查询结果集与缓存结果集之间的关系、查询结果集的提取、数据更新和语义缓存的一致性等方面详细阐述了面向单表查询的具有语义缓存功能的ODBC接口设计。     

语义缓存的最小权值项LWI替换策略

在客户-服务器数据库系统中，语义缓存是基于客户查询语义相关建立的一种客户缓存．语义缓存的内容由以往查询的结果以及相应的描述构成．针对语义缓存的特征，提出语义缓存下最小权值项LWI(1east weight itern)替换策略．该策略由缓存项投影属性的访问频率和缓存项与查询的条件匹配情况，结合数据访问的时间局部性考虑决定缓存项的权值，替换最小权值项．通过性能分析实验，在语义缓存中，基于LWI替换策略的系统性能要优于基于传统LRU和LFU替换策略的系统性能.     

数据网格中高效的元数据管理策略

在数据网格中,提出了采用完全分布方式、基于智能Cache和语义的元数据管理策略,在管理策略中设计一个元数据管理系统的体系结构SMICC.该体系结构引入了智能Cache和语义信息的方式来对元数据系统进行管理,减少远程访问时间和增加查询的准确度.SMICC可以利用智能Cache和语义信息处理不同的情况,可以根据本地可用的元数据进行查询的分解形成子查询,用户可以从本地Cache中获得元数据查询结果的一部分,剩下的部分可以从远程位置获得.通过语义信息和已有元数据,不仅可以使系统达到更好的扩展性和可用性,而且在保证用户访问质量的同时也提高了访问效率.     

基于语义贡献值的XML查询缓存替换策略

传统缓存替换策略对语义缓存替换缺乏针对性,不能有效重用缓存中的数据,影响缓存命中率。为此,针对可扩展标记语言查询(XML)代数查询的特点,提出一种基于语义贡献值的XML查询缓存替换策略,根据用户历史查询的缓存项进行聚类分析,预测其对未来查询的语义贡献值,当缓存空间不足时替换语义贡献值最小的项,从而提高用户查询效率。实验结果表明,相比最不经常使用策略和最近最少使用策略,该策略能有效缩短查询时间,提高缓存命中率。     

一种基于移动环境的语义缓存一致性维护技术

在深入研究缓存失效广播技术和语义缓存的基础上，提出了一种新的基于移动环境的语义缓存一致性维护技术——基于语义缓存的异步有状态（BSCAS）技术。BSCAS技术可以支持移动客户的各种断接方式，减少无线通信的开销，让移动客户有更好的自治性。     

面向聚集查询的语义缓存技术

将目前主要用于小规模数据库查询的语义缓存技术拓展到海量数据库的聚集查询中,以面向聚集查询的语义缓存形式模型为基础,构造了语义缓存StarCache.详细讨论了StarCache中的聚集查询处理、语义缓存替换管理和一致性维护等技术.StarCache已经集成在自主研发的并行数据库中间件StarTP中,并在一项大型国家工程中得到实际应用.     

断接下查询的缓存处理

移动环境下，由于无线网络可靠性低、费用高，移动主机本身受电源、资源等方面的限制，移动主机经常会主动或被动地处于断接，即没有网络连接的状态．为了提高断接时移动客户对数据的访问能力，有效利用移动缓存，该文提出断接下基于语义缓存的查询处理QPID算法．该算法的主要思路是先找出缓存中与当前查询相关的缓存项，再通过对相关项数据的进一步处理获得缓存中满足查询的结果．试验表明，基于QPID算法的查询处理可以更好地满足断接下客户的查询请求．     

语义缓存的聚集查询匹配研究

为提高海量数据库系统的查询效率,围绕海量数据库系统中的聚集查询技术,把通常应用于小型数据库查询的语义缓存技术拓展到海量数据库的聚集查询中．首先研究了面向聚集查询的语义缓存形式化描述,在此基础上讨论了利用缓存处理查询的条件并对查询匹配进行了分类,提出并实现了包含匹配判定算法和相交匹配判定算法,最后给出了相应的实验结果．在某大型实际工程中的应用表明上述判定算法是有效的．