面向聚集查询的语义缓存技术

将目前主要用于小规模数据库查询的语义缓存技术拓展到海量数据库的聚集查询中,以面向聚集查询的语义缓存形式模型为基础,构造了语义缓存StarCache.详细讨论了StarCache中的聚集查询处理、语义缓存替换管理和一致性维护等技术.StarCache已经集成在自主研发的并行数据库中间件StarTP中,并在一项大型国家工程中得到实际应用.     

基于语义缓存的移动查询导出

在移动环境下，客户缓存为提高客户－服务器数据库系统的整体性能，特别是保证客户端数据可用性提供了有效途径，该文针对如何从基于语义描述的缓存中导出当前查询（部分）结果的问题，研究了查询从缓存导出的充分条件，并在定义查询与缓存之间的精确匹配，包含匹配和相互匹配几种情况的基础上，给出缓存与查询，包含与相交匹配的判断条件和相应的算法，基于该文的研究，查询可以充分利用本地语义缓存的内容，从而降低网络开销，加快响应时间，并支持移动客户断接时的数据访问。     

语义缓存查询裁剪优化

查询处理是语义缓存的一个关键问题,但是现有的查询处理算法在时空效率和裁剪结果的复杂度两个方面存在很大的局限性,这在一定程度上限制了语义缓存的实用性。为了克服这些缺陷,本文对语义缓存的裁剪过程进行优化处理,减少了对服务器的无效访问,并给出了生成探测查询和剩余查询的裁剪算法;算法分析从理论上证明了该优化机制的有效性,同时,仿真实验的性能比较也表明该优化方法在提高查询裁剪时空效率和降低剩余查询复杂度等方面均要明显优于没有优化的方法。     

语义缓存的最小权值项LWI替换策略

在客户-服务器数据库系统中，语义缓存是基于客户查询语义相关建立的一种客户缓存．语义缓存的内容由以往查询的结果以及相应的描述构成．针对语义缓存的特征，提出语义缓存下最小权值项LWI(1east weight itern)替换策略．该策略由缓存项投影属性的访问频率和缓存项与查询的条件匹配情况，结合数据访问的时间局部性考虑决定缓存项的权值，替换最小权值项．通过性能分析实验，在语义缓存中，基于LWI替换策略的系统性能要优于基于传统LRU和LFU替换策略的系统性能.     

基于大规模事务处理系统的中间层语义缓存技术的研究

对当前的中间层语义缓存的研究进行了分析,以一个大规模事务处理系统为背景,提出了一个针对海量数据统计分析的中间层语义缓存解决方案,给出了其相关定义、体系结构及管理机制,并在大规模事务处理系统上对语义缓存进行了测试。     

合取语义缓存的并行查询裁剪

语义缓存可以利用查询之间的语义相关性,是提高数据库查询性能的有效技术之一.传统语义缓存是按谓词来组织的,查询裁剪是串行进行的,算法的时间复杂性是指数级的.基于合取语义缓存模型,提出了并行查询裁剪算法.与现有的语义缓存查询裁剪算法相比,并行查询裁剪算法不但可以将算法的复杂性由指数级降为多项式,而且可以提高缓存的利用率,缩短查询的平均响应时间.     

基于逻辑规则的语义缓存查询处理优化技术

语义缓存在移动计算环境中有着非常广阔的应用前景．查询处理是语义缓存的一个关键问题，但是现有的查询处理算法在时空效率和裁剪结果的复杂度两个方面存在很大的局限性，这在一定程度上限制了语义缓存的实用性．为了克服这些缺陷，作者首先给出并证明了用于优化查询裁剪的逻辑规则；基于这些规则，给出了剩余查询的裁剪算法；最终给出了只需进行剩余查询裁剪的优化查询处理算法．算法分析从理论上证明了该优化机制的有效性，同时，仿真实验的性能比较也表明该优化方法在提高查询裁剪时空效率和降低剩余查询复杂度等方面都要明显优于没有优化的方法．     

语义缓存的聚集查询匹配研究

为提高海量数据库系统的查询效率,围绕海量数据库系统中的聚集查询技术,把通常应用于小型数据库查询的语义缓存技术拓展到海量数据库的聚集查询中．首先研究了面向聚集查询的语义缓存形式化描述,在此基础上讨论了利用缓存处理查询的条件并对查询匹配进行了分类,提出并实现了包含匹配判定算法和相交匹配判定算法,最后给出了相应的实验结果．在某大型实际工程中的应用表明上述判定算法是有效的．     

面向单表查询的具有语义缓存功能的ODBC接口设计

析了原有PsqlODBC不采用缓存技术带来的缺陷及其对系统性能的影响,提出在PsqlODBC中引入语义缓存技术,有效地利用了客户端的计算和存储资源,降低了服务器端的载荷,缩短了查询响应时间,提高了系统吞吐量。从语义缓存的内容、查询结果集与缓存结果集之间的关系、查询结果集的提取、数据更新和语义缓存的一致性等方面详细阐述了面向单表查询的具有语义缓存功能的ODBC接口设计。     

移动查询缓存处理的研究

客户缓存为提高客户／服务器数据库系统整体性能以及客户方数据可用性提供了有效途径。移动环境下网络资源的贫乏使客户缓存的作用更为重要,语义缓存是基于客户查询语义相关建立的一类缓存,提出一个基于语义缓存的客户缓存机制,给出缓存的内容组织,提出缓存项合并策略;然后讨论了基于语义缓存的查询处理策略;最后,模拟结果表明该客户缓存机制能够提高分布式、特别是移动环境下客户服务器数据库系统的性能。     

子句间优化技术在语义缓存查询求值中的应用

缓存技术用来弥补网络通信能力的不足。语义缓存既缓存查询结果,也缓存查询语义,可更好节省网络开销。实用性是语义缓存技术产生和发展的基础,根据实用性要求,语义缓存查询求值所消耗的时空代价要远小于网络通信能力不足带来的时空代价,所以必须对求值算法进行优化。文章从语法一级分析求值算法存在的问题并给出了两级优化方法和实现技术,降低了算法复杂度,减少了对数据库的无效访问,使语义缓存技术向实用化迈进了一大步。     

Towards Intelligent Semantic Caching for Web Sources

An intelligent semantic caching scheme suitable for web sources is presented. Since web sources typically have weaker querying capabilities than conventional databases, existing semantic caching schemes cannot be directly applied. Our proposal takes care of the difference between the query capabilities of an end user system and web sources. In addition, an analysis on the match types between a user's input query and cached queries is presented. Based on this analysis, we present an algorithm that finds the best matched query under different circumstances. Furthermore, a method to use semantic knowledge, acquired from the data, to avoid unnecessary access to web sources by transforming the cache miss to the cache hit is presented. To verify the effectiveness of the proposed semantic caching scheme, we first show how to generate synthetic queries exhibiting different levels of semantic localities. Then, using the test sets, we show that the proposed query matching technique is an efficient and effective way for semantic caching in web databases.     

语义缓存的一致性维护策略研究

为了解决在移动环境下将更新操作转化成删除和添加操作的传统一致性维护算法所增加的不必要的数据通信流量和数据存取,现将语义裁剪的思想融入一致性维护算法,将更新粒度细化至被更新的属性,并将更新的语义区域裁剪到最小.理论分析表明通过对更新范围的裁剪,有效减少了数据存取和数据通信的开销.仿真实验证明了该策略的可靠性和高效性,特别是当更新数据流大的时候尤其明显.     

语义缓存技术的研究

语义缓存技术一直以来是数据库研究的热点之一。语义缓存是指将用户向服务器端提交的查询语句和查询实际得到的结果数据同一存储在指定的缓存中,因而其不仅包含有数据,还有对数据的相关描述信息,从而可以提高查询效率。在语义缓存之前,还存在页面缓存、元组缓存、块缓存等缓存技术。文中首先介绍语义缓存的模型,然后阐述和分析语义缓存查询匹配算法和缓存替换策略,最后对语义缓存技术进行总结,从而为语义缓存技术的进一步研究提供一定的理论基础。     

基于语义模型的企业数据检索*

为了支持企业在决策时从企业数据中通过检索获得有意义的数据,提出了基于语义模型的语义检索方法。该方法首先基于概念树描述语义模型,通过概念映射将数据源与语义模型进行语义关联。在此基础上,建立语义模型和支持描述逻辑推理的知识模型之间的映射,通过调用描述逻辑推理机完成语义检索,检索结果再通过语义模型映射对应数据源信息,最终返回语义一致益于决策的数据视图。     

基于日志分析的搜索引擎查询结果缓存研究

缓存是有效减少响应时间和系统负载的关键技术,是搜索引擎系统结构研究的重要领域之一.通过对搜狗搜索引擎在近1个月内约1500万条用户查询日志进行分析和研究,针对查询结果缓存,从查询局部性、缓存策略、缓存容量、工作负载周期性等方面进行分析.分析表明,混合缓存策略以及提高缓存容量相结合的技术能有效提高搜索引擎系统性能.     

Three-Level Caching for Efficient Query Processing in Large Web Search Engines

Large web search engines have to answer thousands of queries per second with interactive response times. Due to the sizes of the data sets involved, often in the range of multiple terabytes, a single query may require the processing of hundreds of megabytes or more of index data. To keep up with this immense workload, large search engines employ clusters of hundreds or thousands of machines, and a number of techniques such as caching, index compression, and index and query pruning are used to improve scalability. In particular, two-level caching techniques cache results of repeated identical queries at the frontend, while index data for frequently used query terms are cached in each node at a lower level. We propose and evaluate a three-level caching scheme that adds an intermediate level of caching for additional performance gains. This intermediate level attempts to exploit frequently occurring pairs of terms by caching intersections or projections of the corresponding inverted lists. We propose and study several offline and online algorithms for the resulting weighted caching problem, which turns out to be surprisingly rich in structure. Our experimental evaluation based on a large web crawl and real search engine query log shows significant performance gains for the best schemes, both in isolation and in combination with the other caching levels. We also observe that a careful selection of cache admission and eviction policies is crucial for best overall performance. Work supported by NSF CAREER Award CCR-0093400 and the New York State Center for Advanced Technology in Telecommunications (CATT) at Polytechnic University.