面向XML物化视图远程增量维护的版本管理技术研究

Web应用中以XML为格式的信息查询通常会受到网络传输速度有限等因素的影响.为了减少XML的物化视图与其数据源之间的一致性维护中所需的网络数据传输开销,提出了一种面向远程的XML物化视图增量维护的方法.这种方法根据多用户的查询请求和数据源更新信息,生成视图维护程序代码,以程序代码的网络迁移代替XML视图的重复查询,有效地减少了网络数据传输量.重点介绍了增量维护过程中处于核心的版本管理控制方法,用于维护不同时刻数据更新所对应的视图更新程序代码,有效地适应了多用户各种物化视图的维护需求,并且给出了物化视图增量维护的系统框架.     

XQuery物化视图增量更新系统框架的研究

在Web应用中,以XML为格式的信息查询通常会受到网络传输速度有限等因素的影响。为了减少XML的物化视图与其数据源之间的一致性维护中所需的网络数据传输开销,提出了一种面向远程的XML物化视图增量维护方法和系统框架。这种方法根据多用户的查询请求和数据源更新信息,生成视图维护程序代码,以程序代码的网络迁移代替XML视图的重复查询,有效地减少了网络数据传输量。介绍了物化视图增量维护的基本原理、系统框架以及设计实现思路。最后通过性能测试,说明这种增量维护系统能够有效地减少传输开销。     

面向单记录的混合负载下物化视图异步增量维护任务生成

针对已有的混合负载（HTAP）下物化视图异步增量维护任务生成算法主要面向多记录,无法面向单记录生成HTAP物化视图异步增量维护任务,导致磁盘IO开销的增加,进而降低HTAP物化视图异步增量维护性能的问题,提出面向单记录的HTAP物化视图异步增量维护任务的生成方法。首先,建立面向单记录的HTAP物化视图异步增量维护任务生成的效益模型;然后,基于Q-learning设计面向单记录的HTAP物化视图异步增量维护任务的生成算法。实验结果表明,所提算法在实现面向单记录生成HTAP物化视图异步增量维护任务的基础上,将平均每秒读写操作次数（IOPS）、平均CPU利用率（2核）和平均CPU利用率（4核）至少分别降低了8.49次、1.85个百分点和0.97个百分点。     

增量ETL过程自动化产生方法的研究

ETL过程用于将数据从数据源装载到数据仓库中,它可以被划分为两种类型:全量ETL过程和增量ETL过程·全量ETL过程只能处理全量数据,但易于设计·而增量ETL过程设计起来比较复杂,但适用于处理增量数据·主要对增量ETL过程的自动化产生方法进行了研究,根据已有的全量ETL过程,可以自动产生增量ETL过程,从而降低设计增量ETL过程的代价·利用已有的物化视图增量维护的方法,给出了根据全量ETL过程自动产生增量ETL过程的方法·但是已有的研究集中在包含选择、投影、联接和聚合运算情况下物化视图的增量维护,未见对包括差运算情况下的讨论·作为研究工作的基础,还详细讨论了包含差运算情况下物化视图的增量维护问题·     

基于快速排序和huffman树的物化视图增量保持算法

物化视图是一种提高查询响应的有效方法,其核心问题在于如何与基表保持数据同步。目前已经有很多算法用于物化视图增量保持,各算法的效率不同,因此也出现了很多提高物化视图增量保持效率的算法。在构造最优Delta传播树的BinPartition算法的基础之上提出了一种基于快速排序和huffman树的物化视图增量保持算法,并通过实验证明了该算法可以提高物化视图增量保持的效率。     

远程监测与故障诊断专家系统设计与实现

介绍了以太网远程监测与故障诊断系统,针对系统开放性的需求,将可扩展标记语言(XML)应用于该系统;通过分析系统数据接口中XML模型和XML文档解释方法,介绍了XML通用数据交换接口的实现方法,着重分析了在DOS操作系统下如何实现XML文档的解析;通过将该数据交换接口应用于某系统远程监测与故障诊断专家系统表明,运用XML数据交换接口进行数据通行具有较强的可靠性和灵活性,能够满足系统的开放性和跨平台要求。     

基于Oracle物化视图日志的数据同步技术研究

在当今数据信息系统的开发中,分布式数据库和分布式应用系统间的数据同步问题是一个较为常见且较难解决的问题。现有的各种解决方案存在反映源数据频繁变化比较困难和数据同步效率低等问题。本文通过对Oracle数据库的物化视图日志机制的研究,简要介绍Oracle数据库物化视图日志的数据结构、对数据库记录操作的记录方式,提出了一种基于Oracle数据库物化视图日志的数据库同步技术,为分布式应用系统中数据表间的数据同步提供了一种新思路。     

基于多维护策略的物化视图选择方法

物化视图是数据仓库环境中提高OLAP查询效率的重要手段，因此，物化视图的选择是数据仓库设计中重要的决策之一。本文提出的物化视图选择方法目标是选择合适的视图进行物化，使得查询处理的总代价和物化视图的维护代价最低，提出了物化视图收益模型，并在此基础上基于视图的多维护策略提出了物化视图选择的方法：基于增量和重计算的物化视图选择算法IRMVS、基于增量策略的物化视图选择算法IMVS和基于重计算策略的物化视图选择算法RMVs和基于增量策略的物化后代视图选择算法IMDVS，理论分析和实验表明这些算法是有效可行的。     

含聚集物化视图的增量维护方法

针对含聚集物化视图的增量维护问题,提出了一种基于逐步更新思想的增量维护模型和方法.该方法建立了聚集函数计算前查询结果与基表记录之间的映射关系表,并根据映射关系表的增量变化更新物化视图的聚集函数.针对之前方法对于MAX/MIN聚集函数增量更新的不足,在仅利用增量数据不能更新聚集函数值时,采用仅重新计算映射关系表中相关行的MAX/MIN函数值的方法,极大地减小了更新MAX/MIN聚集函数的计算量.在OSCAR数据库的应用表明了该方法的有效性和高效性.     

Web数据集成系统基于QC模型的物化视图选择

在Web数据集成系统中,物化视图能够有效地减少网络传输代价,提高系统的查询效率．如何选择查询进行物化,使得选中的查询满足集成层的空间限制,同时获取最大物化收益,成为集成系统中一个迫切需要解决的问题．传统方法没有考虑到海量XML查询之间的包含关系,其选择的物化视图中可能包含冗余的信息．针对上述问题,提出了①Web数据集成系统中海量查询集合的QC(query containment)模型,该模型能够捕捉查询之间最常见的包含关系;②基于QC模型的物化视图选择算法,算法考虑了物化视图选择相关的主要因素,包括查询提交的频率、空间代价、查询重写能力和查询结果的完备性,提出了查询位图的物化视图组织方式,从而获取更加合理的物化视图选择方案．实验结果证明了该方法的有效性．     

数据仓库中物化视图维护算法的分析和比较

随着数据源的更新,数据仓库中的物化视图必须得到及时的更新维护.而如何对物化视图进行高效的更新,以满足用户对查询响应速度和查询结果一致性、时新性的要求,这是数据仓库技术中非常复杂和重要的工作,也是一个迫切需要解决的关键性技术问题.以物化视图更新维护问题为主要研究对象,通过对现有各种维护算法深入的研究和分析,系统地进行了比较和总结,最后指出了谊问题深入研究的方向.     

数据仓库实体化视图一致性维护与下查研究

实体化视图作为数据仓库中存储的主要信息实体是由对上一级或外部数据源进行抽取、转化、传输和上载的数据构成的.当源数据发生变化时,如何进行数据仓库实体化视图的一致性维护以及0LAP查询,是一个有着实际意义的研究课题.本文提出一个改进性算法Glide*,该算法采用补偿思想来协调源数据库及实体化视图的一致性,从而对系统内存开销及维护工作量方面都有很大的改进.文章还通过一个示例说明了该算法在实际中的具体运用.     

数据仓库中多视图环境下的联机维护

数据仓库的视图联机维护是指数数据仓库中的实体化视图实时地与信息源中的数据库仑保持一致,同时不影响前端用户对数据仓库的正常使用。为了解决多视图环境中视图联机维护与下钻查询的一致性问题,文中在数据仓库体系结构中引入了“基库”模型,并提出了相应的视图维护算法３ＶＰＡ。     

基于Hibernate的实化视图维护的研究

在传统的实化视图维护时,数据源把增量数据以XML文档的方式报送给数据仓库,数据仓库从此文档中解析出数据,利用JDBC完成对实化视图的更新。文中提出在数据源把增量数据封装成序列化对象存储于文件中再报送给数据仓库,而数据仓库从文件中读出对象,利用Hibernate直接把对象更新到实化视图。通过两种方案性能的比较,表明后一种方案是可行并且更加高效的。     

Recommending XML physical designs for XML databases

Database systems employ physical structures such as indexes and materialized views to improve query performance, potentially by orders of magnitude. It is therefore important for a database administrator to choose the appropriate configuration of these physical structures for a given database. XML database systems are increasingly being used to manage semi-structured data, and XML support has been added to commercial database systems. In this paper, we address the problem of automatic physical design for XML databases, which is the process of automatically selecting the best set of physical structures for a database and a query workload. We focus on recommending two types of physical structures: XML indexes and relational materialized views of XML data. We present a design advisor for recommending XML indexes, one for recommending materialized views, and an integrated design advisor that recommends both indexes and materialized views. A key characteristic of our advisors is that they are tightly coupled with the query optimizer of the database system, and they rely on the optimizer for enumerating and evaluating physical designs. We have implemented our advisors in a prototype version of IBM DB2 V9, and we experimentally demonstrate the effectiveness of their recommendations using this implementation.     

ViewDF: Declarative incremental view maintenance for streaming data

We present ViewDF: a flexible and declarative framework for incremental maintenance of materialized views (i.e., results of continuous queries) over streaming data. The main component of the proposed framework is the View Delta Function (ViewDF), which declaratively specifies how to update a materialized view when a new batch of data arrives. We describe and experimentally evaluate a prototype system based on this idea, which allows users to write ViewDFs directly and automatically translates common classes of streaming queries into ViewDFs. Our approach generalizes existing work on incremental view maintenance and enables new optimizations for views that are common in stream analytics, including those with pattern matching and sliding windows.