数据源集成系统中动态字典构造方法研究

本文从异构数据源集成系统的角度出发,引入模板和动态字典的概念,统一描述各种数据源数据的模式。动态字典不仅能描述对象的结构特征,还能描述对象的行为特征,完全符合面向对象特点。除此以外,本文还引入五种模板操作的定义,并证明ＯＩＭ对象操作的模板可由相应的模板操作构成,从而给出不通过扫描数据库,而是利用局部动态字典的模板操作构造集成系统全局动态字典的方法。     

异构数据源集成系统查询分解和优化的实现

通用异构数据源集成系统需要集成包括WWW在内的各种数据源,有些数据源既无规则的模式结构,又无强有力的查询功能,给全局查询的分解和优化造成一定的困难.异构数据源集成系统Versatile一方面利用局部动态字典的模板操作构造集成系统全局动态字典,作为查询分解和优化的依据.一方面采用基于缓存和数据源能力的查询分解和优化策略,以便充分利用数据源的查询能力,简化包装器的设计,并取得较高的查询效率.     

异构集成系统中面向查询规划的数据源能力描述框架

由于异构数据源集成系统需要集成包括WWW在内的各种数据源，有些数据源既无规则的模式结构，又无强有力的查询功能，给查询规划造成一定的困难．在分析异构集成系统中查询规划生成需求的基础上，引入数据源能力描述的概念，进而提出数据源能力描述框架．该框架以数据源局部模式与中介模式的语义映射以及数据源查询能力的描述为支撑，较好的满足了查询规划的需求，并为查询优化提供保证．在此基础上，设计了一个基于数据源能力描述的查询规划系统框架，并通过一个完整的例子说明数据源能力描述框架在查询规划中的应用．     

基于SVM的人物实体全局模式动态构建

针对结构化网页中人物实体全局模式构建问题,提出了基于SVM的动态构建方法。构建分为两个阶段,第一个阶段是来自同一数据源的人物实体结构化实例到人物实体局部模式的转化,第二个阶段是利用SVM分类器完成人物实体局部模式到人物实体全局模式的映射。本方法能适应数据源的不断变化,保证了全局模式的完整性。通过实验,验证了构建算法的有效性和可行性,并对随着结构化网页不断增多时全局模式的稳定性进行了考察。     

一种对象实视图的增量维护算法OMVIMA

首先给出了一种面向对象的实视图模型———对象视图模型,可以在数据仓库中描述复杂对象,并有利于前端工具OLAP的实现。然后在此基础上提出了对象视图模型增量维护算法———OMVIMA,该算法能够有效地实现从数据源到数据仓库中对象(数据)的增量抽取和加载等维护工作。最后给出了算法的性能和效率分析,并通过应用实例证明了该算法比基于纯关系实视图的实现方法具有更高的效率。     

基于元数据的分布异构数据集成研究

将“虚拟法”和“数据仓库法”结合,通过统一的数据交换中心解决数字气田分布异构数据集成问题。建立包含全局模式和全局-局部映射的元数据字典,屏蔽异构数据细节,由此解决异构数据的各种冲突。提出一种由分布数据源的局部模式归并建立全局模式和映射表的算法,以提高模式集成的自动能力。     

视图增量的同步计算方法

为有效降低视图增量计算的代价,提出了净化操作和主外码约束的优化同步计算方法.数据源基表的更新操作可能对同一元组多次反复的修改,而在视图增量的维护中并不需要反映基表的整个更新过程,而只是维护某个时间的状态一致,因而利用净化操作减少了计算的数据量.数据源基表间的主外码约束使得部分增量子查询的结果为空,减少这样的增量子查询提高了计算的效率.实验分析表明优化后的同步计算方法有效地降低了计算和维护代价.     

Macor:一种表示嵌套模式映射的可维护Xquery模型

提出了一种称为Macor的模型来表示嵌套模式之间的映射关系.Macor将一个完整的模式映射表示成众多简单的原子映射,并用关联关系将它们连接在一起.进一步根据XQuery分析了Macor的表达能力,并处理了Macor的实现问题.初步的实验结果表明,通过Macor模型,一个复杂的映射不仅可以按照增量方式逐步建立,还能将修改和维护限制在局部的原子映射和关联关系上.     

面向XML物化视图远程增量维护的版本管理技术研究

Web应用中以XML为格式的信息查询通常会受到网络传输速度有限等因素的影响.为了减少XML的物化视图与其数据源之间的一致性维护中所需的网络数据传输开销,提出了一种面向远程的XML物化视图增量维护的方法.这种方法根据多用户的查询请求和数据源更新信息,生成视图维护程序代码,以程序代码的网络迁移代替XML视图的重复查询,有效地减少了网络数据传输量.重点介绍了增量维护过程中处于核心的版本管理控制方法,用于维护不同时刻数据更新所对应的视图更新程序代码,有效地适应了多用户各种物化视图的维护需求,并且给出了物化视图增量维护的系统框架.     

基于本体的元数据管理系统的研究

介绍了运用本体和元数据相结合的思想解决异构数据库集成问题的系统,对基本思路、分层原理和设计方案进行了阐述.在该系统中,首先通过元数据来描述局部数据库的模式信息,然后引入本体来描述元数据中各种术语及相互关系的确切含义,采用分层的思想管理元数据从而建立语义统一的全局模式,达到屏蔽底层数据库异构的目的.该系统能从元数据中充分提取有用信息,利用本体从语义层面解决数据源之间的多种异构问题,极大的简化了对用户的查询处理.     

ReDE:一个基于正则表达式的生物数据抽取方法

从异构生物数据源抽取数据，建立查询分析平台是目前研究的热点，而抽取过程会涉及大量相互依赖的元数据．充分利用这种依赖关系可降低维护工作量．基于正则表达式（RE）提出了ReDE抽取方法：通过围绕RE组建立分析树，设计了基于RE的关系数据库模式生成算法和通用抽取与组装算法，其特点是：RE是惟一的元数据，易于管理和维护．该方法奠定了生物数据库辅助设计工具和高自动化抽取工具的基础，已用于构建国内第1个整合的生物信息在线数据仓库．     

基于元数据的通用数据维护框架设计

针对数据维护程序代码重复、对需求变化适应性差等问题,提出一种以数据库表的元数据为核心的通用数据维护框架。该元数据模型能描述表之间的一般关系和基于面向对象的继承关系。框架实现了数据操纵SQL语句和数据维护程序界面的自动生成,并能自适应表结构的变化。实际应用验证了该框架的可行性和高效性。     

元数据管理在作战系统数据集成设计中的应用

数据集成是舰艇作战系统体系结构设计的重点之一。为了解决作战系统接口设计存在的问题,提出采用XML数据建模和元数据管理技术的集成设计方法。通过填充型号项目表、二级系统表、上网节点表、接口规格表、信息单元表、数据字段表和数据类型表等7张表构成的接口模板得到数据模型,并开发实现工具软件辅助完成数据建模和元数据管理,从而有效提高作战系统数据集成设计的效率。     

基于元数据驱动的企业级数据仓库系统

通过对元数据建设和维护及其管理系统结构的深入研究,提出一种基于元数据驱动的企业级数据仓库系统架构。该系统架构采用关系模型数据结构,并通过元数据接口和元数据驱动引擎的设计开发将数据仓库中各模块的反馈信息与其元数据存储进行交互,实现由元数据驱动数据仓库系统的运作机制,解决了一直以来元数据难以更新维护、数据质量检查效率低的问题,提升了对企业级数据仓库的管控能力。     

面向蛋白质组学数据库的元数据提取与导入工具

本文给出了一种用于提取和导入蛋白质组学元数据的工具,它是"基于元数据的蛋白质组学数据资源共享与整合平台"的一个重要组成部分。该工具被设计为元数据提取、元数据缓存、元数据导入三个模块,为实现从多种蛋白质组学数据源中提取元数据并将其导入元数据库提供了一种有效的解决方案。     

基于元数据的同领域异构数据管理研究

根据某领域统一的元数据标准生成的元数据可以用来解决某领域内大量的异构原始数据难以共享、管理的问题。该文对元数据和基于元数据进行管理的理论基础进行了探讨,分析了数据和信息的含义与关系,指出元数据本质上是信息层次的概念,并说明了元数据的内容和结构、元数据的生成过程和依据元数据的管理模式,最后给出一个地理专业领域的实际系统来说明理论的应用。     

针对模板生成网页的一种数据自动抽取方法

当前,Web上的很多网页是动态生成的,网站根据请求从后台数据库中选取数据并嵌入到通用的模板中,例如电子商务网站的商品描述网页.研究如何从这类由模板生成的网页中检测出其背后的模板,并将嵌入的数据(例如商品名称、价格等等)自动地抽取出来.给出了模板检测问题的形式化描述,并深入分析模板产生网页的结构特征.提出了一种新颖的模板检测方法,并利用检测出的模板自动地从实例网页中抽取数据.与其他已有方法相比,该方法能够适用于"列表页面"和"详细页面"两种类型的网页.在两个第三方的测试集上进行了实验,结果表明,该方法具有很高的抽取准确率.     

国产数据仓库管理系统DM-DW的设计

数据仓库能集成多个异构数据源上的信息，以支持决策分析。本文介绍了在国产数据库管理系统DM3基础上设计的数据仓库管理系统DM－DW的三层体系结构、元数据的管理、抽取引擎的主要功能和采用的关键技术：实化视图的内部表示，实化视图增量维护及优化、监视器的监视方式及策略。     

面向Deep Web数据自动抽取的模板生成方法*

Deep Web结果页面大多由网站根据请求从后台数据库读取数据并动态填充到通用模板而生成的。研究如何从一系列同模板生成的页面中生成该模板,并利用模板自动抽取数据。给出了模板生成问题的形式化描述,提出了一种新颖的模板生成方法,利用生成的模板从实例网页中抽取数据。与现有方法相比,该方法适用于列表页面和详细页面两种类型网页。通过在多个领域站点上实验,说明新方法在不降低准确率的情况下能大大提高召回率。