基于XML的Web数据集成技术的研究

本文首先介绍了Web环境下异构数据集成技术产生的背景和研究目的以及相关的概念、技术和方法,然后针对XML作为合适的数据交换格式的特点介绍了基于XML的信息集成的关键因素,基于此,提出了一种基于XML的Web数据集成操作模型,并讨论了该模型在Web数据集成时数据交换和共享过程。最后,给出了集成构架的结构及组成。     

一种基于XML的Web数据集成方案

介绍了Web环境下异构数据集成技术产生的背景和研究目的以及相关的概念、技术和方法，针对XML作为合适的数据交换格式的特点介绍了基于XML的信息集成的关键因素，提出了一种基于XML的Web数据集成操作模型，并讨论了该模型在Web数据集成时数据交换和共享过程，给出了集成构架的结构及组成。     

面向领域的Web数据抽取与集成

面向领域的Web数据挖掘包括领域Web数据抽取和领域Web数据集成。针对领域数据抽取,提出了Web结构数据模型和Web表模式,给出了Web表定位和数据记录抽取的算法,针对领域Web数据集成,提出了基于领域模型的数据集成算法。结合行业领域的实际需求,验证了模型和算法的有效性。     

一种支持异构数据集成的Web服务合成方法

基于“协作者”数据集成架构,以网络环境中的数据查询为基本Web服务、关系数据库和XML文档为异构数据源的典型代表,并以其上已有的查询处理和XML数据绑定技术为基础,给出了Web服务环境下的数据集成模型。通过定义该模型上的基本操作（服务）,利用有向图结构描述服务合成过程,提出了支持异构数据集成的Web服务合成方法和相应的优化策略。     

集成Web 数据的系统框架与实现方法

基于我们正在研究和开发的项目Panorama，本文提出了一个基于XML和CORBA的Web数据集成系统框架，该框架可以集成来自Web上多个异构的数据源，包括关系数据库、面向对象数据库,HTML和XML文档及结构化文本文件。在系统实现中，把Web看作是一个巨大的虚拟数据库，以CORBA作为分布式对象模型，以XML作为公共誓据模型，并且以XML-QL作为全局查询语言来完成Web上的数据查询和集成。文中还详细分析和描述了系统框架中的一些主要模块的实现方法，具有很好的可操作性。     

以数据为中心的多用户跨平台的Web开发技术

比较了现有的Web系统的相似之处和差异,在已有的Web开发架构基础上,提出了能在多种数据库平台下,实现不同的用户交互界面的基于DBMS和XML数据岛的Web开发模型,讨论了模型中的关键过程,并通过实验验证了模型在Web系统集成方面的作用。     

面向Deep Web本地化数据集成的数据源两层选择模型

针对基于数据源质量选择方法的数据源在数据爬取时存在代价大、重复率高的问题,提出一种结合两层选择模型的Deep Web数据源选择和集成方法。该方法根据数据源本身质量和数据源的效用构建数据源的两层选择模型。给出基于该模型的递归增量数据源选择和集成策略,采用基于数据源质量的选择器过滤大量低质量Deep Web数据源,仅选择若干个高质量的数据源作为第2层选择器的输入。从候选数据源集合中递归地选择,使集成系统在获得尽可能多的高质量数据的同时,避免出现较高覆盖率的k个数据源,作为集成系统最终需要爬取和集成的数据源。实验结果表明,该方法结合两类选择器的优点,缩减了候选数据源的空间并保证集成数据的质量,同时避免了系统处理大量重复数据,有效降低Deep Web数据爬取与集成的代价。     

一种异构数据集成模型研究及实现

分析比较了几种常用的异构数据集成方法,提出一种基于Web服务的异构数据集成模型。该模型以XML技术为支撑,以web服务作为数据访问接口,并在．NET框架下实现数据转换,有效地解决了异构数据源的共享问题。     

基于结果模式的Deep Web数据标注方法

全面准确地标注Deep Web查询结果是Deep Web数据集成的关键问题,但现有的Web数据库标注方法还不能较好地解决该问题,为此提出一种基于结果模式的Deep Web数据标注方法。首先通过结果页面解析和抽取结构化数据来完成数据预处理的工作,并在集成结果模式和待标注数据之间建立正确的语义映射,进而确定Deep Web数据的标注信息。通过对4个领域Web数据库进行实验测试,结果表明所提方法能有效地标注Deep Web查询结果数据。     

Web数据的数据仓库化模型

数据仓库化Web数据,以更好地支持企业的经营决策和联机分析处理,是当前数据库研究的一个热点。Web数据的数据仓库化包括数据抽取、数据集成和数据物化三个连续的阶段。本文在MIX模型的基础上,提出了一个数据仓库化Web数据的模型,描述了主要部分的接口功能,并详细讨论了Web数据的集成过程及物化过程中的有关问题。     

大数据环境下基于元模型控制的数据质量保障技术研究

数据集成环节,越来越丰富的异构源数据给集成后数据质量的提升带来了新的挑战和困难。针对传统ETL模型在数据集成后出现的数据冗余、无效、重复、缺失、不一致、错误值及格式出错等数据质量问题,提出了基于元数据模型控制的ETL集成模型,并对数据集成过程中的各种映射规则进行了详细的定义,通过将抽取、转换、加载环节的元模型和映射机制相结合,能够有效地保证集成后数据的数据质量。提出的元模型已经应用到科技资源管理数据集成业务中。通过科技资源管理数据集成实例分析,验证了此数据集成方案能够有效地支撑大数据环境下数据仓库的构建和集成后数据质量的提升。     

基于网格服务的分布式异构数据集成研究

随着作战指挥训练模拟系统的快速发展和应用,如何访问和操作早期建设的异构的分布的基础数据资源,是当前急需解决的问题。在分析了现有异构数据集成系统不足的基础上,通过引入网格服务技术,提出了一个基于网格的分布式异构数据集成模型。同时引入基于元模型的元数据目录服务技术,一定程度上解决了数据集成中的语义冲突的问题,使异构数据集成更加高效。最后通过一个应用实例验证该模型的可行性。     

异构数据库数据类型转换模型

近年来,异构数据的转换和集成是企业应用集成（EAI）一个重要部分.对异构数据库之间的数据转换和共享也成为其主要研究方向之一.在参考了其他数据转换模型的基础上,提出了基于XML文件的数据转换模型DCMHD（Data Conversion Model of HeterogeneousDatabase）.通过模型自定义数据类型,数据库和数据库之间的数据转换可以简化为数据库与系统之间的数据转换,显著提高了系统的稳定性和可扩展性;并且采用XML作为传输介质,易于异构数据的传输和共享,最后给出了模型的主要实现.     

基于虚拟集中方法的异构分布式数据集成模型

网络和信息技术的发展导致新的数据格式不断涌现,数据整合的要求日益迫切,为此提出一个基于虚拟集中方法实现的异构数据集成模型,可以实现分布、异构数据的一致性访问,并能保证数据的一致性、实时性和数据源的“即插即用”,较好地解决了异构数据源的联合使用问题。最后给出了基于Java和XML技术的基本实现方法。     

一种异构数据源模型转换和模式集成框架

异构数据源集成系统的主要任务是屏蔽数据源数据模型的异构性,提供对数据的统一访问。公共数据模型、模型变换和中间数据模型被广泛用来解决该问题。由于数据集成工作的工作量和任务对象日益复杂、规模日趋庞大,仅采用公共数据模型不能满足现有集成要求。异构数据源数据模型内在的关联性虽然使得面向语义集成变得更加复杂,但更利于模型转换方法在数据集成中的应用。模型转换是模式集成的基础,本文给出了异构数据源模型的形式化描述方法和基础模型转换操作形式化框架。该框架能够保证模型、实例和约束三者的相互独立,适用于大多数基础数据模型及其之间的转换和集成应用。通过该框架可简化和规范异构数据源数据模型转换和模式集成过程。     

多媒体网络视频监控前端数据动态集成仿真

针对传统多媒体网络视频监控前端数据集成方法存在数据交互时间过长的问题,提出一种多媒体网络视频监控前端数据动态集成方法。划分数据集中的数据流,并对多媒体网络视频监控前端数据集进行分组,并行处理数据流,并将结果进行合并处理,完成数据的动态聚合处理,根据数据的动态聚合处理结果建立监控前端数据动态集成模型,实现监控前端数据的动态集成。采用对比实验的方式,将三种不同的传统多媒体网络视频监控前端数据集成方法与所提方法进行对比,实验结果证明,上述集成方法的数据交互时间最短,在前端数据的动态集成方面更具有优越性。     

基于XML虚拟数据库的异构数据源集成模型研究

解决企业数据源异构需要一种公共的数据源模型给用户提供统一的用户视图,XML以其所具有的自描述性、灵活性、强大的数据交换能力等优势克服了其他数据模式的缺点。结合当前数据集成方面的技术,提出了一种基于Ⅺ∥几虚拟数据库的异构数据源集成模型,该模型很好地解决了异构数据源集成方面存在的一系列问题,并从数据模型和数据交换上阐述了该模型的可行性。剖析了该模型中的模式集成、异构数据集成视图、全局查询等。介绍了该模型在中国石油、QHSE信息系统中的成功应用。     

校园数据网格环境框架研究

随着因特网和信息系统的快速发展,信息资源迅速膨胀,使得信息集成技术成为目前的研究热点.为了解决目前对校园信息资源缺乏有效管理手段的问题,提出了一个基于数据网格技术的校园数据网格环境框架.该框架利用OGSA-DAI技术,构建了一个层次化的信息集成模型,从而实现了校园信息资源的全面共享和高效整合,解决了信息资源的异构集成、位置透明访问、统一访问接口等问题,并对通过多层次的安全体系,来保证整个校园数据网格的安全.     

基于逆向清理的实时异构数据整合模型研究

为解决异构数据整合过程中数据源本身的质量及目标数据的实时更新问题,在适配器、XML和逆向清理等技术的基础上,提出一种基于逆向清理的异构数据整合模型。从两方面对异构数据进行处理,一方面利用实时线程对新增或修改的原始数据进行抽取、清洗并保存,达到数据的实时更新,另一方面利用平台上或整合后的有效数据,采用逆向清理过程反向修复原始数据中的错误和缺失。实验结果证明,该模型能同时提高原始数据和目标数据的质量。     

异构数据交换中关键技术研究

异构数据库间的数据交互日益频繁,可扩展标记语言逐步展现了其在数据存储、数据交换等领域的显著优势,迅速成为数据格式标准.该文阐明了一种基于XML的异构数据交换方法,描述了关系型数据库关系模式到XML Schema模式的转换方法,并建立了数据转换的公共数据模型.