面向Deep Web本地化数据集成的数据源两层选择模型

针对基于数据源质量选择方法的数据源在数据爬取时存在代价大、重复率高的问题,提出一种结合两层选择模型的Deep Web数据源选择和集成方法。该方法根据数据源本身质量和数据源的效用构建数据源的两层选择模型。给出基于该模型的递归增量数据源选择和集成策略,采用基于数据源质量的选择器过滤大量低质量Deep Web数据源,仅选择若干个高质量的数据源作为第2层选择器的输入。从候选数据源集合中递归地选择,使集成系统在获得尽可能多的高质量数据的同时,避免出现较高覆盖率的k个数据源,作为集成系统最终需要爬取和集成的数据源。实验结果表明,该方法结合两类选择器的优点,缩减了候选数据源的空间并保证集成数据的质量,同时避免了系统处理大量重复数据,有效降低Deep Web数据爬取与集成的代价。     

集成Web 数据的系统框架与实现方法

基于我们正在研究和开发的项目Panorama，本文提出了一个基于XML和CORBA的Web数据集成系统框架，该框架可以集成来自Web上多个异构的数据源，包括关系数据库、面向对象数据库,HTML和XML文档及结构化文本文件。在系统实现中，把Web看作是一个巨大的虚拟数据库，以CORBA作为分布式对象模型，以XML作为公共誓据模型，并且以XML-QL作为全局查询语言来完成Web上的数据查询和集成。文中还详细分析和描述了系统框架中的一些主要模块的实现方法，具有很好的可操作性。     

一个数据同步系统的设计及实现

越来越多的企业应用中涉及到数据的同步,我们自主研发了一个数据同步系统,解决了分布式环境下,异构数据源数据间的同步问题。本文介绍了该同步系统的体系结构,给出了两种数据源(数据库和普通文件)同步方法的设计及实现,同时结合某供应链平台,给出了数据同步方案。     

面向大规模数据集成消息中间件系统设计实现

在分布式网络环境中,构造基于消息通信中间件的数据传输系统,能有效地满足数据传输的可靠性、安全性和异步性等企业级需求.然而,随着企业经营规模的扩大,对数据传输系统提出了参与方多、交互数据量大等新的需求,现有的基于点对点(PTP)和发布/订阅(pub/Sub)通信模式的消息中间件难以很好的支持这些新的需求.根据大规模数据传输系统的新特点,结合 PTP 和 Pub/Sub 通信模式,提出了一种基于点对点的发布/订阅消息中间件通信模型(PBPS),并在消息中间件ISMQ基础上提供了实现.实际应用表明,该方法能够有效满足大规模数据传输的要求.     

石化企业MES数据集成平台的设计与实现

论文结合石化企业的数据组织现状和应用需求,提出了由数据转换层、数据集成层和数据接口层组成的石化企业数据集成平台的三层体系结构,三层体系结构的划分使得数据集成平台具有良好的开放性和可扩展性。设计了基于消息中间件、XML技术和适配器技术的数据集成平台的技术架构。论文提供了一个石化企业数据集成平台的整体解决方案,它对企业数据集成平台的建立具有很大的指导意义。     

信息系统集成与数据集成策略研究

在企业信息化建设力度不断加大的情况下,各种数据急剧增多,需要采用合适的信息系统对这些数据进行集成化管理,才能确保企业各项活动的有序开展。因此,充分了解信息系统集成与数据集成之间的关系,并掌握信息系统集成与数据集成策略,对于推动企业更长远发展有着重要影响。     

基于元数据的异构数据源集成系统设计与实现

在南海科学数据库项目开发过程中,要对多个异构数据源进行访问,给用户提供统一的查询接口.因而提出了基于元数据的异构数据源集成系统设计方案,给出了相应的元数据集成思想和系统设计框架,并对其中系统实现的关键技术进行了探讨.     

面向数据集成的多真值发现算法

大数据时代,大规模数据往往由多个数据源组成并服务于多个数据驱动型应用程序。由于数据源的可信度不同,不同数据源往往会产生数据冲突,使得难以判断哪些信息是真实的。近年来,真值发现方法通过从多个数据源中找到最符合现实的真值来解决冲突而成为研究热门。当前真值发现算通常假设实体某个属性只有一个真值,然而在现实中,实体具有多个真值的情况更为常见。针对多值实体提出了一个多真值发现算法,该算法将多真值发现转化为一个函数优化问题。根据对目标函数的求解选取置信度最高的多个值作为实体的真值。同时在计算描述值的置信度时,提出一种非对称的支持度计算方法,结合相似值的支持对其置信度进行修正。通过多个真实数据集上的实验表明本文算法的准确性优于现有的真值发现算法。     

基于J2EE组件的数据集成平台设计

异构数据的集成研究已为热门研点,而在解决信息异构问题时,国内尚没有一个统一的、有效的应用框架。介绍了一种采用组件技术,面向只读应用的异构数据集成平台模型,该平台模型主要用于集成各信息系统的不同类型数据源,为用户提供透明访问各数据源的中间平台。     

数据集成中的一种数据合并技术

本文讨论了在数据集成过程中遇到的数据合并问题，主要包括重复记录判断(对象识别技术)和重复记录的冲突处理(冲突解决机制)等，提出了比较实用、有效的方法，并通过实验对多表合并的两种算法进行了比较，指出了需要进一步改进的方向。     

基于Mediation的异构数据集成系统HDIS设计与实现

采用Mediator/Wrapper方式集成分布式异构数据是当今数据库领域的研究热点。论文在分析国外现有产品的基础上,提出了一个基于Mediation的异构数据集成解决方案,并针对该方案设计实现了一个异构数据集成系统HDIS(HeterogeneousDataIntegrationSystem)。该文主要介绍HDIS的整体架构和实现过程中的关键技术。     

流程企业数据平台的设计与实现

针对当今中国流程企业的现状，提出了一种对企业多种数据源进行整合和管理的解决方案——流程企业数据平台。该数据平台可以实现流程企业中多种数据的集成，并支持企业业务过程的持续改善和企业新应用的开发。流程企业数据平台由数据模型、数据发布接口、数据整合工具和平台管理工具组成，是平台级的软件产品。针对流程企业典型代表的石化企业的特点，给出了数据平台的实现。     

基于XML的数据集成系统实现

为了解决传统异构数据系统中数据查询处理不方便、信息之间交互利用困难、处理过程中没有统一的数据表现格式等问题,提出了一种基于XM L技术来进行数据集成的系统-基于XM L的学生信息集成系统,该系统采用XM L技术和Java技术相结合,查询处理上采用X query作为全局查询语言,满足了用户对数据集成和利用的各个层次的处理需求。实验结果表明,该系统达到了集成共享的目的,查询效率较高。     

基于规则树的Web数据集成包装器的设计与实现

在基于Web数据集成的3点研究假设的前提下,探讨了基于规则树的包装器(Wrapper)生成模型。它包括预处理、生成HTML树、生成模式树、获取映射规则、生成规则树、修复规则树和执行Wrapper。详细介绍了该系统中映射规则的实现和规则树生成算法。通过实验测试,证明该方法适合Web数据的抽取。     

一种基于XML的数据集成系统框架及其应用

该文首先较为全面地分析了现有的数据集成方式,在此基础上提出了一种基于XML的数据集成系统框架XDIFrame,并进一步阐述了XDIFrame实现中的关键技术,给出了该框架在法院综合信息系统中的具体应用。     

SAP与物采系统融合衔接流程设计

本文主要介绍了物采系统,重点分析了SAP与物采系统融合衔接中的问题,针对这些问题提出了相应的融合衔接设计了,解决了SAP与物采系统数据传递,从而形成了物资采购从谈价议价、招标、反向拍卖到产生采购订单付款一个完整科学管理信息流程,满足了物资采购管理和采购交易为一体的业务管理需求,为以后其他系统与SAP系统融合提供了借鉴意义。     

CIMS信息集成中的数据完整性及其实现

本文首先通过讨论 CIMS系统集成、信息集成以及数据完整性之间的关 ,系强调了数据完整性在 CIMS中的地位 ,然后阐述了其概念、内涵 ,并提出数据完整性层次或级别的概念及相关的几个问题 ,接着讨论并给出了基于DBMS的信息系统的数据完整性实现机制 ,最后利用上述机制完成了某 CIMS应用示范工程信息集成中数据完整性的设计和实现方案 .     

CIMS信息集成中的数据完整性及其实现

首先通过讨论ＣＩＭＳ系统集成、信息集成以及数据完整性之间的关系强调了数据完整性在ＣＩＭＳ中的地位,然后阐述了其概念、内涵,并提出数据完整性层次或级别的概念及相关的几个问题,接着讨论并给出了基于ＤＢＭＳ的信息系统的数据完整性实现机制,最后利用上述机制完成了某ＣＩＭＳ应用示范工程信息集成中数据完整性的设计和实现方案。     

多种数据集成接口适配组件的研究

分析了目前常见的几种数据集成方式存在的问题,提出了一种建立多种数据集成接口适配组件的设计方案。该方案以中间件方式实现采集适配器,通过统一适配器实现对多种异构数据源的集成与处理及对系统集成平台的统一发布功能,提高了数据处理速度,减少了业务流程执行时间,为系统平台数据集成与应用提供了便利。