一种钻井数据仓库ETL系统的设计

随着企业信息化的不断发展,石油单位将数据整合纳入到重点规划中。面对分散在各处的异构数据源进行数据整合并非易事,首先仅靠手工进行脏数据的清洗不但费时费力,质量也难以保证;其次,数据的定期更新也存在困难。ETL系统为数据整合提供了令人满意的解决方案。它可以完成数据抽取、清洗、转换、装载等任务,满足了用户对异构数据源进行整合的需求,也实现了数据的后期更新。笔者对钻井数据仓库ETL系统的设计提出了一种基于元数据的ETL体系结构,并重点设计了数据准备区、ETL管理模块、任务管理模块和元数据管理模块。该工具已在中海油田化学技术专家支持系统中得到应用。     

基于CWM的多数据源协同平台设计与实现

为按照业务需求整合来自异构数据源的数据,基于OMG的CWM1．1规范和CO-BRA中间件,设计并实现了多数据源协同平台的系统架构。完整介绍了系统的功能模块,着重分析了ETL引擎的核心—数据转换任务执行模块的设计思路及实现过程。从底层实现了对包括中间结果在内的多数据源协同的统一管理,为不同系统之间的元数据交换提供了可能。目前该平台已经在宝钢集团内部进行示范应用,并取得了良好的试验效果。     

面向数据质量的ETL框架的设计与实现

针对传统抽取-转换-装载(ETL)架构在数据质量控制方面的不足,提出一种面向数据质量管理的ETL架构.根据ETL过程的特点,设计多数据源接口模块、ETL元数据描述模块、ETL任务描述模块和数据质量控制模块等.该架构以数据质量为核心,通过建立数据分析模型,利用规则推导引擎对数据分析结果生成数据清洗方案,从而有效地对数据流进行质量评估和管理.基于该设计思想开发一个ETL工具-DQETL.DQETL采用统一建模语言进行设计,并提供友好界面对ETL过程进行集中管理.最后,结合实例阐述了在该框架下进行数据质量管理的一般步骤.     

基于DirectShow的ETL工具的设计

ETL工具从异构数据源抽取数据,并将数据清洗、规范化后装载入数据仓库.数据源的多样性及数据集的复杂性为ETL工具的设计提出了挑战.本文设计并实现了一种基于微软DirectShow技术的ETL工具框架,使用通用数据访问接口屏蔽数据源的差异.将转换图的概念引入ETL工具的设计中,灵活应对复杂的ETL转换.     

数据ETL工具通用框架设计

异构多数据源集成和数据清洗是将操作数据导入数据仓库过程中面临的两大挑战。从实践角度设计了数据ETL工具的整体框架，使用通用数据访问接口来屏蔽各种数据源之间的差异，并以数据清洗为主要目的，为消除多数据源的模式冲突和数据冲突提供了通用而有效的解决方案。     

增量式ETL工具的研究与实现

利用数据源的增量数据对数据仓库进行维护,可以有效提高ETL效率.现有通用ETL工具在增量抽取方面存在…些问题,如不能抽取多个异构数据源的增量数据以及在处理增量数据时造成数据丢失的异常问题.本文从实践角度设计的增量式ETL工具采用集成多种增量数据捕获方式,解决异构数据源在捕获增量数据上的差异;在数据处理过程中,通过辅助表的手段解决了数据丢失的问题.在文章的最后,还介绍了ETL过程中数据转换和转换调度的实现.     

基于大数据的水资源管理系统设计与研究

针对现有水资源管理方式存在的数据孤岛、数据质量低、利用率不高等问题和互联网+的时代要求,基于大数据、云计算等技术,设计和实现了一个水资源管理系统。通过从异构的数据源采集各类水资源数据,在大数据中心进行数据的清洗、转换、整合、分析和统计,然后利用柱状图、折线图等多种图形从不同的维度对水资源数据进行可视化展示,并通过五大系统模块实现了对水资源的精细化管理,有助于构建资源节约型和环境友好型社会,具有良好的推广价值和意义。     

基于大学生精准资助的多源异构数据仓库系统研究

本文针对大学生精准资助设计多源异构数据仓库系统.首先设计系统整体框架,其次设计系统开发流程,再次详细探究多源异构数据源与仓库建模,最后进行数据ETL与数据分析.此系统可为顺利访问高校学生精准资助相关数据提供统一平台,便于转换动态业务数据,实时综合查询数据、挖掘数据、多维分析数据,提高高校学生资助管理的决策效率与水平.     

基于逆向清理的实时异构数据整合模型研究

为解决异构数据整合过程中数据源本身的质量及目标数据的实时更新问题,在适配器、XML和逆向清理等技术的基础上,提出一种基于逆向清理的异构数据整合模型。从两方面对异构数据进行处理,一方面利用实时线程对新增或修改的原始数据进行抽取、清洗并保存,达到数据的实时更新,另一方面利用平台上或整合后的有效数据,采用逆向清理过程反向修复原始数据中的错误和缺失。实验结果证明,该模型能同时提高原始数据和目标数据的质量。     

基于元数据的数据交换系统任务模型

ETL包含数据的抽取、转换、加载三个部分,是构建数据仓库的重要环节。为解决异构数据源集成问题,本文提出了基于元数据的数据交换系统,并在该基础上阐述了数据交换系统中的任务设计模型和任务调度模型。最后介绍了数据交换系统中的主要算法以及设计模式。     

面向业务的数据集成系统设计与实现

在企业数据集成过程中,大多采用适配器实现异构数据源的访问,针对每个数据源开发一个特定的数据源适配器,存在开发难度大,开发周期长的问题。同时,由于各个业务系统数据的复杂性,导致数据集成系统的配置、部署复杂。自主研发的面向业务的数据集成系统,不仅解决了分布式环境下异构数据的集成,同时,使数据集成系统具有良好的扩展性及部署的简单性。介绍了系统的体系结构,给出了数据源适配器开发框架,提出了一种基于中间表的增量数据获取及发送方法,并结合某百货集团业务需求,给出了数据集成的方案。     

多源遥感影像数据的尺度整合方法

遥感影像数据越来越多源化,对不同尺度的遥感数据进行整合是遥感影像数据管理的基础性工作。本文提出了两种数据整合的方式:“紧”整合和“松”整合,实现了不同尺度数据的关联,可以为不同尺度的遥感数据的尺度整合、数据融合提供依据,也可为遥感建模提供数据支持,并以北京市区的遥感影像为例,为多源数据的尺度整合提供了范例。     

基于虚拟集中方法的异构分布式数据集成模型

网络和信息技术的发展导致新的数据格式不断涌现,数据整合的要求日益迫切,为此提出一个基于虚拟集中方法实现的异构数据集成模型,可以实现分布、异构数据的一致性访问,并能保证数据的一致性、实时性和数据源的“即插即用”,较好地解决了异构数据源的联合使用问题。最后给出了基于Java和XML技术的基本实现方法。     

基于层次服务框架的企业信息集成方法及应用

如何对来自多种异构数据源的信息进行方便、有效地集成是企业信息集成需要考虑的重点.随着"开放式网格服务基础架构"的研究和应用不断取得进展,为信息集成提供了新的解决思路和方法.在分析了分布异构环境下企业信息集成特点的基础上,提出了基于层次化服务框架的企业信息集成方法,该方法通过建立数据层面的集成层次,实现对传统及新兴的多种异构数据源的统一、实时访问,同时提供相应的信息转换能力,综合解决数据集成中的管理、性能、实时性和可用性等多方面问题,阐述了该方法在基于HAD的纺织销售集成平台中应用实现.     

基于XML的数据模型在报表模块上的应用

该文针对商业报表工具和报表模块的不足,提出了一个新的报表模块框架,利用基于XML技术定义的数据模型,在报表功能模块与实际数据源之间建立了一个“中间层”。“中间层”的引入,降低了报表模块与实际数据源的耦合度,提高了报表模块的分析能力和可操作性,也为报表模块与其它应用系统之间实现应用集成和数据集成提供了便利。     

数据空间命名实体的集成方法

提出了一种数据空间中的命名实体集成模型(NEIM)及其在异质异构数据源中的集成方法。命名实体模型描述了数据源、实体与实体描述间的关系,能够实现从其中任意一个息查询到其它相关信息。命名实体的集成架构指出了数据空间中命名实体集成要完成的主要任务,包括命名实体的识别、实体的集成映射和实体的统一。集成算法描述了数据空间中异构数据源包含的命名实体及其描述信息的集成方法。针对结构化半结构化数据,它采取构建映射规则,使系统可以在后期持续集成这些数据源中的实体信息,实验验证了集成方法的构建映射规则的有效性。     

基于"本体"的异构数据源的集成方法研究

本文给出了一种基于本体的异构数据源的集成方案,该方案从根本上解决了企业内部数据源的语法异构和语义异构;同时,也为企业内部的信息及时而准确地实现共享,提供了一套行之有效的技术措施.     

The Research of Heterogeneous Data Source Integration Method .Based on Ontology

This paper provides an integration scheme of heterogeneous data source based on ontology, and this scheme settles basically syntactic and semantic heterogeneity in heterogeneous data sources; meanwhile, it provides an effective technology measure for the interior information of enterprises to be shared in time accurately.     

正则表达式与XML配置文件相结合的数据提取

针对特定搜索引擎的实际需求,需要从网站中提取有效的数据作为它的数据源.本文通过对网页内部结构的分析,利用正则表达式与XML配置文件相结合的方法,建立了基于特定网页的框架和规则的数据内容提取方法,并加以实现.该方法成功运用到多个信息提取系统中,实现了高效、准确的数据提取.