基于领域元模型的PLM-ERP数据集成研究

分析了现有PLM-ERP数据集成方法,提出了一种基于领域元模型的集成PLM-ERP数据的方法.通过领域元模型描述PLM-ERP系统间的元数据映射信息和集成业务规则.领域元模型经过解析和验证后,执行异构数据转换,可以实现PLM-ERP系统交换和共享数据.领域元模型集成方法具有可重用性,减少PLM-ERP数据集成开发工作量,低耦合性、通用性的特点.     

异种数据集成工具的数据对象及映射关系研究

以现有的数据抽取转换导人工具为基础，以自行开发的基于网络的异种数据集成工具为背景，介绍了该工具的框架。结合该工具特点，论述了工具中数据对象的元数据描述，并深入探讨了工具中复杂的源／目数据映射关系的表示和实现，最后根据具体实例来讨论映射关系表示和实现的特点。     

数据ETL研究综述

数据抽取、转换和装载(Extraction, Transformation and Loading,简称ETL)是数据仓库化的关键环节,对数据仓库数据质量有着至关重要的影响。随着信息化的发展,ETL已经成为当前较活跃的研究领域之一,但是ETL理论和技术的发展还不成熟。针对当前ETL研究中存在的一些问题和需要考虑的各种因素,从ETL各个阶段存在的主要问题出发,列举了各种研究方法及研究成果,并进行了分析。最后,总结并提出了E`I'I的未来研究方向和今后工作的建议。     

ETL实施的数据质量问题研究

对数据仓库中数据质量的重要评价指标进行了介绍，对ETL实施时在数据源端和ETL过程中可能面临的数据质量问题进行了分析．对部分常见的数据质量问题给出了相应的解决方法。     

数据ETL软件中元数据模型设计与管理

元数据(Meta Data)是用来描述应用中数据结构的数据或文档,即关于数据的数据,处在数据ETL系统的核心位置。分析了元数据在ETL中的作用,设计了元数据模型,提出了元数据管理系统的设计原则和步骤,使其具有广泛的适应性、很好的扩展性和可重用性。     

异种数据集成工具的数据对象及映射关系研究

以现有的数据抽取转换导入工具为基础,以自行开发的基于网络的异种数据集成工具为背景,介绍了该工具的框架.结合该工具特点,论述了工具中数据对象的元数据描述,并深入探讨了工具中复杂的源/目数据映射关系的表示和实现,最后根据具体实例来讨论映射关系表示和实现的特点.     

ETL实施的数据质量问题研究

对数据仓库中数据质量的重要评价指标进行了介绍,对ETL实施时在数据源端和ETL过程中可能面临的数据质量问题进行了分析,对部分常见的数据质量问题给出了相应的解决方法。     

基于ETL技术的企业信息集成研究

本文研究了数据仓库ETL技术,并将ETL技术运用在企业信息集成过程中。本文以PDM和ERP系统为研究对象,阐述了ETL用于数据集成的方法、过程和集成架构。开发了可视化集成开发ETL工具,利用该工具从PDM系统中获取产品结构数据,实现PDM和ERP系统的数据集成。运用ETL技术能够简化企业信息集成开发,具有低耦合性、易于扩展的特点。     

社保数据集成系统ETL研究与开发

该文主要通过研究社保系统数据集成中使用的ETL方法,并结合崂山区社会保险管理系统的现状,提出了采用数据仓库法实现崂山区社保系统的数据集成。重点介绍了社保系统数据集成中ETL的开发。经过验证能够建立统一的、完整的、高质量的社保系统数据仓库。     

基于异构数据抽取清洗模型的元数据的研究

异构数据的抽取和清洗是企业内外异构信息统一的必由之路。基于此,该文以自行开发的ETL工具为背景,分析了异构数据抽取清洗模型的结构以及实现方式,并集中论述了其中元数据的结构。     

面向城市基础设施智慧管养的大数据智能融合方法

针对运维大数据维度高、形式多样化和变化迅速等特性,为提高数据融合效率以及平台的数据统计和决策分析性能,降低抽取-转换-加载（ETL）执行时间开销和数据中心负担,面向智慧管养需求提出一种多层次任务调度（MTS）ETL框架（MTS-ETL）。首先,将数据仓库分为数据临时区、数据仓储区、数据分类区和数据分析区,并根据所分区域将完整的ETL过程划分为4个层次的ETL任务调度环节,同时设计了多频率ETL运行调度以及顺序和非顺序两种ETL工作模式;接着,基于MTS-ETL框架的非顺序工作模式进行数据融合的概念建模、逻辑建模和物理建模;最后,利用Pentaho Data Integration设计ETL转换模块和工作模块以实现数据融合方法。在交通流量数据融合实验中,该方法融合136754条数据的时间仅为28.4s;在千量级的数据融合实验中比传统ETL方法的总平均执行时间降低了6.51%;报表分析结果表明其在融合400万条数据时依然能保证ETL过程的可靠性。所提方法能够有效融合运维大数据,提高平台统计分析性能,并维持ETL执行时间开销在较低水平。     

一种钻井数据仓库ETL系统的设计

随着企业信息化的不断发展,石油单位将数据整合纳入到重点规划中。面对分散在各处的异构数据源进行数据整合并非易事,首先仅靠手工进行脏数据的清洗不但费时费力,质量也难以保证;其次,数据的定期更新也存在困难。ETL系统为数据整合提供了令人满意的解决方案。它可以完成数据抽取、清洗、转换、装载等任务,满足了用户对异构数据源进行整合的需求,也实现了数据的后期更新。笔者对钻井数据仓库ETL系统的设计提出了一种基于元数据的ETL体系结构,并重点设计了数据准备区、ETL管理模块、任务管理模块和元数据管理模块。该工具已在中海油田化学技术专家支持系统中得到应用。     

基于数据仓库的一种通用ETL工具的设计与实现

通过对基于数据仓库的ETL过程进行的研究,提出了一种通用ETL过程的解决方案,为企业管理者的决策过程提供了有力支持,同时给出了一套完整的系统体系架构。     

基于本体的ETL设计研究

提出了一种基于本体的ETL设计方法,通过建立各数据源的局部本体和目标数据仓库的全局本体以及本体间的映射,得出以OWL表示的各数据源和目标的映射关系.用本体元数据指导数据抽取,转换和加载过程,解决数据源ETL过程中的语义异构问题,实现了企业数据语义程度的集成.     

基于数据仓库的刑事案件决策支持系统设计

为了更有效地促进情报主导警务模式的推进,对刑事案件决策支持系统进行了研究与设计.首先分析了公安刑事案件决策支持系统的总体需求,并基于数据仓库技术设计了层次化的系统体系结构;然后提出了刑事案件数据仓库模型,并基于本体-规则、元数据-功能提出了多源、异构数据的抽取、转换与加载的整合方法,设计了系统的功能体系;最后介绍了相关成果在大连市公安局的应用示例.实践结果表明,基于数据仓库的刑事案件决策支持系统可以为领导和一线干警提供有效的决策支持.     

基于元数据的数据仓库安全模型实现研究

元数据是数据仓库的关键技术之一,也是数据仓库安全性的解决途径之一。对基于元数据的数据仓库安全模型进行了研究,对原模型进行了改进,并提出了在Oracle9i数据仓库平台上的解决方案。     

区域地理空间数据整合技术研究

研究地理空间数据整合技术是实现在网络环境下地理空间数据的无缝集成与共享的关键技术问题。基于地理空间数据的多源异构性等特点,以ETL技术框架为基础,在数据仓库的整合机制下,设计符合地理空间数据整合要求的解决方案与技术流程,在数据整合过程每个阶段,都必须进行数据质量控制。文章最后以福建省自然资源基础数据库为例对其应用进行了探讨,为实践应用提供借鉴。     

大数据环境下多源异构数据的访问控制模型

大数据平台具有开放性和共享性，但随着数据量不断增加且用户访问上下文环境复杂多变，RBAC模型难以满足大数据环境下细粒度、灵活的访问控制。针对这一问题，提出了大数据平台下多源异构数据的访问控制模型。该模型根据属性动态地确定角色权限，并构建基于数据组的层次结构，实现数据属性的简单管理。对该模型进行了形式化定义，阐述了在 Hadoop 平台中的实现和工作流程，并通过实验验证了所提方案的性能开销相对较小。     

基于ETL的金融数据集成过程模型

为了将频繁产生的分布在世界各地的金融数据按需地高性能集成,提出了基于ETL(extract-transform-load)的金融数据集成过程模型.对规则引擎原理进行了研究,建立了基于业务转换规则的插件式扩展实现可复用可定制的业务转换过程.利用事件驱动的交互模型和元数据映射保证非结构化和半结构化数据之间无差异集成,采用增量式数据处理解决数据集成中棘手的性能问题.通过实践项目的验证,对比传统数据集成方法和该过程模型,验证了该过程模型的有效性.