基于SOA的实时ETL的研究与实现

本文对基于SOA技术实现实时ETL过程进行了研究,并提出了一种实时ETL过程解决方案,为政府部门、企业的决策者对实时数据的需求提供正确的保障决策,给出一套完整系统架构。     

基于ESB的实时ETL系统的设计与实现

随着数据仓库技术的应用发展,企业对数据的处理要求更短的延迟,具有一定的实时需求,而目前的大部分系统都不具备该特性。提出了一种基于ESB平台的实时ETL解决方案,通过在ESB平台上运行的组件实现ETL功能,利用实时分区加载和更新实时数据。实验表明,该设计方案能够实现实时ETL功能,并具有良好的通用性和可扩展性。     

基于SOA架构的通用数据交换平台的设计与实现

数据交换平台用于建立不同地区数据库的交换体系,统一数据交换标准。文章所提出的通用数据交换平台建立在SOA体系架构的基础上,以XML作为异构系统之间数据交换的标准格式,利用Web Services将服务发布到Internet上,根据业务流程对Web组件进行动态的组合和集成,很好地实现了数据交换和共享的目的。     

基于SOA架构的物流系统的设计与实现

物流系统涉及多个不同的应用子系统,各子系统之间的集成是企业实现信息化、提高竞争力的关键.本文提出了一种基于SOA架构的物流系统的设计和开发流程,并详细地阐述了在具体的项目实践中的分析、设计和实现过程.     

基于SOA模型实现医院体检信息系统集成研究

描述了基于xml Web Services构建SOA架构的省级医院体检信息系统集成的设计,通过该系统受检人员能随时在PC上通过Internet实现健康体检信息查看,省市级各大有体检资格的医院的体检医生可以通过自己权限查看受检人员以前的体检信息,并将当次的体检信息录入本医院的体检信息系统中。     

基于SOA的B／S科研管理系统的设计与实现

该文通过分析当前科研管理系统的现状和需求，提出了一种基于B／S和SOA的科研管理系统的设计与实现方法，并分析了系统实现的关键技术。     

基于SOA模式的企业级应用程序的架构设计

本文首先介绍了面向服务架构的新型应用程序开发模式SOA，并重点介绍了基于此架构需重点考虑的特殊问题，在此基础上提出了一种新的基于SOA模式的企业开发的体系结构，利用该种架构能很好的解决企业应用的快速实现与并能灵活应变企业的流程再造。     

基于SOA架构的口岸电子闸口系统的设计与实现

针对当前软件系统开发中业务需求的多变性和复杂性,引入面向服务体系结构(SOA)的框架设计,并结合一个口岸电子闸口系统实例,介绍业务流程执行引擎的结构,详细说明用SOA的架构设计,使该口岸电子闸口系统具备良好的系统扩展延伸条件。     

基于SOA的纸张配切优化系统的适配器开发

面向服务的体系结构(SOA)具有松耦合、跨平台的特征,广泛应用于异构应用系统集成,其中适配器是一个实现将遣留系统接口转换成服务接口的重要组件。本文介绍一种基于SOA的纸张配切优化系统中的适配器的设计与开发,详细阐述了该适配器的体系结构、安全管理、连接管理、接口通讯等。该纸张配切优化系统已成功应用于纸业企业的生产过程管理。     

基于SOA的数据业务服务总线的研究设计

各种数据业务平台在功能和实现方面有较多相似之处.本文在SOA(Service-Oriented Architecture,面向服务的体系结构)思想基础上,研究设计了数据业务服务总线框架,并分析了该框架的安全性和通信性能.该框架通过Web Services技术实现了软总线结构的消息中间件,提供了业务逻辑的灵活加载、消息流量控制和与传输协议无关等特性.     

一个专用ETL程序的实现

设计开发了应用于粮食行业数据仓库的ETL(Extract-Transform-Load)程序,支持关系数据库数据源和文本格式数据源。在对比分析了打时间戳、扫描增量文件、扫描日志、修改应用代码、“前”“后”映像文件比较五种数据增量方法后,用基于主键的记录比较的方法实现了数据的增量更新。ETL支持表的分拆和合并,弥补了数据仓库建模工具的不足,已在粮食行业管理信息与决策支持系统中得到应用。     

基于SSIS平台的ETL设计与实现

通过中国人寿四川统计信息系统的设计与实现,本文探讨通过SSIS系统平台实现ETL解决方案,如何针对来自不同应用系统、不同数据平台、不同数据源形式的源数据系统存在的数据质量的差异性、缺乏一致性等问题,将数据从源数据系统中抽取、转换成数据仓库需要的格式和统一数据类型,并正确加载到数据仓库中,为统计分析系统的实现提供高质量的基础数据.     

ETL实施的数据质量问题研究

对数据仓库中数据质量的重要评价指标进行了介绍，对ETL实施时在数据源端和ETL过程中可能面临的数据质量问题进行了分析．对部分常见的数据质量问题给出了相应的解决方法。     

ETL实施的数据质量问题研究

对数据仓库中数据质量的重要评价指标进行了介绍,对ETL实施时在数据源端和ETL过程中可能面临的数据质量问题进行了分析,对部分常见的数据质量问题给出了相应的解决方法。     

基于本体的ETL设计研究

提出了一种基于本体的ETL设计方法,通过建立各数据源的局部本体和目标数据仓库的全局本体以及本体间的映射,得出以OWL表示的各数据源和目标的映射关系.用本体元数据指导数据抽取,转换和加载过程,解决数据源ETL过程中的语义异构问题,实现了企业数据语义程度的集成.     

军械装备保障数据仓库中的ETL过程优化研究

针对军械装备保障数据仓库中复杂的ETL过程,提出采用改进的粒子群算法进行ETL任务调度的优化策略;通过改进惯性向量,使其具备动态调整能力,形成更具寻优特性的动态w粒子群算法(DWPSO);在对数据仓库ETL调度过程进行数学化描述的基础上,将改进算法应用在以最小执行时间为目标函数任务调度中,并通过仿真实验证明了该算法的有效性.     

基于XML的ETL分析与设计

文中主要针对企业信息资源共享的要求,提出了基于XML的ETL方案,有效地解决了企业数据级的信息集成问题。该方案通过对异构数据源的元数据获取,进行异构数据源的分析,并通过数据的抽取、转换和加载,最终实现了数据的集成。文中提出的ETL方案,主要采用了XML技术,充分地利用了XML语言的结构性强、自描述性好等特点。     

ETL过程的思考

ETL是构建数据仓库的一个非常重要的环节,可以这样认为:ETL就是整个数据仓库系统乃至整个决策支持系统的基石。如何设计高效的ETL过程就成为了众多计划或正在实施数据仓库项目的企业考虑的重要问题。从前期的数据理解阶段入手,分别讨论了数据的抽取、清洗转换、装载等不同阶段需要考虑的设计问题及相应的解决方案。提出了以数据理解为根基,以清洗转换为中心的设计思想,并给出了具体的实施步骤。     

一种改进的分布式ETL体系结构

在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一致性维护模块(M模块)的设计与实现。ETLM的体系结构免去了分布式数据仓库需要专门进行一致性维护的额外负担,可以更加正确、快捷、高效地支持OLAP。