数据仓库应用系统技术研究

对数据仓库应用系统的一般解决方案以及六大技术结合目前市场上流行的三大数据仓库解决方案及其产品进行了系统地分析 ,以期对企业在建设数据仓库应用系统的过程中有所借鉴和帮助。     

基于分布式数据仓库的分类分析研究

针对GAC-RDB分类算法只能应用于单机版数据仓库的局限性,为了能够更方便、快捷地在云计算平台上开展数据挖掘工作,基于分布式数据仓库HBase,结合GAC-RDB分类算法的实现机理,制定适合分布式平台的运行策略,使用原生HiveQL语言提出了一种分布式GAC-RDB分类算法。实验显示,随着集群中节点的不断增加,算法的运行时间稳步下降。结果表明,在保证算法准确率的前提下,分布式数据仓库能够有效提高GACRDB分类算法的扩展性和运行效率,相对于MapReduce框架,HiveQL语言降低了对数据挖掘从业人员的技术要求,更大程度地减少了算法的开发时间,为挖掘海量数据提供了新的解决方案。     

基于电信数据仓库系统的ETL研究与设计

电信行业大都建立了自己的数据仓库系统,而建立数据仓库的最重要环节便是数据的抽取、转换和加载ETL(Extracting、Transformation、Loading).通过对现有ETL系统的分析研究,设计并部分实现了基于某省电信公司数据仓库的ETL系统.采取XML格式编辑整个ETL过程,实现部分图形化交互界面,并针对电信系统大数据量的特点,提出性能优化及改进的方法,提高了ETL效率.     

数据仓库技术研究与应用

数据仓库是信息领域中近年来快速发展起来的一种技术,该文对数据仓库技术进行了研究。数据仓库的关键技术在于联机分析处理和数据挖掘,文章讨论了联机分析处理的实现,介绍了数据挖掘的技术,并给出了数据仓库系统开发的实施方案。     

面向数据仓库和数据挖掘的ETL设计与应用

设计了一个具有良好的可扩展性、通用性、友好的JSP操作界面和统一的元数据管理等特点的数据ETL系统。结合实例介绍了此系统在石化企业中的应用。     

基于数据仓库的数据挖掘技术研究现状与进展水

随着时间的推移,社会的进步,越来越多的数据被海量积累下来,如何合理处理数据,并利用相关数据获取人们所需的知识,是进入21世纪以来人们一直深入研究的方向.以此为出发点,从数据仓库与数据挖掘的诞生谈起,详细介绍了数据仓库的构建、几种数据挖掘算法以及数据掘过程,分析提出了数据挖掘技术的进一步发展和研究方向.     

数据仓库与数据挖掘技术

数据挖掘是一新兴的技术,近年对其研究正在蓬勃开展。本文阐述了数据仓库及数据挖掘的相关概念,做了相应的分析,同时共同探讨了两者共同发展的关系,并对数据仓库与挖掘技术结合应用的发展做了展望。     

基于分布式数据仓库的政府采购统计分析设计

本文分析了政府采购统计的重要性,指出目前统计方法的不足.提出按照政府采购中心的层次结构构建一个分布式数据仓库统计分析系统,每个数据集市都支持独立的决策分析应用.给出数据仓库和数据集市的逻辑设计,以及用OLAP技术对政府采购信息进行多维统计分析的方法.     

一种改进的分布式ETL体系结构

在分析了分布式数据仓库数据一致性维护的重要性,以及目前分布式ETL(Extract,transform and load)中存在问题的基础上,针对传统ETL体系结构对分布式数据仓库一致性维护的不足,提出一种新的分布式ETL的体系结构ETLM,并详细描述了数据一致性维护模块(M模块)的设计与实现。ETLM的体系结构免去了分布式数据仓库需要专门进行一致性维护的额外负担,可以更加正确、快捷、高效地支持OLAP。     

数据仓库技术与应用

对数据仓库、联机分析处理和数据挖掘等几个概念做了详细的介绍,在此基础上提出适用于电信系统应用的设计思想,详细介绍了该系统的系统结构、关键技术的实现和各子系统功能。     

一种钻井数据仓库ETL系统的设计

随着企业信息化的不断发展,石油单位将数据整合纳入到重点规划中。面对分散在各处的异构数据源进行数据整合并非易事,首先仅靠手工进行脏数据的清洗不但费时费力,质量也难以保证;其次,数据的定期更新也存在困难。ETL系统为数据整合提供了令人满意的解决方案。它可以完成数据抽取、清洗、转换、装载等任务,满足了用户对异构数据源进行整合的需求,也实现了数据的后期更新。笔者对钻井数据仓库ETL系统的设计提出了一种基于元数据的ETL体系结构,并重点设计了数据准备区、ETL管理模块、任务管理模块和元数据管理模块。该工具已在中海油田化学技术专家支持系统中得到应用。     

一种钻井数据仓库ETL系统的设计

随着企业信息化的不断发展,石油单位将数据整合纳入到重点规划中。面对分散在各处的异构数据源进行数据整合并非易事,首先仅靠手工进行脏数据的清洗不但费时费力,质量也难以保证;其次,数据的定期更新也存在困难。ETL系统为数据整合提供了令人满意的解决方案。它可以完成数据抽取、清洗、转换、装载等任务,满足了用户对异构数据源进行整合的需求,也实现了数据的后期更新。笔者对钻井数据仓库ETL系统的设计提出了一种基于元数据的ETL体系结构,并重点设计了数据准备区、ETL管理模块、任务管理模块和元数据管理模块。该工具已在中海油田化学技术专家支持系统中得到应用。     

数据仓库系统中Excel文档数据的ETL方法研究与实现

数据仓库的数据来源于组织内部的OLTP系统和其它格式的内部、外部数据,它们之中的许多是按照Microsoft Excel格式予以组织的,如何通过ETL程序将该格式的数据转换成数据仓库中有用的信息是目前亟待解决的问题.首先叙述了Excel文件的结构和Java Excel API的使用方法,给出了Java读取Excel文档的操作步骤,结合实例说明了从Excel文件向数据仓库实现抽取及存储的过程和方法.     

基于数据仓库的ETL过程优化

提出一种优化ETL整体过程的方法,包括：其一,针对现有ETL过程的局限性提出一个优化其整体流程的框架EICLF（Extracting/Integrating/Cleaning/Loading/Feedback）流程;其二,对现有相似重复记录的识别算法进行改进;其三,根据清理后得到的干净数据对源数据进行反馈处理。     

基于数据仓库的一种通用ETL工具的设计与实现

通过对基于数据仓库的ETL过程进行的研究,提出了一种通用ETL过程的解决方案,为企业管理者的决策过程提供了有力支持,同时给出了一套完整的系统体系架构。     

基于ETL的政务云气象数据仓库构建

针对气象网站等应用系统向地方政务云迁移过程中缺乏基础数据的现状,从功能性,开发成本,灵活性方面考虑选用ETL工具,基于Kettle软件对气象数据ETL流程进行建模,使用Quartz开发作业调度系统实现ETL流程的自动化运行,在政务云搭建SQL Server数据库集群,构建了政务云气象数据仓库.该数据仓库实现了异构环境气象数据在政务云的实时同步和存储,为气象应用系统在政务云的全面部署提供了数据支持,也为气象部门参与电子政务数据交换和共享打下基础.     

面向教育评价的数据仓库系统的开发与ETL研究

在阐述数据仓库技术的概念、原理、体系结构的基础上,具体描述了面向教育评价应用的数据仓库系统的需求分析、概念模型设计和逻辑模型设计,重点研究了运用Microsoft数据转换工具DTS设计数据迁移包,完成数据由业务数据库到教育评价数据仓库的抽取、转换、清洗和装载的过程。     

基于数据仓库的通用ETL工具的设计与实现

讨论了一种基于异构数据源通用ETL工具的设计方法和实现过程,它能实现异种数据源的数据转换,并将数据装载到中心数据库中,具有一定易用性、灵活性和扩展性。该工具根据索引库来获得目标数据库与源数据库的映射关系。     

基于MapReduce的分布式ETL多维数据模型研究

针对MapReduce缺少对ETL上层数据模型的具体描述,提出了一种集成的基于MapReduce的分布式ETL(MapReduce Distributed ETL,简称MDETL)多维数据模型处理方法其,把对数据的处理分解成对数据属性(维和事实)的处理,解决了ETL上层具体数据模型的构建问题。用真实的数据集评估了它的性能,实验结果表明MDETL具有很好的可扩展性。     

军械装备保障数据仓库中的ETL过程优化研究

针对军械装备保障数据仓库中复杂的ETL过程,提出采用改进的粒子群算法进行ETL任务调度的优化策略;通过改进惯性向量,使其具备动态调整能力,形成更具寻优特性的动态w粒子群算法(DWPSO);在对数据仓库ETL调度过程进行数学化描述的基础上,将改进算法应用在以最小执行时间为目标函数任务调度中,并通过仿真实验证明了该算法的有效性.