基于数据仓库的QAR数据分析

针对现有各航空公司分析QAR数据的平台不统一、QAR数据量大、分析和处理数据能力不足、导致海量的数据变成了信息垃圾,在对QAR数据和数据仓库技术研究基础上,结合航空公司关心的问题,设计了QAR数据仓库,给出了数据仓库模型的设计,详细阐述了QAR数据分析主题的提取方法,提出QAR数据仓库的星型模型.通过ETL设计了多维数据集,以超限事件为例展现了对QAR数据的安全分析,为航空公司改进飞行品质、提高安全系数提供依据.     

基于ETL-KETTLE的贵州卷烟营销大数据分析及可视化

为了实现对贵州卷烟销售大数据的分析及可视化,基于开源数据分析工具KETTLE构建了ETL过程模型,对现有的卷烟销售基础大数据进行抽取、转换、加载,形成分析型数据,快速高效地实现了数据集成.经过ETL处理的集成数据,为卷烟销售大数据可视化系统及进一步的数据挖掘、决策支持提供了数据基础.同时,采用GIS平台构建和可视化技术,设计并实现了卷烟销售大数据可视化分析系统,为企业的数据分析和决策支持提供了数据展示及分析平台.     

电网生产管理数据仓库的设计与实现

为了满足对生产管理进行决策分析的业务需求,对某电网公司生产管理进行了需求分析,对生产管理数据仓库进行了总体设计,制定了数据从源系统到数据仓库中进行存储的ETL技术方案,最后利用展现工具查询和分析数据,实现决策支持,为生产管理的决策提供了可靠的依据,同时也验证了数据仓库的设计。     

CRM系统中数据仓库的设计和实现

介绍了CRM的作用，阐明了数据仓库在分析型CRM系统中的重要地位，设计并实现了分析型CRM中的数据仓库，其中具体描述了数据仓库ETL和数据清洗等关键技术，为企业引入分析型CRM系统时构建数据仓库提供了参考依据。     

一种面向数据仓库的ETL多层实现策略

正确、有效的ETL（extract～Transform—Load）过程是提高数据仓库数据质量,保证数据分析的基础。在目前商务智能系统的实施中,ETL过程成为项目成败的关键因素。本文以进出口贸易公司数据为例,结合数据仓库存储设计、数据库多重粒度划分,提出一种面向数据仓库的ETL多层实现策略,为有效的进行数据挖掘和决策分析提供有力支撑。     

点击流数据仓库中的ETL设计

ETL是构建数据仓库过程中极其重要的部分,点击流数据仓库无论在体系结构上,维表与事实表设计上,还是点击流的抽取、转换和装载机制上,都比传统的数据仓库要复杂的多。本文以ETL基本原理出发,构造ETL体系结构,着重分析点击流数据仓库的ETL技术,进行数据抽取,数据转换,以及数据装载的ETL设计,为ETL系统的开发和ETL技术的应用提供了依据。     

高校财务项目管理系统的数据仓库的设计

数据仓库系统是存储大量历史数据供分析和对决策进行支持的系统,本文详细描述了在高校财务项目管理系统的基础上建立和维护数据仓库的过程,包括数据仓库模型设计、异构数据的转换、数据冗余、汇总数据存储等数据仓库设计过程和数据的抽取、转换和加载（ETL）以及元数据管理等维护过程,并简单地介绍了数据仓库在OLAP方面的应用。     

基于ETL技术的企业信息集成研究

本文研究了数据仓库ETL技术,并将ETL技术运用在企业信息集成过程中。本文以PDM和ERP系统为研究对象,阐述了ETL用于数据集成的方法、过程和集成架构。开发了可视化集成开发ETL工具,利用该工具从PDM系统中获取产品结构数据,实现PDM和ERP系统的数据集成。运用ETL技术能够简化企业信息集成开发,具有低耦合性、易于扩展的特点。     

面向数据仓库的ETL工具的研究与实现

阐述了ETL工具在数据仓库系统的建设过程中所处的重要地位,提出了一个基于工作流引擎的ETL系统设计。系统实现一个轻量级的工作流引擎作为ETL流程的调度中心,利用元数据保存记录ETL流程的信息,创建基于数据库引擎的ETL操作组件库来完成从数据源到数据目标的数据映射,并初步实现了对大数据环境数据抽取的支持,从而构建了一个具有良好可扩展性和开放性的ETL系统。     

基于Hadoop平台的分布式ETL系统设计与实现

为了解决传统的抽取、转换和加栽工具处理数据仓库中海量数据的效率问题,设计并实现了基于Hadoop平台的分布式ETL系统。详细的探讨了渐变维度、雪花维度、大维度数据和事实数据的并行处理。实验结果表明,与Hive数据仓库相比,该分布式ETL系统在并行处理数据仓库中海量数据的问题上,具有更高的效率和扩展性。     

基于电力营销大数据的数据融合共享平台研究与应用

随着国家电网公司基于大数据、云计算等项目的逐渐增多,国网某省电力公司全业务海量数据激增,导致现有电力营销存在电力数据缺乏统一部署系统、数据共享难度较大、数据指标逻辑规则不统一等问题。集中接入并整合电力各渠道的账户数据和客户数据,结合大数据技术研究电力营销大数据融合共享平台的建设与应用,集中接入和整合电网各渠道的账户数据和客户数据,开展电力客户标签快速搜索及数据驱动营销业务分析等场景,为电力企业运营平台及全景大屏展示提供支持。     

基于大数据的主网生产运维数据分析系统设计

主网生产运维的数据存在差异性大且统一困难、数据集成度与共享性不足等问题,造成这些数据利用率低且应用不充分,已不能满足主网生产运维的要求。本文提出基于大数据的主网生产运维数据分析系统设计方案用于解决这些问题。本文在分析主网生产运维数据特点的基础上,设计了包含数据存储、设备缺陷图谱分析、基于众包的设备故障修复、输变电设备健康度评估、主网精益化作业管理等功能的数据分析系统。该系统对主网生产运维数据进行分布式存储、关联分析、深度挖掘。此外,本文以大数据平台为核心设计了系统的软件架构,重点阐明了主网生产运维数据的存储原理。本文设计的系统面向主网的生产运维人员,旨在为他们提供设备检修、精益化管理等高级服务。     

大数据技术在智能充电桩网络系统中的应用

当前智能充电桩网络系统中的数据具有“大数据”的典型特征,即数据源、数据类型丰富、数据量庞大且增长迅速,而传统的数据处理技术无法有效处理这些数据,大数据技术可以很好应对此场景。大数据技术在充电桩运维,充电客户分析,电网企业整体运营调度中起到非常关键的促进作用,对建立安全可靠高效的充电桩网络具有重要意义。本文初步探讨了大数据技术以在智能充电桩网络系统中的具体应用,分析了智能充电桩网络系统与大数据之间的关系,详细阐述了智能充电桩网络大数据处理平台总体架构的设计思路,并展开描述这其中所使用到的关键技术点,最后着重分析了大数据技术在充电桩运维,充电客户分析,企业整体运营调度中的具体应用。大数据技术能促进充电桩网络向智能化方向发展,为建设安全高效便捷充电桩网络提供切实保障。大数据技术在电力行业的广泛应用必将带来行业的变革,将智能电网的发展推向新的阶段。     

基于大学生精准资助的多源异构数据仓库系统研究

本文针对大学生精准资助设计多源异构数据仓库系统.首先设计系统整体框架,其次设计系统开发流程,再次详细探究多源异构数据源与仓库建模,最后进行数据ETL与数据分析.此系统可为顺利访问高校学生精准资助相关数据提供统一平台,便于转换动态业务数据,实时综合查询数据、挖掘数据、多维分析数据,提高高校学生资助管理的决策效率与水平.     

电力调度大数据应用平台系统技术研究

为解决智能电网的发展中电网运行和设备检测或监测数据、电力企业管理数据、电力企业营销等数据海量的增加带来的不同业务系统之间分散地开发、运行和管理,系统数据存储结构独立,带来数据多源、格式不一致,数据准确性、实时性不强,数据质量不高,缺乏统一的数据规范等问题,本文利用Hadoop的分布式文件系统HDFS和并行处理框架MapReduce的工作原理,搭建电网调度大数据应用平台系统,解决了不同业务系统之间的数据不能及时共享、访问、管理与分析挖掘等问题。采用数据清洗数据,解决数据质量不高的问题。搭建电网调度大数据应用平台系统,既能实现跨专业、跨部门的多维度关联分析,又能满足海量的智能电网数据存储和数据处理需求,并具有强大的伸缩性,可扩展为电网实现安全、可靠、经济、高效地运行提供保障。     

面向城市基础设施智慧管养的大数据智能融合方法

针对运维大数据维度高、形式多样化和变化迅速等特性,为提高数据融合效率以及平台的数据统计和决策分析性能,降低抽取-转换-加载（ETL）执行时间开销和数据中心负担,面向智慧管养需求提出一种多层次任务调度（MTS）ETL框架（MTS-ETL）。首先,将数据仓库分为数据临时区、数据仓储区、数据分类区和数据分析区,并根据所分区域将完整的ETL过程划分为4个层次的ETL任务调度环节,同时设计了多频率ETL运行调度以及顺序和非顺序两种ETL工作模式;接着,基于MTS-ETL框架的非顺序工作模式进行数据融合的概念建模、逻辑建模和物理建模;最后,利用Pentaho Data Integration设计ETL转换模块和工作模块以实现数据融合方法。在交通流量数据融合实验中,该方法融合136754条数据的时间仅为28.4s;在千量级的数据融合实验中比传统ETL方法的总平均执行时间降低了6.51%;报表分析结果表明其在融合400万条数据时依然能保证ETL过程的可靠性。所提方法能够有效融合运维大数据,提高平台统计分析性能,并维持ETL执行时间开销在较低水平。     

银行数据仓库的系统设计与实现

企业中的数据存在于各个异构的传统数据库系统中,数据仓库是企业整合数据的一种有效途径。数据仓库使得企业的信息变得易于获取并且为企业决策提供可靠依据。然而建设一个企业级数据仓库是一项巨大的工程。根据数据仓库的特点和功能以及软件设计的模块化思想,提出一种三层数据模型结构,即面向企业全局视图的逻辑层数据模型(LDM)、面向数据处理的ETL数据模型和面向前台展示的分析层数据模型(ADM)并在银行系统中予以实现。     

基于大数据的电力客户行为分析体系研究及实践

随着我国电力市场的发展,供电企业紧跟数字化发展步伐加快信息系统建设,各业务系统在运行过程中积累了海量信息数据资源,利用这些数据资源进行数字化分析已经渐渐成为供电企业的重点工作。在供电企业不断地拓展分析范围,优化分析方法的过程中,大量的数据资产被盘活,巨大企业价值与社会价值逐渐显现。大数据技术的使用可体现在电力系统运行的各种环节,为电力信息的商业化利用提供有力支撑。基于大数据技术的电力客户用电行为分析能提高电力系统的运行效率,为供电企业的实际运行提供决策依据。文章分析了国内、外电力行业大数据应用的进程及现状,根据不同类型客户的用电行为建立了基于大数据技术电力客户行为分析体系,对大数据技术的实践情况进行探究,实现电力客户用电行为的深度分析,为客户提供更优质的服务体验。     

一种可靠的数据仓库中ETL策略与架构设计

作为数据仓库系统的关键部件,ETL完成数据抽取、清洗、转换和装载的工作,它是构建数据仓库的重要环节,同时也是构建数据仓库过程中出现问题最多的环节,所以针对这点,该文给出了一个可靠的同时易于扩展的ETL策略和架构。文章首先简单地介绍了数据仓库技术和ETL技术,包括ETL的相关概念、ETL在数据仓库中的功能和重要地位;然后重点介绍了这种ETL的具体策略和架构设计。