大数据分析平台建设与应用综述

大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验,结合大型企业实施行业应用项目的切身感受,从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构,然后介绍了大数据分析平台的关键技术,重点介绍了 Spark技术的体系架构及核心组件,最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

基于Hadoop平台的OLAP煤炭销售数据分析系统

针对煤炭销售数据量大而信息量少的问题,开发了基于Hadoop平台的OLAP煤炭销售数据分析系统,介绍了系统设计思想及架构,并以销售量统计为例阐述了实现数据深层次快速挖掘和直观显示的具体过程。该系统利用Hadoop云平台对数据进行ETL处理,创建Hive分布式数据仓库,并采用Hive的HQL语言进行OLAP统计分析,能够快速、准确地实现对销售量信息的多层次、多角度、深层次的数据挖掘、统计和分析,并直观、多角度地反映数据分析结果。     

基于医院信息系统的商业智能系统研究

介绍了商业智能系统的概念及功能,对商业智能在医院信息系统中的应用进行了探索性研究,以SQL Server 2005作为构建数据仓库的技术平台,并作为对数据仓库进行联机分析的工具,给出了一个以医院住院病人医嘱为主题的数据仓库实例.探索性研究了数据仓库构建、多维数据分析、数据展现等技术问题.     

大型商业银行基于Hadoop分布式数据仓库建设初探

商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高。通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyperbase、流处理工具Stream等架构,探索了大型商业银行Hadoop分布式数据仓库的构建过程,最终实现了由基于集中式存储架构的传统关系型数据仓库向分布式数据仓库的迁移工作。该分布式数据仓库实现了结构化数据和非结构化数据的存储、ETL调度管理、历史数据检索、交互式分析以及流数据处理。应用表明,相比基于集中式存储架构的传统关系型数据仓库,分布式数据仓库可大幅提高数据存储和数据服务的效率。     

基于数据仓库的QAR数据分析

针对现有各航空公司分析QAR数据的平台不统一、QAR数据量大、分析和处理数据能力不足、导致海量的数据变成了信息垃圾,在对QAR数据和数据仓库技术研究基础上,结合航空公司关心的问题,设计了QAR数据仓库,给出了数据仓库模型的设计,详细阐述了QAR数据分析主题的提取方法,提出QAR数据仓库的星型模型.通过ETL设计了多维数据集,以超限事件为例展现了对QAR数据的安全分析,为航空公司改进飞行品质、提高安全系数提供依据.     

基于Hadoop的智慧社区大数仓库系统设计与开发

传统社区管理主要通过人工信息登记打电话、登门、拜访等管理方式，不仅效率不高，还重复劳动，更无法满足超大社区的治理需求。Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式计算架构。针对智慧社区后端数据分析仍需加强的问题，基于Hadoop设计了一款智慧社区大数据仓库系统，构建业务数据采集平台，数据仓库维度建模。为智慧社区运营驾驶舱（车辆进出、门禁刷卡、社交电商等）提供数据支持，提高智慧社区的数据处理能力。     

基于数据仓库的分析决策系统住院病人费用

介绍了数据仓库的特点和体系结构的同时，对数据仓库技术在医院信息系统中的应用进行了研究，以Oracle Warehouse Builder作为构建数据仓库的技术平台，用Discoverer作为对数据仓库进行联机分析的工具，给出了一个应用于医院住院病人费用分析的数据仓库实例。该实例支持海量数据的深加工和再利用，解决了数据仓库构建、数据分析、客户端程序设计等技术问题，为支持医院管理者的分析决策做出了积极探索。     

数据中心的航空公司数据仓库的设计

为了适应管理人员对决策支持系统的需要,许多企业纷纷建造自己行业的数据仓库来存储、使用、分析海量的历史数据。结合数据仓库的理论,提出了一种基于数据中心平台的航空公司数据仓库的基本体系架构,并就航空公司数据仓库的设计和相关技术等问题进行了探讨。     

基于数据仓库的运动训练分析决策系统

为了满足各层次决策人员对运动训练进行各种分析、决策的需求,针对运动训练、比赛流动性大的特点,应用Web、数据仓库以及数据挖掘等技术,构建了基于数据仓库的运动训练分析决策系统。该系统综合集成了运动训练所需的各种分析、决策模型和方法,为各类决策人员提供了方便、统一的数据分析处理平台,可为训练目标、训练方法、各类优化方案及各项目发展规划的制定提供科学的量化依据,也为异地专家及时指导训练开辟了捷径。