基于Hadoop的气象信息数据仓库建立与测试

气象相关的数据随着气象事业现代化水平的不断提高而与日俱增,使得气象部门对于气象数据存储、管理和读取的要求越来越高;通过分析开源云平台Hadoop的分布式文件系统HDFS、数据仓库工具Hive等架构,研究了Hadoop气象云平台的构建过程,最终实现了气象信息数据仓库的建立与测试;该气象信息数据仓库实现了海量气象数据文件的分布式存储、元数据管理以及气象数据的查询;应用表明,使用气象数据仓库进行大型气象数据文件存储和操作时,可以大大提升数据吞吐率和数据读写操作效率。     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

大型商业银行基于Hadoop分布式数据仓库建设初探

商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高。通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyperbase、流处理工具Stream等架构,探索了大型商业银行Hadoop分布式数据仓库的构建过程,最终实现了由基于集中式存储架构的传统关系型数据仓库向分布式数据仓库的迁移工作。该分布式数据仓库实现了结构化数据和非结构化数据的存储、ETL调度管理、历史数据检索、交互式分析以及流数据处理。应用表明,相比基于集中式存储架构的传统关系型数据仓库,分布式数据仓库可大幅提高数据存储和数据服务的效率。     

一个轻量级数据仓库平台的设计和实现

提出了一个基于J2EE架构下的轻量级数据仓库平台的设计思想，并加以实现。该数据仓库平台包括元数据管理、数据抽取／转换／装载、数据清洗、在线分析和数据展现等在构建和使用数据仓库系统中所必需的通用功能。在该轻量级数据仓库平台的开发过程中，利用了不少优秀的开放源码软件并加以改造，这种开发模式不但能够加快开发过程，而且费用低廉。     

基于数据仓库的供应链决策支持系统

讨论了以数据仓库技术为基础的决策支持系统在供应链管理中的应用，阐述了新型的供应链管理理念并强调以数据仓库来实现这一理念，论述了如何构建供应链数据仓库作为决策系统的平台，为供应链管理提供解决方案，从而提高供应链成员分析和决策的准确性。     

数据仓库技术在大型超市中的应用

为了克服大型超市管理中的盲目性和决策中的随意性，有利于对超市进行科学和规范的现代化管理，提高工作效率，笔者运用数据仓库技术，针对大型超市销售经营模式，构造了大型超市数据仓库系统。数据库平台采用SOL Server 2000，数据仓库集成模块采用VC＋＋开发，数据仓库客户端程序和OLAP分析采用Power Builder开发。该系统性能价格比高，系统运行速度快，对超市两年的历史数据进行分析操作获得了令人满意的效果。此系统具有良好的通用性，能适应不同超市的销售情况，为今后的维护、增量开发提供了良好的基础。     

基于Hadoop的分布式数据库系统

云计算是当前研究的热点,包括分布式存储和分布式计算技术。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。基于对大量数据进行处理和分析的需求,本文分析了基于Hadoop的分布式计算平台,介绍基于Hadoop的分布式数据库系统。     

基于Hadoop平台的OLAP煤炭销售数据分析系统

针对煤炭销售数据量大而信息量少的问题,开发了基于Hadoop平台的OLAP煤炭销售数据分析系统,介绍了系统设计思想及架构,并以销售量统计为例阐述了实现数据深层次快速挖掘和直观显示的具体过程。该系统利用Hadoop云平台对数据进行ETL处理,创建Hive分布式数据仓库,并采用Hive的HQL语言进行OLAP统计分析,能够快速、准确地实现对销售量信息的多层次、多角度、深层次的数据挖掘、统计和分析,并直观、多角度地反映数据分析结果。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

基于数据仓库的供应链决策支持系统

讨论了以数据仓库技术为基础的决策支持系统在供应链管理中的应用,阐述了新型的供应链管理理念并强调以数据仓库来实现这一理念.论述了如何构建供应链数据仓库作为决策系统的平台,为供应链管理提供解决方案,从而提高供应链成员分析和决策的准确性.     

基于Hadoop的高校大数据平台构建研究

高校业务系统数据资源的结构、内容以及数据利用价值还不够清晰，尚未真正发挥应有作用。以笔者所在高校为例，本文介绍基于Hadoop的“智慧校园大数据平台”的数据建设方案。文章根据学校现状提出适合高校信息化建设的数据治理方案，主要通过Hadoop分布式系统架构为大数据存储提供底层支撑，通过共享数据中心存储权威数据，通过智慧校园大数据平台实现数据流调用和共享，为大数据分析和决策提供依据。     

几种数据仓库方案的比较

随着现在市场竞争的不断加剧，各行各业为了提高自己的竞争力，相继采用了数据仓库。数据仓库为决策分析提供了更好的支持。根据描述的三种数据仓库方案，通过比较得出基于知识管理的数据仓库是最适合当今社会和企业发展的，特别是它运用集体的智慧为企业决策者做出正确决策提供参考意见，减少了多余和不必要环节降低成本，提高了效率，是企业的最佳选择方案。     

数据仓库中元数据管理模型的研究

元数据管理是数据仓库的关键技术之一 ,是数据仓库中实现信息共享的主要解决途径之一。论述了数据仓库中元数据的定义、重要性、内容、管理模型及其解决方案和应用等 ,为数据仓库的元数据管理提供了可行有效的示范系统     

基于大数据的高职院校学生职业素养评价系统构建研究

高职院校学生职业素养评价内容涉及范围广泛，数据异构、来源多元。依据学生职业素养评价指标体系，以Hadoop平台为基础，利用flume+Kafka等大数据技术无缝对接学校各个业务系统并预留人工导入数据接口，构造hive数据仓库解决数据异构问题，打造采集、处理、存储、展示为一体的学生职业素养评价系统，形成评价结果报表和学生“画像”，为引导学生职业规划和个性化发展提供参考。     

数据仓库技术在大型超市中的应用

为了克服大型超市管理中的盲目性和决策中的随意性,有利于对超市进行科学和规范的现代化管理,提高工作效率,笔者运用数据仓库技术,针对大型超市销售经营模式,构造了大型超市数据仓库系统.数据库平台采用SQL Server2000,数据仓库集成模块采用VC++开发,数据仓库客户端程序和OLAP分析采用Power Builder开发.该系统性能价格比高,系统运行速度快,对超市两年的历史数据进行分析操作获得了令人满意的效果.此系统具有良好的通用性,能适应不同超市的销售情况,为今后的维护、增量开发提供了良好的基础.     

基于SSIS平台的ETL设计与实现

通过中国人寿四川统计信息系统的设计与实现,本文探讨通过SSIS系统平台实现ETL解决方案,如何针对来自不同应用系统、不同数据平台、不同数据源形式的源数据系统存在的数据质量的差异性、缺乏一致性等问题,将数据从源数据系统中抽取、转换成数据仓库需要的格式和统一数据类型,并正确加载到数据仓库中,为统计分析系统的实现提供高质量的基础数据.     

数据仓库技术在道路运政管理系统中的应用

本文分析了目前国内外道路运输企业建立企业信息化综合平台的现状，提出了基于湖北省道路运政管理信息系统基础之上的道路运政管理数据仓库的系统目标、逻辑设计、体系结构和实现方法。     

浅谈基于数据仓库技术的税收数据应用系统建设

基于数据仓库技术,设计了税务数据应用系统的宏观架构,并对其中的数据加工平台、数据存储平台、应用服务平台-OLAP引擎、数据展现平台以及元数据管理平台等各组成部件进行了研究,最后提出了下一步研究方向。     

大数据让数据仓库更具价值简

Hadoop和MapReduce等这些新兴技术并不能解决数据相关的所有问题，作为一种传统技术，数据仓库在大数据时代依然焕发自己的活力。     

基于Hive的高可用双引擎数据仓库

打破信息孤岛，整合异构数据，汇聚共享交换，深度分析挖掘，提供行业领域辅助决策和态势分析具有深远的理论和应用价值.本文以中国科学院教育科研态势感知服务的实际需求为牵引，设计并实现了一套基于Hive的Hadoop/Spark双计算引擎大数据仓库，支持多种方式OLAP分析，进行了可用性、负载均衡、资源管理的优化设计，为后续进行全院数据汇聚挖掘、知识图谱构建、学科态势分析提供了平台支撑.实验表明，系统灵活高效，高可用可扩展，资源调度科学，负载均衡效果明显.