基于Hive的高可用双引擎数据仓库

打破信息孤岛，整合异构数据，汇聚共享交换，深度分析挖掘，提供行业领域辅助决策和态势分析具有深远的理论和应用价值.本文以中国科学院教育科研态势感知服务的实际需求为牵引，设计并实现了一套基于Hive的Hadoop/Spark双计算引擎大数据仓库，支持多种方式OLAP分析，进行了可用性、负载均衡、资源管理的优化设计，为后续进行全院数据汇聚挖掘、知识图谱构建、学科态势分析提供了平台支撑.实验表明，系统灵活高效，高可用可扩展，资源调度科学，负载均衡效果明显.     

大数据分析的分布式MOLAP技术

大数据的规模效应给数据存储、管理以及数据分析带来了极大的挑战,学界和业界广泛采用分布式文件系统和MapReduce编程模型来应对这一挑战.提出了大数据环境中一种基于Hadoop分布式文件系统（HDFS）和MapReduce编程模型的分布式MOLAP技术,称为DOLAP（distributed OLAP）.DOLAP采用一种特殊的多维模型完成维和度量的映射;采用维编码和遍历算法实现维层次上的上卷下钻操作;采用数据分块和线性化算法将维和度量保存在分布式文件系统中;采用数据块选择算法优化OLAP的性能;采用MapReduce编程模型实现OLAP操作.描述了DOLAP在科学数据分析的应用案例,并与主流的非关系数据库系统进行性能对比.实验结果表明,尽管数据装载性能略显不足,但DOLAP的性能要优于基于HBase,Hive,HadoopDB,OLAP4Cloud等主流非关系数据库系统实现的OLAP性能.     

OLAP研究及春在现代企业中的应用

通过一个省级烟草公司销售系统的OLAP应用介绍了在现代企业中应用OLAP的系统设计、数据库设计等新的实用方案,并对多种技术实现OLAP数据库进行多维立方体的创建与维护、采用多种实用LOAP技术实现对数据的多维直观的分析与展示等方面进行了较详细的探讨。     

OLAP数据仓库在电网调度决策中的研究与应用

以某电力系统为研究背景,在对原有的数据源进行分析和重新组织的基础上,构建电网调度数据仓库,并建立多维雪花模式的数据立方体。运用OLAP和数据挖掘技术,从多角度、多层次快速地分析和查询数据仓库的数据,实现负荷预估和调度的科学化,并说明OLAP数据仓库能够为电网调度管理人员提供有效的决策信息。     

基于OLAP的新产品销售合同数据的多维分析

为了有效管理和充分利用产销资讯系统中的销售历史数据,为新产品营销分析,优化新产品结构,提高新产品研发效益提供决策依据。本文以2007年至2010年的销售合同数据为例,首先,建立了新产品信息管理平台,按照新试新推钢种提取新试合同信息,并汇总了合同量和销售额。然后,基于Microsoft SQL Server2OO5商业智能开发平台,设计并实现了以新产品销售合同为主题的数据集市;并应用Analysis Services模块,设计了新产品销售合同数据的OLAP多维分析系统。便于用户使用PivotTable Service工具,能够以多角度、多层次、多种显示方式对新产品销售合同数据进行访问、分析和可视化表达。     

基于Hadoop的气象信息数据仓库建立与测试

气象相关的数据随着气象事业现代化水平的不断提高而与日俱增,使得气象部门对于气象数据存储、管理和读取的要求越来越高;通过分析开源云平台Hadoop的分布式文件系统HDFS、数据仓库工具Hive等架构,研究了Hadoop气象云平台的构建过程,最终实现了气象信息数据仓库的建立与测试;该气象信息数据仓库实现了海量气象数据文件的分布式存储、元数据管理以及气象数据的查询;应用表明,使用气象数据仓库进行大型气象数据文件存储和操作时,可以大大提升数据吞吐率和数据读写操作效率。     

基于移动通信数据的流动人口统计中的Hive优化

针对电信大数据在流动人口统计中的处理需求,采用Intel?Hadoop发行版,设计Hive数据仓库并进行优化,重点对性能影响较大的join连接和数据倾斜问题进行了优化。实验表明,对于TB级数据,简单统计如count、sum等可在10分钟以内完成,聚合统计如join、group by等可在30分钟左右完成,能有效支撑大数据环境下的流动人口统计和监测。     

基于Hadoop的Web日志分析系统的设计

在大数据时代,数据成为推动各个行业发展的动力,有效的分析数据不仅对社会经济效应有巨大影响,而且对政府,企业的管理也有深远影响。于是,怎样高效且快速地从Web日志中挖掘出有用的价值并且转化为分析依据是系统设计的重点。本文主要采用Hadoop为开源框架,利用HDFS进行数据的存储,Hive为开源数据仓库工具,设计并实现一个Web日志分析系统。文章主要阐述了系统的结构、设计思想和实现方法。     

基于Hadoop平台的分布式ETL系统设计与实现

为了解决传统的抽取、转换和加栽工具处理数据仓库中海量数据的效率问题,设计并实现了基于Hadoop平台的分布式ETL系统。详细的探讨了渐变维度、雪花维度、大维度数据和事实数据的并行处理。实验结果表明,与Hive数据仓库相比,该分布式ETL系统在并行处理数据仓库中海量数据的问题上,具有更高的效率和扩展性。     

云平台下的装备保障管理系统结构化数据查询

首先针对我军装备保障管理系统关系数据库在海量数据查询以及分析处理方面的不足,在对系统数据资源分析的基础上提出并实现了基于Hadoop云平台结构化数据查询策略,通过Sqoop工具将数据库中的数据导入到HDFS中,并利用Hive进行数据分析.然后通过实验证明此方法克服了海量数据在单机环境中查询效率低下的缺点,具有较高的实用价值.     

基于Spark的航空信息服务平台

针对大数据时代下,海军航空部队存在的种种数据治理问题,设计了一种基于Spark的航空信息服务平台,平台实现了航空数据的存储,分析与挖掘等功能.平台采用4层体系架构,使用了HDFS分布式文件存储框架和Hive数据仓库工具实现了数据的存储和管理.最后,通过仿真实验,比较在不同数据量下航空信息服务平台与传统航空数据仓库的性能优劣.通过海军航空信息服务平台建设,可以有效为海军航空部队实训提供数据支撑,为平台使用者提供辅助决策.     

海量多维数据的存储与查询研究

基于数据仓库的OLAP系统是当前海量多维数据分析的主要工具。随着信息技术的发展,海量多维数据的规模急剧增长,结构日益复杂,OLAP系统的性能严重下降,已经无法满足人们的数据分析需求。基于分布式计算系统Hadoop给出了新的海量多维数据的存储方法和查询方法。设计了HDFS上的列存储文件格式HCFile,基于HCFile给出了海量多维数据存储方案,该方案能够提高聚集计算效率,并有很好的可扩展性。同时,利用多维数据的层次性语义特征,设计了维层次索引,并给出了利用维层次索引和MapReduce进行聚集计算的方法。通过和Hive的对比实验,表明了数据存储方案和查询方法能够有效提高海量多维数据分析的性能。     

基于DW+OLAP+DM的超市销售决策支持系统

结合超市的销售信息设计和开发了C/S结构的基于数据仓库、联机分析和数据挖掘技术的超市销售决策支持系统,从应用的角度介绍了数据仓库的构建过程、联机分析处理技术的实现。数据挖掘模块通过分析商品销售记录,寻求最佳的货架摆放布局。通过对会员资料的分析,帮助制定会员卡服务策略和促销方案,更好地适应顾客,留住固定的消费群。     

药品销售行业决策支持系统的分析与设计

介绍了如何构建医药销售行业的数据仓库系统（DW）和如何运用OLAP技术、数据挖掘技术进行客户分析、销售分析、市场分析、库存分析、配送分析、风险分析。在此过程中,讨论了数据仓库的基本技术,归纳并提出了药品销售软件中数据仓库的基本体系结构。     

基于Hadoop的海量电费数据处理模型

随着电费数据量的快速增长,某特大型集团公司财务管理信息系统传统的电费数据处理模式已经成为系统的性能瓶颈. Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于海量数据处理领域. 本文在对电费业务和Hadoop进行分析和研究的基础上,提出了电费数据新的处理模型,建立了基于Hadoop和Hive的电费明细数据处理平台. 实验证明该模型可以有效解决目前海量电费数据处理面临的性能瓶颈,提高电费数据处理的速度和效率,并且可以提供高性能的明细数据查询功能.     

基于Hive的水利普查数据仓库

针对水利普查数据海量、多维的特点,研究近年来在“大数据”概念下发展迅速的Hadoop与Hive,结合传统数据仓库在多维数据分析方面的成熟技术,提出基于Hive的水利普查数据仓库的构建方法,描述数据仓库系统的架构,并根据Hive的设计特点,通过分桶、消减维度表和冗余事实表的方法来改进传统的多维分析模型,最后搭建集群系统对水利普查数据集进行查询与分析测试。测试结果表明该数据仓库可以满足海量多维水利普查数据的存储与查询要求。      

基于SQL Server的OLAM的研究及应用

OLAM(On-line Analytical Mining)是当前的热点技术,是融合了联机分析处理(OLAP)和数据挖掘(Data Mining)的一种新的数据挖掘技术。本文主要研究数据仓库中OLAP,On-line Analytical Processing和数据挖掘技术,这两个技术是商业智能中的核心技术和主要内容,在两者的基础上引入OLAM的概念,并阐述其基本原理和核心技术。基于微软的SQL Server平台,为一个商业案例建立数据仓库,利用Analysis Services服务,建立销售分析的多维数据集,利用OLAM的基本模型实现OLAP和聚类挖掘技术的结合,借助两者的各自优势,得到很好的客户聚类分析结果。     

基于Hadoop平台的用户行为挖掘

随着互联网发展带来的数据爆炸,使得 Web日志的数据量也越来越大,如何从海量的 Web 日志中挖掘有价值的信息成为了目前研究的热点。本文提出基于 Hadoop 集群框架对 Web 日志进行挖掘。实验结果表明,该集群系统既可以处理海量的 web 日志,同时也能够挖掘出有价值的信息,并证实了利用sqoop在 Hive仓库和传统数据库之间数据迁移的可行性。