云平台下的装备保障管理系统结构化数据查询

首先针对我军装备保障管理系统关系数据库在海量数据查询以及分析处理方面的不足,在对系统数据资源分析的基础上提出并实现了基于Hadoop云平台结构化数据查询策略,通过Sqoop工具将数据库中的数据导入到HDFS中,并利用Hive进行数据分析.然后通过实验证明此方法克服了海量数据在单机环境中查询效率低下的缺点,具有较高的实用价值.     

基于Hadoop平台的用户行为挖掘

随着互联网发展带来的数据爆炸,使得 Web日志的数据量也越来越大,如何从海量的 Web 日志中挖掘有价值的信息成为了目前研究的热点。本文提出基于 Hadoop 集群框架对 Web 日志进行挖掘。实验结果表明,该集群系统既可以处理海量的 web 日志,同时也能够挖掘出有价值的信息,并证实了利用sqoop在 Hive仓库和传统数据库之间数据迁移的可行性。     

基于MapReduce的Hadoop大表导入编程模型

针对Sqoop在导入大表时表现出的不稳定和效率较低两个主要问题,设计并实现了一种新的基于MapReduce的大表导入编程模型。该模型对于大表的切分算法是:将大表总的记录数对mapper数求步长,获得对应每个split的SQL查询语句的起始行和区间长度(等于步长),从而保证每个mapper的导入工作量完全相同。该模型的map方式是:进入map函数的键值对中的键是一个split所对应的SQL语句,将查询放在map函数中完成,从而使得模型中的每个mapper只调用一次map函数。对比实验表明:两个记录数相同的大表,无论其记录区间如何分布,其导入时间基本相同,或者对同一表分别用不同的分割字段,导入时间也完全相同;而对于同一个大表,模型的导入效率比Sqoop有显著提高。