基于Hadoop的云教学与自主学习平台设计

本文在分析高校教育资源的基础上,结合云计算Hadoop平台,采用B/S架构,融合HBase和My SQL数据库,搭建云教学和自主学习平台,只要在平台上注册的用户都可以充分利用平台资源进行学习。     

基于Hadoop平台的数据迁移方法研究实现

随着计算机科学的发展和大数据时代的到来,应用系统已经出现了数据海量化、用户访问高量化的局面,使得企业应用系统的原有关系型数据库(RDBMS)面临承担更大负荷的压力,系统的高性能要求得不到有效满足,对于关系型数据库所面临的问题,Hadoop平台中的HBase数据库可有效解决。以关系型数据库中MySQL数据库及Hadoop平台中分布式数据库HBase数据库为研究基础,应对企业应用数据海量化增长,提出从关系型数据库(MySQL数据库)向分布式数据库(HBase数据库)进行数据迁移的方法,并通过研究HBase数据库存储原理提出从MySQL到HBase的表模式转换原则实现高效数据查询性能的数据迁移方法。最后,将该方法与同类数据迁移工具Sqoop进行比较,证明该方法进行数据迁移的便捷性和在迁移后数据库中进行连接查询的高效性。     

云计算平台的搭建与研究

随着互联网和大数据的发展,云计算平台成为互联网时代比较受关注的课题,云计算平台具有计算速度快和高容量的特点.Hadoop开源分布式系统架构模型是云计算平台的基本模型,对Hadoop开源分布式系统架构的组件HDFS分布式文件系统和HBase分布式数据库进行了简单的分析,提出了云计算平台的搭建设计方案.     

基于Hadoop分布式文件系统的分析与研究

通过对HDFS(Hadoop的一个分布式文件系统)以及Map/Reduce数据驱编程模型和HBase分布式的、列存储数据库和Hive分布式数据仓库的分析.可以得到Hadoop的优势在于能以批处理模式处理PB级以上的数据集,适合做离线的数据分析,不适合实时响应需求,如股票系统.客户端是打包成JAR文件形式,运行于Hadoop命令行界面,可以定制执行策略,当数据到来的时候运行Map/Reduce程序,可以手动执行也可以定时执行.可以用Map/Reduce作为BI等海量数据分析平台的分布式数据处理引擎,HDFS作为底层存储文件系统.     

基于Hadoop平台的分布式重删存储系统

针对数据中心存在大量数据冗余的问题,特别是备份数据造成的存储容量浪费,提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据,来显著降低数据存储容量,优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统(HDFS)和非关系型数据库HBase两种数据管理模式,设计并实现一种可扩展分布式重删存储系统。其中,MapReduce并行编程框架实现分布式并行重删处理,HDFS负责重删后的数据存储,在HBase数据库中构建索引表,实现高效数据块索引查询。最后,利用虚拟机镜像文件数据集对系统进行了测试,基于Hadoop平台的分布式重删系统能在保证高重删率的同时,具有高吞吐率和良好的可扩展性。     

HBase在内容推荐引擎系统中的应用

HBase是Hadoop生态系统中继Cassandra之后成为NoSQL数据库的，一直备受关注。本文将阐述HBase在搜孤内容推荐引擎系统中的应用，并简单介绍为了使HBase满足应用需求，我们对HBase进行的定制化开发工作。     

基于Hadoop平台的数据挖掘技术研究

Hadoop集MapReduce、HDFS、HBase、Avro、Pig等子项目于一身,并行编程模型(MapReduce)、分布式文件系统(HDFS)是Hadoop的核心技术。用户可以通过结合编程模型MapReduce与Hadoop的方式对分布式程序进行进行二次开发,从海量数据中挖掘隐含的、新颖的、对决策实施工作有指导价值的关系、模型,在Hadoop平台上构建数据挖掘系统。     

应用Hadoop提升数据库审计系统检索性能的研究

鉴于单节点数据库审计系统检索性能低下的现状,探讨应用Hadoop伪分布模式和HBase列存储模型重构数据库审计系统的检索存储体系,重点研究HDFS存储机制、MapReduce运算框架和HBase数据模型三者的集成,以提升数据库审计系统实时检索和综合分析的性能.重构方案有效提升了检索性能,但鉴于数据的高可靠性和大体积,提出结合生产现状应用Hadoop和HBase分布式集群的展望.     

基于Hadoop平台的校本数据中心建设研究

本文通过搭建Hadoop平台搭建校本数据中心,并将数据集中存储在HBase数据库中。基于Hadoop的校本数据中心,提供了强大的数据统一存储和计算力,将校本数据进行了整合及标准化,形成数据中心的标准库和主题库,为广大师生提供数据查询、数据分析等各种数据服务。校本数据中心能够实现内信息化精益化运营分析,支持实时统计分析的管理辅助决策、基于大数据的数据分析决策以及科研数据辅助决策等;可满足高校的数据利用、教学质量管理、科研管理及绩效管理等需求。     

面向HBase的大规模数据加载研究

分布式数据库HBase在大规模数据加载中较传统关系型数据库有较大的优势但也存在很大的优化空间.基于Hadoop分布式平台搭建HBase环境,并优化自定义数据加载算法.首先,分析HBase底层数据存储,实验得出HBase自带数据加载方式在效率和灵活性方面存在不足;进而,提出了自定义并行数据加载算法,并针对集群进行优化.实验结果表明,优化后的自定义并行数据加载方式能充分发挥集群性能,具有较好的加载效率和数据操作能力.     

海量农业数据云平台的研究

在传统的关系型数据库模式的使用中,存在大量的农业数据存储容量小和管理不够完善的问题。基于对Hadoop的分析,提出运用Hadoop框架构建海量农业数据处理云平台,并给出了平台架构和部分实验结果。通过实验数据表明,该方法可以为搭建农业海量数据云平台提供方法论基础,并实现了农业大数据有效的存储和管理。     

基于IFC标准的建筑信息模型分布式大数据平台存储技术研究

随着建筑信息模型的规模和复杂性不断增加,利用单台计算机处理海量BIM数据的存储和分析变得越来越困难。传统的关系数据库、面向对象数据库等已经无法满足当下建筑业海量和多样化的数据存储和管理的需求。而大数据技术的出现为建筑信息模型海量数据的存储、管理和分析带来极大的潜力。利用大数据技术管理BIM结构化和非结构化数据的优势,探讨分布式大数据平台Hadoop和HBase数据库整体架构和存储模型;制定基于HBase数据库存储IFC(工业基础类)结构化数据和非结构化数据的策略及数据表格的设计;建立基于Hadoop和HBase大数据环境的建筑信息模型存储系统,实现对IFC数据的基本管理操作。通过实际案例验证该系统的可行性。     

基于HBase的交通大数据存储查询平台的设计及实现

在交通数据量持续增长的影响下,传统的交通数据处理方法已经无法满足其需求,在云计算技术日渐成熟的影响下,基于交通大数据基础上,将其与Hadoop结合起来,通过对其非关系型数据库HBase进行合理运用,即可较好的实现对交通数据的存储和查询处理。     

基于SQL的HBase查询的设计与实现

在互联网和大数据时代下,SQL关系型数据库已不能适应与日俱增的数据量,HBase等NoSQL数据库变得极为重要。但HBase数据库操作较为复杂,本文设计并实现基于SQL的HBase查询,可以使HBase的使用者通过熟悉的SQL查询语句操作HBase数据库。首先构建SQL语言的编译器,将SQL语句转化成语法树,再将语法树转化为HBase的相关操作。使用协处理器处理SQL查询语句中的聚合函数和复杂表达式,并可以使用连接查询。     

分布式存储系统HBase关键技术研究

HBase是一个面向列的非关系型的开源分布式存储系统,它基于Hadoop HDFS文件存储系统,使用MapReduce来处理海量数据,利用Zookeeper作为协同服务,它使用简单的键值对映像关系为超大规模和高并发的海量数据实时响应系统提供一个很好的解决方案。对HBase的体系结构、数据模型、MapReduce算法设计等几个方面进行详细阐述,并对HBase的未来发展做出展望。     

Azure云平台对Twitter推文关键字实时大数据分析

Hadoop存储平台在云计算大数据存储方面占有显著优越的地位,利用Hadoop对海量数据进行快速、准确的分析是现如今最优的解决方案.详细阐述了使用微软Azure云平台的HDInsight(Hadoop集群存储架构)对Twitter推文进行实时大数据分析.     

基于Hadoop的分布式数据库系统

云计算是当前研究的热点,包括分布式存储和分布式计算技术。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。基于对大量数据进行处理和分析的需求,本文分析了基于Hadoop的分布式计算平台,介绍基于Hadoop的分布式数据库系统。     

Hadoop集群参数的自动调优

Hadoop平台作为一个开源的在集群上运行大型数据库处理的框架受到了各个公司的青睐,然而要在Hadoop集群上运行一个作业必须手动设置将近200多个复杂的参数,如何设置这些参数对普通用户来说是非常困难的,该文针对这个问题提出了一种基于策略选择的抽样算法,通过在Hadoop中加入策略感知层,实验结果表明改进的Hadoop框架可以自动优化设置这些复杂的参数,从而提高整个系统的运行效率。     

基于云技术的智慧城市中大规模房屋数据处理

在智慧城市中传感器和设备收集各种数据,实现增值服务.主要关注来自智慧城市中的智能房屋数据,提出用于存储和处理大规模房屋数据的Scallop4SC平台,实现智慧城市服务.房屋数据分为房屋日志数据和房屋配置数据,分别使用HBase和MYSQL管理.通过HBase键值以schemaless方式存储管理异构日志数据.MySQL管理配置数据,完成房屋数据查询.多节点Hadoop/Map Reduce集群处理巨量房屋日志数据.最后通过实际一年的房屋日志数据,计算智能设备能耗并完成实验性评估.根据实验结果,探讨Scallop4SC处理智慧城市的数据规模.     

基于HBase 的农业无线传感信息存储系统

无线传感网络由于分布的跨区域性,随着无线传感网络的扩张,如何高效组织存储这些跨区域的大规模的传感数据是近年来研究的热点和难点。根据大规模传感器数量大、分布广的特点,设计使用分层次的分布式存储方案。Hadoop的HBase是一个分布式的数据库,提供实时读写、随即访问、高可扩展性和高可用性的存储服务。使用HBase构建两层存储架构,分别存放区域内传感器数据和传感器数据的元数据。实验表明,该系统有良好的扩展性、存储和查询效率,能够满足大规模传感器数据的存储问题。