基于Hadoop的云计算模型

Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型Map／Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现步骤。     

基于Hadoop分布式文件系统的分析与研究

通过对HDFS(Hadoop的一个分布式文件系统)以及Map/Reduce数据驱编程模型和HBase分布式的、列存储数据库和Hive分布式数据仓库的分析.可以得到Hadoop的优势在于能以批处理模式处理PB级以上的数据集,适合做离线的数据分析,不适合实时响应需求,如股票系统.客户端是打包成JAR文件形式,运行于Hadoop命令行界面,可以定制执行策略,当数据到来的时候运行Map/Reduce程序,可以手动执行也可以定时执行.可以用Map/Reduce作为BI等海量数据分析平台的分布式数据处理引擎,HDFS作为底层存储文件系统.     

Hadoop关键技术的研究与应用

针对开源通用云平台的现实需求,简要分析云计算的体系结构和基本架构,深入研究Hadoop的关键技术,提出基于Hadoop的开源通用云平台构建模型,实例搭建并成功实现此平台的应用。实验表明,该平台具有良好的海量数据分布式计算和处理性能,能满足中小型企业或学者从事云计算应用和研发的需要。     

Hadoop平台在云计算中的应用

云计算是当前比较热门的新兴技术之一,受到业界的广泛关注。Hadoop是一个可实现大规模分布式计算的开源软件平台,因此被广泛应用在云计算领域。本文在对Hadoop的主要组件Hadoop分布式文件系统HDFS（Hadoop Distributed File System）和计算模型MapReduce进行深入分析和研究的基础上,建立基于Hadoop平台的云计算模型,通过实验证明该模型可以有效完成分布式数据处理任务。     

基于Hadoop的云计算基础架构分析

Hadoop是一个可实现大规模分布式计算的开源软件平台,已经被广泛应用在云计算领域.从Hadoop分布式文件系统的整体架构入手,描述了其分布式数据存储、分布式任务分配、分布式并行计算和分布式数据库四方面的核心内容,并论述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和计算过程.目的是使开发人员能深入地...     

Hadoop平台在大数据处理中的应用研究

介绍Hadoop平台的基本概念．着重分析其中的HDFS和MapReduce这两种核心技术。详细描述Hadoop集群环境的搭建过程,将Hadoop应用到一个文件发布系统中,针对不同数量级的文件在集群数不等的情况下对文件上传操作进行耗时比较。实验结果表明,数据量越大,集群节点数越多,Hadoop集群处理数据的能力就越强。     

基于Hadoop的校园云计算系统

针对传统的海量数据处理方法硬件成本太高,并行程序编写困难的缺点,在云计算理论的基础上设计了一个用于处理海量数据的校园云计算系统.此云计算系统是在Hadoop分布式计算框架的基础上采用Map-Reduce编程模型实现对海量数据的并行处理,有效解决了成本问题,降低了并行编程的难度.     

基于Hadoop集群的多表并行关联算法及应用

针对因特网环境下并行数据库实现多个大数据表关联存在的计算瓶颈,基于Hadoop集群设计了一个并行关联多个大数据表的简便算法MR_Join。以商业网站凡客诚品的销售数据为例进行实验,验证算法的可行性并做出应用实例。实验结果表明,MR_Join算法可以有效地实现大数据表的快速关联,具有显著的并行效率。     

基于Hadoop的实验室数据管理系统的实现

构建基于Hadoop的实验室数据管理系统,实现了云计算带来的补偿与分析支持服务,解决了多种数据类型查询不便的问题,也对云计算在教育科研领域的应用进行了尝试性的探索,为将来大规模应用云服务奠定了可靠的基础。     

基于Hadoop的云存储实践

随着网络和服务器的迅速成长,数据的容量越来越大,数据的存储面临严峻的挑战,怎样有效地存储数量庞大的数据,云存储是个不错的选择。简要介绍云计算和云存储的概念,并以Hadoop为平台进行一个数据处理的实验,统计相同文件名的个数。     

基于Hadoop的云存储的研究及实现

首先描述了云计算、云存储的概念、云计算的体系结构及云存储的架构模式;然后介绍了Hadoop工作原理及其文件存储的方法;最后基于eyeOS的Web操作系统,对传统的文件存储方法进行改进,采用Hadoop的HDFS技术实现文件的分布式存储及容错控制。     

基于云计算的多媒体检索系统设计

现今普遍使用的多媒体检索系统采用的是B/S单节点架构,存在速度慢、并发性差,不能处理大规模数据的问题。在云计算技术迅速发展的今天,提出了一种基于云计算的多媒体检索方法,将基于内容的多媒体检索技术与MapReduce并行计算框架相结合,把多媒体数据库和媒体特征库存储于HDFS。针对基于内容的多媒体检索存在的＂语义鸿沟＂的问题,采用相关反馈技术来提高检索的准确性。     

基于Hadoop的科技情报信息服务平台构建

通过一个区域性科技情报信息服务平台的分析与设计,揭示传统模式下的缺点,并介绍云平台的优点和云项目Hadoop的技术特性。介绍基于Hadoop技术的科技情报信息服务平台的构建。平台构建实现了灵活多样的共享模式,打破条块分割、相互封闭格局,集科技信息资源与科技服务资源于一体的综合性科技资源共享与服务平台。     

基于Hadoop农业大数据管理平台的设计

信息技术的高速发展使得每天的数据量以TB级速度暴增,如何有效利用和管理这些爆炸式增长的大数据呢？是当前亟待处理的问题.大数据已经渗透到包括农业领域在内的各个领域,随着农业信息化建设以及物联网技术在农业生产中的应用,产生了海量的农业大数据待存储、管理和处理.本文以成都农业科技职业学院彭州葛仙山农业示范基地的农业信息化建设为背景,根据农业物联网和信息化建设要求,构建高性能基于Hadoop农业大数据管理的平台,实现农业大数据的安全可靠存储、智能管理与应用,最终达到对农业生产的智能预警、智能决策和智能分析的目的,并为农户提供专业的指导.为我国进入精细化种植、精准化控制、可视化管理、智能化决策的智慧农业时代奠定基础.     

基于 Hadoop 的分布式视频处理

中国科学院计算机网络信息中心与青海湖保护区管理局合作,共同建设了青海湖野外网络视频监控。如何高效地处理每天产出的超过 100GB 的视频数据成为了一个难题。现在的视频处理系统采用计算和存储相分离的架构,这需要配置较高的专门服务器进行支撑,本文基于廉价扩展性能较好的 Hadoop 平台对视频处理做出了分布式的实现,并对单个视频文件做出了分布式转码的实现。同时,本文将基于 Hadoop 的分布式视频处理的实现和基于 HTCondor 的分布式视频的批处理实现进行了对比,实验证明,在不损失视频处理效率的条件下,基于 Hadoop 的分布式视频处理的实现拥有分布式文件系统支撑、完善的任务监控等优势。     

基于HDFS的远程教育课件资源管理

首先介绍了当前远程教育课件资源管理及其存在的不足,分析了HDFS的存储机制和特点及数据安全保护策略,给出了采用HDFS文件系统进行远程课件资源管理的实现方案,并指出将HDFS用于远程课件资源管理的优势。