基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

基于Hadoop的海量电信数据云计算平台研究

传统的数据分析方法面对海量电信数据存在管理和分析难的问题.Hadoop是一个可实现大规模分布式计算的开源框架,具有高效、可靠、可伸缩的优点,被广泛应用于云计算领域.本文在对云计算和Hadoop进行分析和研究的基础上,提出了一种针对海量电信数据的分布式云计算方法,建立了基于Hadoop的海量电信数据云计算平台.实验证明,该平台能够有效完成海量数据的管理和分析任务,提高海量数据分析的速度和效率.     

基于HADOOP分布式系统的数据处理分析

各种信息数据在迅猛增长,云计算技术的出现为海量数据的处理提供了良好的解决方案。Hadoop 是云计算技术中分布式并行编程框架的开源实现,它利用集群的并行计算和存储能力,高效的完成对海量数据的处理,云计算能够为社会创造出更大的价值。最后通过Hadoop组织廉价的计算机资源搭建了一个分布式云计算平台,具有高容错、高效性、高扩展性等优势,并完成对数据处理能力和平台可扩展性进行性能测试与分析。     

基于Hadoop的分布式预算管理平台系统研究

随着企业规模发展,企业的预算管理成为促进企业健康成长的重要基础。现代企业的预算管理涉及各个业务的复杂数据处理,需要能够跟踪预算的执行过程,通过对预算执行数据的监控,实现一定程度的预测,因此对预算管理平台具有较高的要求。传统的预算管理平台功能较为单一,数据处理功能较弱,无法应对日益复杂的企业业务发展。随着大数据技术的发展,Hadoop等分布式平台得到广泛应用。通过Hadoop平台可以存储规模庞大的企业数据,并提供较强的计算能力,同时支持进行数据挖掘,实现预算的预测等,因此本文对基于Hadoop的分布式预算管理平台进行研究。     

分布式大数据管理系统的设计与实现研究

社会高速发展的同时,数据也呈现爆炸式的增长,传统的数据库管理系统已经无法满足海量数据的存储需求。云存储技术成为一种新的数据存储方案,在Hadoop分布式系统的基础个,提出了一种基于云计算环境下的分布式大数据管理系统,为海量的文件存储与处理提供平台。对云计算大数据存储系统进行功能分析,同时还对大数据管理系统的框架进行设计,最后通过实验的方式验证了分布式大数据管理系统相比于其他方式的管理系统,处理的速度更快,存储时间更短,存储效率更高。     

一种安全性的海量数据处理平台设计与实现

提出了一种开放分布式海量数据处理平台的设计方案。该平台以HDFS、Hive和HBase等作为底层数据存储方式,以Map Reduce、Spark和Storm等作为底层数据处理方式,向用户提供了统一的接口,同时使用Kerberous进行权限控制,保证了数据安全性。这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务。     

基于云平台的多媒体教学系统研究与设计

随着多媒体技术的发展,多媒体内容数据量越来越大,在需要大存储空间的同时,又要求实现针对终端用户的内容可检索、内容可定制,以满足不同用户群体的特性诉求。而基于校园网的传统多媒体教学系统既不能灵活的扩容和部署新的应用,也不支持用户的检索定制要求,更为重要的是,传统的多媒体教学系统很难实现资源的统一管理。针对这些问题,本文提出了一种基于云平台的多媒体教学系统,既实现了海量媒体内容存储和高性能的多媒体内容处理,又提供了面向用户的检索定制能力,实现了资源统一管理。     

大规模的图计算在社群发现领域应用

阐述一种基于Spark的分布式计算模式，它实现社群划分Louvain算法，使用开源海量数据集进行结果验证和统计，分析了该算法在分布式大数据环境情况下的适应性。     

Hadoop云计算环境下海量图像检索研究

Hadoop实现了云计算模型的一个开源,也就是用Java语言实现的软件框架,能够支持Map Reduce分布式调度模型的运作,以实现虚拟管理、调度并共享资源。文章将用Hadoop云计算平台实现对海量图像检索研究。     

开源IaaS之比较研究

大数据时代,云计算以高扩展性和可用性的分布式并行计算为海量数据处理提供了技术解决方案。文章以基础设施即服务(Infrastructure as a Service,IaaS)为重点,简介云计算领域相关概念,介绍、比较、并评价了具有代表性的开源IaaS项目;给出使用建议,帮助新用户选择适应自身需求的开源工具部署其云设施。