基于Hadoop的校园云计算系统

针对传统的海量数据处理方法硬件成本太高,并行程序编写困难的缺点,在云计算理论的基础上设计了一个用于处理海量数据的校园云计算系统.此云计算系统是在Hadoop分布式计算框架的基础上采用Map-Reduce编程模型实现对海量数据的并行处理,有效解决了成本问题,降低了并行编程的难度.     

一种基于Hadoop的云运维监控模型设计与实现

随着企业信息化在生产实时监测、海量存储和科学分析决策等方面的需求不断提升,运维监控系统已逐渐成为主要的管理手段。采用最新的云计算技术,设计及搭建一个数据规模易扩展、处理速度快、安全性高、成本低的云运维监控系统;针对运维控制系统中海量监控历史数据实时提取响应速度慢的缺点,设计并实现一种基于Hadoop的分布式海量数据处理模型。仿真实验证明,Hadoop在对云监控系统中的海量数据提取效率优于传统方法,随着数据量的快速增长,优势越明显。     

基于Hadoop框架的TF-IDF算法改进

在分析Hadoop框架与TF-IDF算法的基础上,给出了TF-IDF算法在Hadoop分布式框架下的具体实现。实验表明,在处理大数据量时,与传统方法相比,新方法的效率更高。     

基于Hadoop的实验室数据管理系统的实现

构建基于Hadoop的实验室数据管理系统,实现了云计算带来的补偿与分析支持服务,解决了多种数据类型查询不便的问题,也对云计算在教育科研领域的应用进行了尝试性的探索,为将来大规模应用云服务奠定了可靠的基础。     

基于Hadoop的云端异常流量检测与分析平台

Hadoop系统作为一种开源的分布式云计算平台已获得广泛应用,但其云端易受到各种威胁和攻击,基于此,开发了一种基于Hadoop的云端异常流量检查与分析平台。首先,使用Mapper周期性地从所有存储流量信息的文件中提取流量的部分信息;然后,通过Reducer将异常流量提取并保存。通过对流量数据的存储、检测与分析可成功地检测出有威胁的攻击,从而保障云端的安全。由于本平台基于开源的Hadoop实现,因此成本较低;同时,基于Java语言实现,可成功移植于各种主流操作系统,具有广泛适用性。基于局域网进行监控试验,结果表明本平台可成功地检测出异常流量,并输出友好的用户界面。     

基于Hadoop的云计算基础架构分析

Hadoop是一个可实现大规模分布式计算的开源软件平台,已经被广泛应用在云计算领域。从Hadoop分布式文件系统架构的整体入手,描述了其分布式数据存储、分布式任务分配、分布式并行计算和分布式数据库4个方面的核心内容,并论述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和计算过程。使开发人员深入地理解Hadoop架构的工作原理与实现过程,为云计算背景下的应用程序开发提供重要的参考。     

基于Hadoop架构的大数据量日志存储和检索优化

Hadoop 是一个实现 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop,程序员可以轻松编写分布式并行程序,并将其运行于计算机集群上,完成海量数据的计算。本文介绍了基于Hadoop架构的系统的设计与实现,介绍如何提高Hadoop的分布式文件管理系统（HDFS）和MapReduce的执行效率与速度,以及 Hadoop 的安装部署和基本运行方法。     

基于Hadoop云计算平台的资源搜索系统

针对当前用户难以快速准确地获取到自己需要的网络信息,设计了基于Hadoop云计算平台的资源搜索系统,并对该搜索系统进行了实验验证,结果表明,随着数据量的不断增大,Hadoop版本系统节约的时间越多,优势越明显。     

基于Hadoop云计算平台的资源搜索系统

针对当前用户难以快速准确地获取到自己需要的网络信息,设计了基于Hadoop云计算平台的资源搜索系统,并对该搜索系统进行了实验验证,结果表明,随着数据量的不断增大,Hadoop版本系统节约的时间越多,优势越明显。     

基于Hadoop集群的日志分析系统的设计与实现

当前Internet上存在着海量的日志数据,他们中蕴藏着大量可用的信息。对海量数据的存储和分析都是一个艰巨而复杂的任务,单一主机已经无法满足要求,使用分布式存储和分布式计算来分析数据已经成为了必然的趋势。分布式计算框架Hadoop已经日趋成熟,被广泛的应用于很多领域。该文描述了一个针对大日志分析的分布式集群的构建与实现过程。介绍了日志分析的现状,使用vmware虚拟机搭建了Hadoop集群和日志分析系统的构建方法,并对实验结果进行了分析。     

基于Hadoop的智能医疗分析系统的设计研究

现代智能医疗需要操作简单、反应快速和能够智能诊断的信息化平台。针对该特点,运用物联网、云计算等多种技术开发了智能医疗分析系统。系统使用B/S架构开发,可为用户提供方便简洁的交互平台。同时,系统还可利用云计算来高效处理海量数据,并使用基于Hadoop的分布式存储计算系统来分析处理数据,从而做到智能诊断。     

一个基于Hadoop的航迹解析模型设计

大数据时代的来临,给民航带来了空前的机遇和挑战。目前,Hadoop广泛应用于国内外的大数据处理。笔者基于国内空中交通管制航迹解析的需求,设计了一个基于Hadoop的大数据航迹解析模型,实现了海量航迹数据分布式计算的功能,解决了目前大量历史数据解析在集中处理模式下效率较低的问题。此模型的应用能够改善未来管制运行统计分析的性能和准确性。     

基于Hadoop框架的MapReduce计算模式的优化设计

对某高校教学资源平台的海量日志进行了分析,将传统单机分析处理模式,转变为Hadoop框架下的MapReduce分布式处理模式。MapReduce采用分而治之的思想,很好地解决了单机对海量数据处理产生的瓶颈问题。通过分析Hadoop源码的使用,认真研究MapReduce对海量数据处理作业流程分析,提出了MapReduce分布式作业计算的优化策略,从而更好地提高了海量数据的处理效率。     

基于Hadoop的云计算模型

Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型Map／Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现步骤。     

基于Hadoop的搜索引擎用户行为分析

搜索引擎用户行为分析是网络信息检索技术的研究热点.通过分析用户点击行为,利用Web数据挖掘技术获取有用信息,提高搜索引擎的检索算法和检索服务的效率,把用户从大量无序的搜索结果中解放出来.本文针对传统并行计算模型在易扩展和易编程方面遇到的瓶颈,给出一种基于Ha-doop的海量日志数据处理模型,通过基于Hadoop的分布式...     

基于Hadoop云计算模型探究

云计算是并行计算、分布式计算和网格计算的发展。文中详细地阐述了MapReduce的编程思想、工作原理、步骤和方法。探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法。     

基于Hadoop的微博舆情监控系统

随着在线社会网络如社交网站、微博、在线社区等的快速发展, 一个真正的双向传播和新媒体时代逐步形成. 在线社会网络让每个用户都能创造自己的内容, 并且快速传播出去. 据不完全统计, 新浪微博平均每秒有超过1000条的新微博产生, 日增量数据为5TB, 因此海量数据给舆情监控带来了严峻的挑战. 将介绍一种基于Hadoop的微博舆情监控系统, 能够对大规模采集数据进行挖掘、分析, 实现对舆情热点话题的发现及追踪、对微博的社会网络分析, 分析结果可视化呈现, 为党政机关、大型企业等单位和组织及时发现敏感信息、掌握     

基于Hadoop的云存储实践

随着网络和服务器的迅速成长,数据的容量越来越大,数据的存储面临严峻的挑战,怎样有效地存储数量庞大的数据,云存储是个不错的选择。简要介绍云计算和云存储的概念,并以Hadoop为平台进行一个数据处理的实验,统计相同文件名的个数。     

基于Hadoop平台的并行中文句法分析研究

作为自然语言理解研究重点的句法分析一直受到人们的关注。针对现今句法分析方法效率低、准确度不高的问题,借助云计算计算能力强的优势,探讨了在云计算平台上实现并行中文句法分析的方法。利用公开的语料库及开源的句法分析工具在搭建的Hadoop云计算试验平台上实现并行中文句法分析,实验结果及理论分析均证实了所设计的基于Hadoop平台的并行句法分析方法的可行性、有效性与稳定性。