共查询到18条相似文献,搜索用时 750 毫秒
1.
Hadoop是一个可实现大规模分布式计算的开源软件平台,已经被广泛应用在云计算领域.从Hadoop分布式文件系统的整体架构入手,描述了其分布式数据存储、分布式任务分配、分布式并行计算和分布式数据库四方面的核心内容,并论述了HDFS的工作原理、文件操作流程及Map/Reduce工作原理和计算过程.目的是使开发人员能深入地... 相似文献
2.
3.
基于Hadoop的分布式数据库系统 总被引:1,自引:0,他引:1
云计算是当前研究的热点,包括分布式存储和分布式计算技术。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。基于对大量数据进行处理和分析的需求,本文分析了基于Hadoop的分布式计算平台,介绍基于Hadoop的分布式数据库系统。 相似文献
4.
针对云计算中的虚拟化、分布式存储与并行编程模型等问题,提出基于云计算的多电站计算平台的体系结构,实现电站数据中心的可靠存储与快速并行处理。详细讨论了传统的电站计算平台在数据存储和数据处理过程中的不足,设计了基于 Hadoop 的电站数据中心云计算平台,并利用 Hadoop 云计算平台对数据检索的效率进行实验比较分析。 相似文献
5.
随着互联网和大数据的发展,云计算平台成为互联网时代比较受关注的课题,云计算平台具有计算速度快和高容量的特点.Hadoop开源分布式系统架构模型是云计算平台的基本模型,对Hadoop开源分布式系统架构的组件HDFS分布式文件系统和HBase分布式数据库进行了简单的分析,提出了云计算平台的搭建设计方案. 相似文献
6.
《计算机应用与软件》2017,(8)
商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高。通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyperbase、流处理工具Stream等架构,探索了大型商业银行Hadoop分布式数据仓库的构建过程,最终实现了由基于集中式存储架构的传统关系型数据仓库向分布式数据仓库的迁移工作。该分布式数据仓库实现了结构化数据和非结构化数据的存储、ETL调度管理、历史数据检索、交互式分析以及流数据处理。应用表明,相比基于集中式存储架构的传统关系型数据仓库,分布式数据仓库可大幅提高数据存储和数据服务的效率。 相似文献
7.
Hadoop平台在云计算中的应用 总被引:4,自引:0,他引:4
云计算是当前比较热门的新兴技术之一,受到业界的广泛关注。Hadoop是一个可实现大规模分布式计算的开源软件平台,因此被广泛应用在云计算领域。本文在对Hadoop的主要组件Hadoop分布式文件系统HDFS(Hadoop Distributed File System)和计算模型MapReduce进行深入分析和研究的基础上,建立基于Hadoop平台的云计算模型,通过实验证明该模型可以有效完成分布式数据处理任务。 相似文献
8.
现代智能医疗需要操作简单、反应快速和能够智能诊断的信息化平台。针对该特点,运用物联网、云计算等多种技术开发了智能医疗分析系统。系统使用B/S架构开发,可为用户提供方便简洁的交互平台。同时,系统还可利用云计算来高效处理海量数据,并使用基于Hadoop的分布式存储计算系统来分析处理数据,从而做到智能诊断。 相似文献
9.
10.
11.
网格计算是一种能够整合零散资源并实现资源共享和协同工作的计算模式;云计算是网格计算、并行计算、分布式计算的发展,是一种新兴的商业计算模式。它具有与网格计算不同的新的特点。该文在研究网格计算与云计算概念的基础上从体系结构、专注方向、资源管理、作业调度等多种角度对网格计算与云计算进行了分析和研究。云计算所采用的商业理念、成熟的资源虚拟化技术以及非标准化的规范,使其体系结构、资源管理、作业调度等方面呈现出了不同的特点,也更适宜于为用户提供按需服务的目标,但在安全方面仍需不断完善。 相似文献
12.
Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。作为云计算的底层平台,Ceph除了提供虚拟机的存储服务外,还可以直接提供对象存储服务和NAS文件服务。Ceph支撑着云计算系统中多种操作系统和应用的存储需求,它的性能对其上的虚拟机和应用有较大的影响,因此Ceph存储系统的性能优化一直是学术界和工业界的研究热点。文中首先介绍了Ceph的架构和特性;然后针对现有的性能优化技术,从对内部机制进行改进、面向新型硬件和基于应用的优化这3个方面进行了归纳和总结,综述了近年来Ceph存储和优化的相关研究;最后对该领域未来的工作进行了展望,以期为分布式存储系统性能优化的研究者提供有价值的参考。 相似文献
13.
针对云环境下多用户访问和大数据量存储的特点,提出了一种云环境下加密关键字搜索方案。与已有的大多数方案相比,该方案使用签名绑定关键字索引和其关联加密文件,实现了查询结果完备性和完整性的验证,使用重加密技术实现了多用户隐查询,并动态更新用户查询权限。此外,该方案在查询过程中使用哈希查询优化索引结构,实现了对云数据的快速访问。安全性分析表明,该方案是安全的;性能分析及仿真实验结果表明该方案和已有的一些算法相比有了较大的性能提升。 相似文献
14.
随着云计算的出现,大数据的概念也随之产生。自然灾害日趋增多,要求应急设施的部署规模不断扩大,这时,如何有效进行大规模应急设施的选址成为应急管理系统的关键。因此,提出一种改进的并行遗传算法并在Hadoop平台上编程实现,并应用于求解应急设施选址问题的集合覆盖模型,达到求解应急设施选址的目的。试验结果表明,改进的并行遗传算法不管在获取全局最优解上还是在求解大规模应急设施选址的时效性上都优于原有算法,是一种云计算环境下有效的应急设施选址问题求解算法。 相似文献
15.
16.
17.
近年来随着云计算市场规模不断增长,作为云计算平台基础设施的云存储系统也随之显得越来越重要。数以万计的互联网应用已经运行于云计算环境,同时大量不同的应用也即将从传统运行环境转移到云计算平台。不同的互联网应用的存储需求可能不一样。例如:应用中涉及的单个文件大小,文件数量,IO访问模式,读写比率等,都对底层存储系统提出了不同的要求。这说明在云计算环境中,单个文件系统可能无法满足全部应用的存储需求,本文尝试通过在单一云计算平台中部署多个不同分布式文件系统来优化存储系统的总体性能。为了优化混合式文件系统的性能,首先需要分析不同文件系统的性能特征。本文通过量化方法分析了云计算环境下几个常用的分布式文件系统,这些文件系统分别是ceph,moosefs,glusterfs和hdfs。实验结果显示:即使针对同一文件的相同读写操作,不同分布式文件系统之间的性能也差异显著,当单个文件的大小小于256MB时,moosefs的平均写性能比其它几个文件系统高22.3%;当单个文件大小大于256KB时,glusterfs的平均读性能比其它几个文件系统高21.0%。这些结果为设计和实现一个基于以上几个分布式文件系统的混合式文件系统提供了基础。 相似文献
18.
首先介绍了云计算产生的背景、概念、基本原理和体系结构,然后以Google系统为例详细阐述了云计算的实现机制。云计算是并行计算、分布式计算和网格计算等计算机科学概念的商业实现。Google拥有自己云计算平台,提供了云计算的实现机制和基础构架模式。该文阐述了Google云计算平台:GFS分布式文件、分布式数据库BigTable及Map/Reduce编程模式。最后分析了云计算发展所面临的挑战。 相似文献